Orijinal versiyon İtibaren bu hikaye ortaya çıkan Quanti dergisi.
Bilgisayar bilimcilerinden oluşan bir ekip bir dosya oluşturdu daha çevik ve esnek tip makine öğrenimi modelinin İşin püf noktası: Bildiğini periyodik olarak unutması gerekiyor. Bu yeni yaklaşım, daha büyük uygulamaların temelini oluşturan devasa modellerin yerini almayacak olsa da, bu programların dili nasıl anladığı hakkında daha fazla bilgi ortaya çıkarabilir.
Yeni araştırmanın “alanda önemli bir ilerlemeye” işaret ettiğini söyledi Jea KwonGüney Kore’deki Temel Bilimler Enstitüsü’nde yapay zeka mühendisi.
Günümüzde kullanılan yapay zeka dili motorları çoğunlukla yapay sinir ağları. Ağdaki her bir “nöron”, diğer benzer nöronlardan sinyal alan, bazı hesaplamalar yapan ve birden fazla nöron katmanı aracılığıyla sinyal gönderen matematiksel bir fonksiyondur. Başlangıçta bilgi akışı az çok rastgeledir, ancak eğitim yoluyla, ağ eğitim verilerine uyum sağladıkça nöronlar arasındaki bilgi akışı gelişir. Örneğin bir yapay zeka araştırmacısı iki dilli bir model oluşturmak isterse, modeli her iki dilden gelen geniş bir metin yığınıyla eğitir ve bu, nöronlar arasındaki bağlantıları, bir dildeki metni eşdeğer kelimelerle ilişkilendirecek şekilde ayarlar. diğerinde.
Ancak bu eğitim süreci çok fazla bilgi işlem gücü gerektirir. Model çok iyi çalışmıyorsa veya kullanıcının ihtiyaçları sonradan değişirse uyum sağlamak zordur. “Diyelim ki 100 dil içeren bir modeliniz var ancak istediğiniz dilin kapsanmadığını düşünüyorsunuz” dedi. Mikel Artetxe, yeni araştırmanın ortak yazarı ve yapay zeka girişimi Reka’nın kurucusu. “Yeniden başlayabilirsin ama bu ideal değil.”
Artetxe ve meslektaşları bu sınırlamaları aşmaya çalıştı. Birkaç yıl önceArtetxe ve diğerleri bir dildeki sinir ağını eğittiler, ardından token adı verilen kelimelerin yapı taşları hakkında bildiklerini sildiler. Bunlar sinir ağının gömme katmanı adı verilen ilk katmanında depolanır. Modelin diğer tüm katmanlarını olduğu gibi bıraktılar. Birinci dilin belirteçlerini sildikten sonra, modeli ikinci dil üzerinde yeniden eğittiler; bu, yerleştirme katmanını o dilin yeni belirteçleriyle doldurdu.
Model uyumsuz bilgiler içerse de yeniden eğitim işe yaradı: Model yeni dili öğrenmeyi ve işlemeyi başardı. Araştırmacılar, yerleştirme katmanının dilde kullanılan kelimelerle ilgili belirli bilgileri depolarken, ağın daha derin katmanlarının insan dilinin altında yatan kavramlar hakkında daha soyut bilgiler depoladığını ve bunun da modelin ikinci dili öğrenmesine yardımcı olduğunu varsaydılar.
“Aynı dünyada yaşıyoruz. Aynı şeyleri farklı dillerde farklı kelimelerle kavramlaştırıyoruz” dedi. Yihong Chen, son makalenin baş yazarı. “Bu nedenle aynı üst düzey akıl yürütme modelde de var. Elma tatlı ve sulu bir şeydir, sadece bir kelime değil.”
