Yandex Araştırma takımı, IST Austria, NeuralMagic ve KAUST araştırmacılarla iş birliği yaparak büyük lisan modelleri için 2 yeni sıkıştırma sistemi geliştirdiğini açıkladı: Lisan Modelleri için Eklemeli Niceleme (AQLM) ve PV-Tuning. Bu teknikler bir ortaya getirildiğinde model boyutunda 8 kata kadar azalma sağlandığını sav eden araştırma takımı, tıpkı vakitte cevap kalitesinin yüzde 95 oranında korunduğunu söylüyor. Kaynakları optimize etmeyi ve büyük lisan modellerinin çalıştırılmasında verimliliği artırmayı amaçlayan bu yeni yaklaşımın ayrıntılarına dair makale, şu an Viyana, Avusturya’da devam etmekte olan Uluslararası Makine Öğrenimi Konferansı’nda (ICML) yer alıyor.
Peki, araştırma grubunun bahsettiği Lisan Modelleri için Eklemeli Niceleme (AQLM) ve PV-Tuning nedir?
AQLM ve PV-Tuning’in temel özellikleri
AQLM, LLM sıkıştırması için geleneksel olarak bilgi erişiminde kullanılan eklemeli niceleme yönteminden yararlanıyor. Ortaya çıkan yöntem aşırı sıkıştırma altında modelin doğruluğunu koruyup geliştiriyor, böylece LLM’lerin mesken bilgisayarları üzere günlük aygıtlarda yaygınlaştırılmasını mümkün kılıyor. Bu, bellek tüketiminde kıymetli bir azalmaya neden oluyor.
PV-Tuning ise model sıkıştırma süreci sırasında ortaya çıkabilecek yanlışları gideriyor. AQLM ve PV-Tuning birleştirildiğinde, sonlu bilgi süreç kaynaklarında bile yüksek kalitede cevaplar sağlayabilen kompakt bir model eşliğinde optimum sonuçlar sunuyor.
Yöntem kıymetlendirme ve tanıma
Sunulan sistemlerin aktifliği, LLama 2, Mistral ve Mixtral üzere tanınan açık kaynaklı modeller kullanılarak titizlikle değerlendirilmiş. Araştırmacılar bu büyük lisan modellerini sıkıştırarak karşılık kalitesini İngilizce karşılaştırma ölçütleri olan WikiText2 ve C4 ile değerlendirdiklerini söylüyorlar. Modeller 8 kat sıkıştırılmalarına karşın yüzde 95 üzere bir oranda karşılık kalitesini muhafazayı başarmış.
AQLM ve PV-Tuning’den kimler yararlanabilir
Peki, buraya kadar her şey tamam. Ancak AQLM ve PV-Tuning yöntemlerinden kimler yararlanabilir?
Yandex araştırma ekibi, yeni yöntemlerin tescilli dil modellerini ve açık kaynaklı LLM’leri geliştiren ve dağıtan şirketler için değerli ölçüde kaynak tasarrufu sağlayacağını söylüyor. Örneğin sıkıştırma sonrası 13 milyar parametreye sahip Llama 2 modeli artık 4 yerine yalnızca 1 GPU üzerinde çalışarak donanım maliyetlerinde 8 kata kadar azalma sağlanabilir. Bu da teşebbüslerin, kişisel araştırmacıların ve LLM meraklılarının Llama üzere gelişmiş LLM’leri günlük kullandıkları bilgisayarlarda çalıştırabilecekleri anlamına geliyor.
Yeni LLM uygulamalarını keşfetmek
AQLM ve PV-Tuning’in, modellerin sonlu hesaplama kaynaklarına sahip aygıtlarda çevrimdışı olarak dağıtılmasını mümkün kılarak, akıllı telefonlar, akıllı hoparlörler ve daha fazlası için yeni kullanım alanları da sağlayabileceğini söyleyen araştırmacılar, bu aygıtlara entegre edilen gelişmiş LLM’ler sayesinde, kullanıcıların metin ve görüntü oluşturma, sesli yardım, kişiselleştirilmiş öneriler ve hatta gerçek zamanlı dil çevirisini aktif bir internet bağlantısına ihtiyaç duymadan kullanabileceklerini de belirtiyor.
Uygulama ve erişim
Şu anda Dünya genelindeki geliştiriciler ve araştırmacılar, GitHub’da bulunan AQLM ve PV-Tuning’i kullanabiliyor. Geliştiriciler tarafından sağlanan demo materyalleri, çeşitli uygulamalar için sıkıştırılmış LLM’leri tesirli bir biçimde eğitmek için rehberlik sunuyor. Ayrıyeten geliştiriciler, bu prosedürler kullanılarak sıkıştırılmış tanınan açık kaynaklı modelleri indirebiliyorlar.
ICML’de öne çıktı
Yandex Research’ün AQLM sıkıştırma yöntemine ilişkin bilimsel makalesi, dünyanın en prestijli makine öğrenimi konferanslarından biri olan ICML’de yayınlanmış. IST Austria’dan araştırmacılar ve yapay zeka girişimi Neural Magic’ten uzmanlarla birlikte hazırlanan bu çalışma, LLM sıkıştırma teknolojisinde değerli bir ilerleme manasına geliyor.
