OpenAI’ın yapay zeka sohbet robotu ChatGPT tarafından yapılan kod hatalarının düzeltilmesi için insan gücünü kullanıyordu.
Yapay zeka şirketinin insanların hataları tespit edememe ihtimaline karşı CriticGPT adında bir başka yapay zeka modeli geliştirdi.
Microsoft’un da desteklediği muhteşem laboratuvar Perşembe günü bu yaklaşımı açıklayan “LLM Eleştirmenleri LLM Hatalarını Yakalamaya Yardımcı Oluyor” başlıklı bir makale yayınladı.
İNSAN GERİ BİLDİRİMİNDEN DESTEKLİ ÖĞRENME
GPT-4o üzere üretken yapay zeka modelleri büyük ölçüde data üzerinde eğitilir ve akabinde İnsan Geri Bildiriminden Destekli Öğrenme (RLHF) ismi verilen bir düzgünleştirme sürecinden geçer.
Amaç, modele hangi karşılığın tercih edildiğini öğretmek ve böylelikle daha âlâ performans göstermesini sağlamaktır.
Ancak modeller daha yetenekli hale geldikçe RLHF daha az tesirli hale gelir.
HATA TESPİTİ ZORLAŞIYOR
İnsan yapay zeka eğitmenleri, bilhassa sohbet robotu eğitmenlerinden daha fazla şey bildiği noktaya ulaştığında, kusurlu yanıtları tespit etmekte zorlanır.
Bu nedenle OpenAI, modellerini programlama kodu üretme konusunda daha yetenekli hale getirmek için geri bildirim sağlamakla misyonlu bireylere yardımcı olmak üzere, bu üretken cevapları eleştirmek için öbür bir model oluşturdu.
YÜZDE 60 DAHA ÂLÂ PERFORMANS
Yapay zeka teşebbüsü bir blog yazısında “ChatGPT’nin kod çıktısındaki hataları yakalamak için GPT-4’e dayanan CriticGPT adlı bir modeli eğittik. İnsanlar ChatGPT kodunu gözden geçirmek için CriticGPT’den yardım aldıklarında, yardım almayanlardan yüzde 60 daha iyi performans gösterdiklerini gördük.”
