Yapay zeka makalelerini tespit ediyor: Yüzde 94 doğruluk payı

ChatGPT ve gibisi yapay zeka teknolojilerinin gelişmesiyle birlikte uydurma bilimsel makalelerin sayısı da çoğalmış durumda.

New York Eyalet Üniversitesi’inde araştırma vazifelisi olan Ahmed Abdeen Hamed, geçersiz makaleleri yüzde 94 yanlışsız tespit edebilen xFakeSci ismini verdiği bir makine tahsili algoritması yarattı.

VERİ MADENCİLİĞİNDEN İKİ KAT DAHA BAŞARILI

Bu algoritmanın internette data kazma tekniğinden (veri madenciliği) neredeyse iki kat daha başarılı olduğu kaydedildi.

Hamed, “Ana araştırmam biyomedikal bilişim, ancak tıbbi yayınlar, klinik deneyler, çevrimiçi kaynaklar ve sosyal medya madenciliği ile çalıştığım için, her zaman birinin yaydığı bilginin gerçekliği konusunda endişeliyim.” dedi.

50 DÜZMECE MAKALE OLUŞTURUP GERÇEĞİYLE KARŞILAŞTIRILDI

Scientific Reports mecmuasında yayınlanan yeni bir makalede, Hamed ve Çin’deki Hefei Teknoloji Üniversitesi’nde profesör olan ortağı Xindong Wu, üç tanınan tıbbi bahsin (Alzheimer, kanser ve depresyon) her biri için 50 geçersiz makale oluşturdu ve bunları birebir mevzulardaki tıpkı sayıda gerçek makaleyle karşılaştırdı.

Birkaç deneyden sonra, xFakeSci’yi makalelerin nasıl yazıldığına dair iki kıymetli özelliği tahlil edecek halde programladı.

Bunlardan biri, “iklim değişikliği”, “klinik deneyler” yahut “biyomedikal literatür” üzere sıklıkla birlikte görünen ikili sözcüklerin sayılarıydı.

İkincisi ise bu sözlerin metindeki öbür ikili sözcüklere ve kavramlara nasıl bağlandığını araştırıyordu.

“ÖNEMLİ KELİMELERLE İKNA ETMEYE ÇALIŞIYOR”

Hamed, “ChatGPT’nin bilgisi hala sınırlı olduğundan, sizi en önemli kelimeleri kullanarak ikna etmeye çalışıyor,. Bir bilim insanının işi size ikna edici bir argüman sunmak değildir. Gerçek bir araştırma makalesi, bir deney sırasında neler olduğunu ve kullanılan yöntemi dürüstçe bildirir. ChatGPT, tek bir noktada derinlikle ilgilenirken, gerçek bilim ise genişlikle ilgilidir.” diye konuştu.

xFakeSci üzere araçların geliştirilmesi, bilimsel literatürün bütünlüğünü ve araştırmaya yönelik kamu inancını korumak için hayati kıymete sahiptir.

Yapay zekanın ürettiği yanlış bilgilere karşı uğraş devam ederken, xFakeSci üzere araçlar bilimsel bağlantının gerçekliğini ve güvenilirliğini muhafazada kıymetli bir rol oynayacak.