Yapay zeka teknolojileri ChatGPT, Claude ve Gemini gibi büyük dil modelleri ile büyük ilerlemeler kaydetmiş olsalar da hala bir büyük sorunla karşı karşıyalar: Halüsinasyonlar. Yapay zeka modellerinin doğru olmayan bilgiler üretmesi, yapay zeka dünyasında büyük bir problem teşkil ediyor. Ancak bir grup araştırmacı bu sorunu çözmek için yapay zeka halüsinasyonlarını tespit edebilen bir algoritma geliştirdi.
Yapay zeka nasıl halüsinasyon görüyor ve nasıl tespit ediliyor?
Yapay zeka halüsinasyonları, bu modellerin daha kullanışlı olmasının önündeki en büyük engellerden biri olarak kabul ediliyor. Google’ın yapay zeka arama özetlerinde kullanıcılarına taş yemenin güvenli olduğunu ve pizzaya yapıştırıcı sürmeyi önerdiği örnekler gibi utanç verici hatalar yaşandı. Ayrıca ChatGPT’yi mahkeme dosyaları hazırlamak için kullanan avukatlar, sohbet botunun yanlış referanslar üretmesi nedeniyle para cezasına çarptırıldı.
Bu tür sorunlar, Nature dergisinde yayımlanan yeni bir makalede tanımlanan yapay zeka halüsinasyon tespit cihazı sayesinde önlenebilirdi. Oxford Üniversitesi Bilgisayar Bilimleri Bölümü’nden araştırmacılar, geliştirdikleri yeni algoritmanın yapay zeka tarafından üretilen yanıtların yaklaşık %79 oranında doğru olup olmadığını belirleyebildiğini açıkladılar. Bu, mevcut yöntemlerden %10 daha yüksek bir doğruluk oranı sunuyor.
Araştırmacılar, yöntemlerinin nispeten basit olduğunu belirtiyorlar. İlk olarak, sohbet botuna aynı soruyu genellikle beş ila on kez olmak üzere birkaç kez yanıtlatıyorlar. Ardından yanıtların anlamlarının ne kadar benzer veya farklı olduğunu ölçen bir sayı olan semantik entropi (anlambilimsel hata) hesaplanıyor.
Eğer model her giriş için farklı yanıtlar veriyorsa, anlambilimsel hata puanı daha yüksek oluyor ve bu da yapay zekanın yanıtı uydurmuş olabileceğini gösteriyor. Yanıtlar aynı veya benzer anlamlara sahipse, anlambilimsel hata puanı daha düşük oluyor ve bu da daha tutarlı ve muhtemelen doğru bir yanıt verdiğini gösteriyor.
Apple ve Meta, iOS 18 için yapay zeka ortaklığı üzerine görüşüyor. Bu heyecan verici gelişme, kullanıcı deneyiminde devrim yaratabilir.
Diğer yöntemler genellikle yanıtların kelime yapısını kontrol eden saf bilgi yitimine dayanıyor ve bu nedenle cümlelerin ardındaki anlamı incelemediği için halüsinasyonları tespit etmekte daha az başarılı olabiliyor.
Araştırmacılar, bu algoritmanın ChatGPT gibi sohbet botlarına bir düğme aracılığıyla eklenebileceğini ve kullanıcılara yanıtlarının kesinlik puanını alabileceklerini belirtiyorlar. Yapay zeka halüsinasyon tespit cihazının doğrudan sohbet botlara entegre edilmesi fikri oldukça cazip, bu nedenle çeşitli sohbet botlara bu tür bir aracın eklenmesinin faydalı olabileceği görülüyor.
Yapay zeka halüsinasyonlarını tespit edebilen bu yeni algoritma, yapay zeka modellerinin doğruluğunu ve güvenilirliğini artırmada önemli bir adım olabilir. Yapay zeka halüsinasyonlarının önlenmesi, bu teknolojilerin daha geniş bir kullanıcı kitlesi tarafından güvenle kullanılmasını sağlayacaktır.
