Yapay Zeka

    Çinli Yapay Zeka Firması Hakkında Çarpıcı İddia: Benchmark Sorularını mı Çaldı?

    MiniMax'in M3.1 Flash modelinin benchmark testlerinde hile yaptığı iddia ediliyor. Artificial Analysis sorularının çalınmış olabileceği konuşuluyor.
    Çinli Yapay Zeka Firması Hakkında Çarpıcı İddia: Benchmark Sorularını mı Çaldı? — MiniMax M3.1 Flash, Artificial Analysis, benchmark testleri, yapay zeka modelleri, Omniscience testi
    Bu haberi dinleyin

    Yapay zeka dünyasında MiniMax M3.1 Flash modelinin başarısı üzerine ortaya atılan yeni bir iddia, benchmark testlerinin güvenilirliğini ciddi şekilde tartışmaya açıyor. Bu iddia, modelin yüksek performans sergilediği test sorularını önceden ele geçirmiş olabileceği yönünde oldukça somut şüpheler barındırıyor.

    MiniMax tarafından geliştirilen M3.1 Flash, özellikle Artificial Analysis tarafından yürütülen testlerde gösterdiği sonuçlarla teknoloji çevrelerinin dikkatini çekiyor. Ancak araştırmacılar, bu başarının arkasında benchmaxxing olarak adlandırılan ve modellerin genel yeteneklerini geliştirmek yerine test sorularını ezberlemesine dayanan bir yöntemin olabileceğini öne sürüyor.

    Benchmark Testlerinde Sızdırma İddiası

    Artificial Analysis tarafından yürütülen Omniscience testi, oldukça zorlu bir yapıya sahip olmasıyla biliniyor. Test havuzunda bulunan yaklaşık 6 bin sorudan yalnızca 600 tanesi halka açık şekilde paylaşılıyor ve geri kalan sorular gizli tutuluyor.

    İddialara göre MiniMax, M3 modelinin değerlendirme sürecinde Artificial Analysis’in sorgularını izleyerek bu sorulara erişim sağladı. Şirket, kendi altyapısı üzerinden gelen bu sorguları tespit ederek bir veri havuzu oluşturmuş olabilir.

    M3 modelinin 1 Haziran tarihinde API üzerinden yayınlanması ve Artificial Analysis’in 4 Haziran’da sonuçları açıklaması, bu zamanlamanın tesadüf olmayabileceği ihtimalini güçlendiriyor. Modelin ağırlıkları ise ancak 12 Haziran tarihinde kamuoyuyla paylaşıldı.

    Araştırmacı Binkg, yayınlanan Omniscience sorularından birini alıp cevabı değişecek şekilde hafifçe modifiye ettiğini belirtti. Bu testte diğer tüm modeller doğru yanıtı verirken, M3.1 Flash modelinin orijinal benchmark cevabını vermeye devam ettiği gözlemlendi.

    Bu durum, modelin soruyu analiz etmek yerine doğrudan eğitim verisi olarak ezberlediği benchmark cevabını sunduğunu gösteriyor. Eğer bu iddialar doğrulanırsa, benzer yöntemlerin diğer yapay zeka modelleri için de kullanılmış olabileceği endişesi doğuyor.

    Performans ve Maliyet Dengesi

    MiniMax M3.1 Flash, 428 milyar parametre ve 23 milyar aktif parametre ile oldukça verimli bir yapı sunuyor. Model, 1 milyon girdi token’ı için 0,15 dolar ve çıktı için 0,60 dolar gibi oldukça rekabetçi fiyatlandırma seçenekleriyle öne çıkıyor.

    Automation Bench, Banker ToolBench ve LOCA-Bench-256K gibi üç önemli benchmark testinde lider konumda bulunması, modelin agent iş akışlarında yüksek performans sunduğunu kanıtlıyor. Artificial Analysis Intelligence Index üzerinde 42 puan alan model, M3 sürümüne göre 13 puanlık bir artış kaydetti.

    Bu performans artışı, GLM-5.3-Flash modeli ile benzer bir seviyede seyrediyor. Ancak benchmark sonuçlarındaki bu hızlı yükseliş, testlerin manipüle edilip edilmediği konusundaki tartışmaları da beraberinde getiriyor.

    Artificial Analysis tarafı henüz iddialara ilişkin resmi bir açıklama yapmadı. Konuyla ilgili olarak kurumla iletişime geçildiği ve yanıtların gelmesi durumunda paylaşılacağı belirtiliyor.

    Kullanıcıların, yapay zeka modellerini karşılaştırırken yalnızca benchmark puanlarına odaklanmak yerine daha temkinli davranmaları öneriliyor. Sizce yapay zeka benchmark testleri, modellerin gerçek yeteneklerini ölçmek için yeterince güvenilir mi?

    google preferred source badge for shiftdelete
    Henüz yorum yok İlk Yorumu Yaz
    ×

    Yorumunuz gönderildi,
    onaylandıktan sonra yayımlanacak.

    Yorum Yaz