Çinli Yapay Zeka Firması Hakkında Çarpıcı İddia: Benchmark Sorularını mı Çaldı?

Yapay zeka dünyasında MiniMax M3.1 Flash modelinin başarısı üzerine ortaya atılan yeni bir iddia, benchmark testlerinin güvenilirliğini ciddi şekilde tartışmaya açıyor. Bu iddia, modelin yüksek performans sergilediği test sorularını önceden ele geçirmiş olabileceği yönünde oldukça somut şüpheler barındırıyor.
MiniMax tarafından geliştirilen M3.1 Flash, özellikle Artificial Analysis tarafından yürütülen testlerde gösterdiği sonuçlarla teknoloji çevrelerinin dikkatini çekiyor. Ancak araştırmacılar, bu başarının arkasında benchmaxxing olarak adlandırılan ve modellerin genel yeteneklerini geliştirmek yerine test sorularını ezberlemesine dayanan bir yöntemin olabileceğini öne sürüyor.
Benchmark Testlerinde Sızdırma İddiası
Artificial Analysis tarafından yürütülen Omniscience testi, oldukça zorlu bir yapıya sahip olmasıyla biliniyor. Test havuzunda bulunan yaklaşık 6 bin sorudan yalnızca 600 tanesi halka açık şekilde paylaşılıyor ve geri kalan sorular gizli tutuluyor.
Conspiracy: How did Minimax M3.1 Flash out of nowhere become a genius on Artificial Analysis Omniscience Bench?
AA Omniscience (my favorite benchmark btw) is closed and only 600 questions (of 6k) are released publicly. That means benchmaxxing is basically impossible without a general knowledge increase.
Let’s go back to when M3 released:
June 1: Official model launch, API (although also 3rd party like siliconflow or novita) available.
June 4: Artificial Analysis benchmark published.
June 12: Model weights released publicly on Hugging Face.Oct 19: M3.1-F releases together with AA model page (early access for AA obv as DS takes like 1-2 days, this one 1 hour) and jumped from one of the least to one of the most knowledgeable models EVER. M3 17% (lower than gpt-4.1 mini)-> M3.1-F 56% (higher than Gemini 4 argon) on AA-O. This is unheared of and never happened before. The biggest improvement we saw in a small iteration was Gemini 3.1 Pro from 3.0 Pro which jumped 17%. This one did 39%. Also it is FLASH. Probably <400B. And is literally better than Kimi K3 (2.8T, best Chinese at 48%). I can confidently say, this is IMPOSSIBLE.
Here the conspiracy:
Minimax sniped the Artificial Analysis API requests for M3 and then just trained HEAVILY on their questions.And I tried the model and tested it: Turns out it doesn’t know its own Boss (Minimax founder Dr. Yan Junjie), hallucinates all the time (okay this is expected based on AA), and then I did the final TEST.
I took one of the published AA Omniscience questions and slightly modified it so the answer is different while it sounds the same. All models pass besides M3.1-F which just outputs the original Benchmarks answer. (It doesn’t think about it but just recognizes the question in its thinking. even on max effort)-> would mean: Artificial analysis is compromised and MiniMax must be investigated if they any of them two want to stay credible. Take the unpublished AA-O questions and slightly modify them so the answer changes and see if the model still defaults to the original answers.
Obviously AA Omniscience isn’t the only benchmark. This should be done for EVERY SINGLE PRIVATE BENCHMARK ON AA.
— Binkg (@dummerspast39) October 19, 2026
İddialara göre MiniMax, M3 modelinin değerlendirme sürecinde Artificial Analysis’in sorgularını izleyerek bu sorulara erişim sağladı. Şirket, kendi altyapısı üzerinden gelen bu sorguları tespit ederek bir veri havuzu oluşturmuş olabilir.
M3 modelinin 1 Haziran tarihinde API üzerinden yayınlanması ve Artificial Analysis’in 4 Haziran’da sonuçları açıklaması, bu zamanlamanın tesadüf olmayabileceği ihtimalini güçlendiriyor. Modelin ağırlıkları ise ancak 12 Haziran tarihinde kamuoyuyla paylaşıldı.
Araştırmacı Binkg, yayınlanan Omniscience sorularından birini alıp cevabı değişecek şekilde hafifçe modifiye ettiğini belirtti. Bu testte diğer tüm modeller doğru yanıtı verirken, M3.1 Flash modelinin orijinal benchmark cevabını vermeye devam ettiği gözlemlendi.
Bu durum, modelin soruyu analiz etmek yerine doğrudan eğitim verisi olarak ezberlediği benchmark cevabını sunduğunu gösteriyor. Eğer bu iddialar doğrulanırsa, benzer yöntemlerin diğer yapay zeka modelleri için de kullanılmış olabileceği endişesi doğuyor.
Performans ve Maliyet Dengesi
MiniMax M3.1 Flash, 428 milyar parametre ve 23 milyar aktif parametre ile oldukça verimli bir yapı sunuyor. Model, 1 milyon girdi token’ı için 0,15 dolar ve çıktı için 0,60 dolar gibi oldukça rekabetçi fiyatlandırma seçenekleriyle öne çıkıyor.
Automation Bench, Banker ToolBench ve LOCA-Bench-256K gibi üç önemli benchmark testinde lider konumda bulunması, modelin agent iş akışlarında yüksek performans sunduğunu kanıtlıyor. Artificial Analysis Intelligence Index üzerinde 42 puan alan model, M3 sürümüne göre 13 puanlık bir artış kaydetti.
Bu performans artışı, GLM-5.3-Flash modeli ile benzer bir seviyede seyrediyor. Ancak benchmark sonuçlarındaki bu hızlı yükseliş, testlerin manipüle edilip edilmediği konusundaki tartışmaları da beraberinde getiriyor.
Artificial Analysis tarafı henüz iddialara ilişkin resmi bir açıklama yapmadı. Konuyla ilgili olarak kurumla iletişime geçildiği ve yanıtların gelmesi durumunda paylaşılacağı belirtiliyor.
Kullanıcıların, yapay zeka modellerini karşılaştırırken yalnızca benchmark puanlarına odaklanmak yerine daha temkinli davranmaları öneriliyor. Sizce yapay zeka benchmark testleri, modellerin gerçek yeteneklerini ölçmek için yeterince güvenilir mi?

Yorumunuz gönderildi,
onaylandıktan sonra yayımlanacak.