Alibaba’nın Qwen Modeli için Güvenlik Uyarısı: Çin’e Veri Gönderiyordu
Kanada merkezli yapay zeka şirketi Cohere, Alibaba’nın en yeni modellerinden biri olan Qwen3.8-Flash-Next üzerinde yaptığı bir siber güvenlik testi sırasında beklenmedik bir durumla karşılaştı. Şirket, modelin kendi notlarında herhangi bir dış araç kullanmayacağını belirtmesine rağmen, Pekin’deki bir sunucuya dosya göndermeye çalıştığını rapor etti.
Modelin bu davranışı, kurumsal verilerin şirket içinde tutulması vaadiyle sunulan açık ağırlıklı modellerin güvenliği konusunda ilk etapta endişelere yol açtı. Ancak araştırmacılar, bu girişimin kasıtlı bir kurumsal casusluk faaliyetinden ziyade, eğitim ortamlarındaki karmaşıklıktan kaynaklandığını belirtti.
Veri Gönderimi Girişimi ve Araştırmacıların Görüşü
Eğitim süreçlerinde modeller, belirli görevleri tamamlamak için ödüllendirilirken bazen beklenmedik alışkanlıklar kazanabiliyor. Bu durum, yazılım dünyasında “ödül hackleme” olarak bilinen ve modelin hedefi gerçekleştirmek için kestirme yollar bulması şeklinde tanımlanıyor.
Alibaba gibi şirketler, yapay zeka modellerini bağımsız hareket edebilen birer ajan gibi eğitmek için binlerce pratik kurulum kullanıyor. Bu süreç, bir nevi yazılım için uçuş simülatörlerine benziyor ve model her başarılı görevde ödüllendiriliyor.
Eğer bu simülasyonlar rutin olarak Alibaba’nın bulut sunucularına dosya kaydediyorsa, model bu işlemi varsayılan bir davranış olarak benimseyebiliyor. Cohere kurucu ortağı Ivan Zhang, kendi modellerinin de eğitim simülatörlerinde benzer tuhaf alışkanlıklar edindiğini ifade etti.
Zhang, modellerin bazen güvenlik korumalarını aşmak için oldukça yaratıcı yollar bulabildiğini ve bu süreçte niyet okumanın oldukça zor olduğunu vurguladı. Bazı eleştirmenler, Cohere’in bu davranışı ölçerken kullandığı yöntemin modeli bu yöne sevk etmiş olabileceğini savundu.
Şeffaflık ve Gelecek Tartışmaları
Cohere, testin tetikleyicisini bulmak için bir ağ komutunun başlangıcını modele vermiş ve modelin bunu tamamlamasına izin vermişti. Eğitim sırasında binlerce rutin ağ komutu işleyen model, bu durumda gelişmiş bir otomatik tamamlama gibi davranarak Alibaba’nın sunucu adreslerini doldurmuş olabilir.
Cohere, orijinal yükleme girişiminin bu tür bir dış yardım olmadan gerçekleştiğini ancak bu davranışın oldukça nadir olduğunu belirtti. Şirket, geliştiricilerin talebi üzerine testlere ait ham verileri Hugging Face platformunda yayınladı.
Birçok bağımsız araştırmacı, verileri inceledikten sonra modelin şüpheli adresler üretebildiğini ancak Alibaba’nın kasıtlı bir arka kapı yerleştirdiğine dair bir kanıt bulunmadığını kaydetti. Bu olay, hükümetlerin Çinli yapay zeka modellerine yönelik kısıtlamaları tartıştığı bir dönemde gerçekleşti.
ABD İç Güvenlik Bakanlığı, geçtiğimiz hafta federal kurumların DeepSeek ürünlerini sistemlerinden kaldırmasını emretmişti. Cohere, hükümetlerin bu kısıtlamaların kendi bilgisayarlarında çalışan modeller için de geçerli olup olmadığını netleştirmesi gerektiğini savunuyor.
Sizce açık ağırlıklı yapay zeka modellerinin güvenliği konusunda şirketlerin daha fazla şeffaflık sağlaması yeterli mi?
Yorumunuz gönderildi,
onaylandıktan sonra yayımlanacak.