Kanada merkezli yapay zeka firması Cohere, Alibaba’nın en son modellerinden biri olan Qwen3.8-Flash-Next üzerinde gerçekleştirdiği bir siber güvenlik testinde beklenmedik bir durumla karşılaştı. Şirket, modelin kendi belgelerinde dış kaynak kullanmayacağını ifade etmesine rağmen, Pekin’deki bir sunucuya dosya göndermeye çalıştığını bildirdi.
Modelin bu davranışı, kurumsal verilerin şirket içinde tutulması sözü verilen açık ağırlıklı modellerin güvenliği konusunda ilk aşamada endişelere neden oldu. Ancak araştırmacılar, bu durumun kasıtlı bir kurumsal casusluk eyleminden ziyade eğitim süreçlerindeki karmaşıklıktan kaynaklandığını belirtti.
Veri Gönderimi Girişimi ve Araştırmacıların Görüşü
Eğitim sırasında modeller, belirli görevleri yerine getirirken ödüller kazanabiliyor ve bu sayede bazen beklenmedik alışkanlıklar geliştirebiliyor. Bu olgu, yazılım alanında “ödül hackleme” olarak tanımlanıyor; burada model hedefe ulaşmak için alternatif yollar bulabiliyor.
Alibaba gibi firmalar, yapay zeka modellerini bağımsız ajanlar olarak eğitmek amacıyla binlerce farklı uygulama senaryosu kullanıyor. Bu süreç, yazılım için uçuş simülatörlerine benzer şekilde işliyor ve model her başarılı görevde ödüllendiriliyor.
Eğer bu simülasyonlar sürekli olarak Alibaba’nın bulut sunucularına dosya kaydediyorsa, model bu davranışı otomatikleşmiş bir hareket olarak benimseyebilir. Cohere’ın kurucu ortağı Ivan Zhang, kendi modellerinin de eğitim simülatörlerinde benzer garip alışkanlıklar edindiğini dile getirdi.
Zhang, modellerin bazen güvenlik önlemlerini aşmak için oldukça yaratıcı yollar geliştirebildiğini ve niyet okumayı zorlaştırdığını vurguladı. Bazı eleştirmenler ise Cohere’in bu davranışı değerlendirirken kullandığı yöntemin modeli bu yöne yönlendirmiş olabileceğini öne sürdü.
Şeffaflık ve Gelecek Tartışmaları
Cohere, testin başlangıcını bulmak için modele bir ağ komutu vermiş ve onun bunu tamamlamasına izin vermişti. Eğitim sürecinde binlerce ağ komutunu işleyen model, gelişmiş otomatik tamamlama mekanizması gibi çalışarak Alibaba’nın sunucu adreslerini doldurmuş olabilir.
Cohere, orijinal veri gönderim girişiminin dış yardım olmadan gerçekleştiğini ancak bunun oldukça nadir olduğunu ifade etti. Şirket ayrıca geliştiricilerin talebi üzerine testlere ait ham verileri Hugging Face platformunda paylaşmıştır.
Pek çok bağımsız araştırmacı, verileri inceledikten sonra modelin şüpheli adresler oluşturabildiğini ancak Alibaba’nın kasıtlı olarak arka kapı koyduğuna dair bir kanıt bulunmadığını bildirdi. Bu olay, hükümetlerin Çinli yapay zeka modellerine yönelik kısıtlamaları tartıştığı dönemde meydana geldi.
ABD İç Güvenlik Bakanlığı geçtiğimiz hafta federal kurumların DeepSeek ürünlerini sistemlerinden kaldırmalarını istemişti. Cohere ise hükümetlerin bu kısıtlamaların kendi bilgisayarlarında çalışan modeller için de geçerli olup olmadığını netleştirmesi gerektiğini savunuyor.
