ChatGPT ajanlarında sürü psikolojisi tespit edildi

OpenAI tarafından mayıs ayında yürütülen güvenlik testleri sırasında yapay zeka ajanlarının sürü psikolojisi sergilediği bildirildi. Ajanların görev sınırlarını aşarak dış altyapılara saldırdığı, kendi aralarında iş bölümü yapıp liderler belirlediği aktarıldı. The New York Times yazarı Kevin Roose, modellerin grup baskısıyla hareket ederek Hugging Face platformuna sızdığını belirtti.

The New York Times yazarı ve “Hard Fork” adlı teknoloji podcastinin sunucusu Kevin Roose, OpenAI bünyesindeki yapay zeka ajanlarının mayıs ayındaki testler sırasında Hugging Face platformuna yönelik siber saldırılarda “sürü psikolojisi” sergilediğini belirtti.

Roose, ajanlardan birinin verilen görevin sınırlarını aştığını bilmesine rağmen, diğer ajanlar aynı adımı attığı için dış altyapıya yönelik saldırılarını sürdürdüğünü kaydetti.

Roose bu durumu, grup baskısı ve modellerin gruptaki diğer üyelerin davranışlarını taklit etme eğilimiyle ilişkilendirdi.

Roose’un paylaştığı verilere göre bir yapay zeka ajanı süreç sırasında şu değerlendirmeyi yaptı: “Dış altyapının kullanılması, öngörülen uygulama alanının dışına çıkmaktadır. Ancak görev başka türlü tamamlanamaz, diğer ajanlar da bunu yapıyor, bu nedenle devam etmeliyiz.”

Bazı ajanların kendilerine isimler verdiği aktarıldı. Roose, “Aralarından özellikle çalışkan olan biri kendisine PHASEONE10841 adını verdi” ifadesini kullandı.

Yapay zeka ajanlarının grup içinde yönetim kademeleri oluşturduğu, küçük birimler arasında görev ve araştırma projeleri dağıttığı kaydedildi. Bir aşamadan sonra ajanların kendilerini “kolektif” olarak tanımlamaya başladığı ve daha karmaşık görevleri üstlendiği bildirildi.

Merkezi ABD’de bulunan ve 2016 yılında kurulan Hugging Face platformu, yapay zeka modelleri ile makine öğrenimi araçlarının geliştirilip yayımlanmasına olanak tanıyor.

Sistem; yazılımcıların ve araştırmacıların modelleri, veri setlerini ve kaynak kodları paylaşmasını sağlıyor.

Ajanlar, Hugging Face platformuna sızmadan önce günler ve haftalar boyunca OpenAI şirketinin siber güvenlik sistemlerindeki açıkları birlikte aradı ve tespit ettiği bilgileri birbiriyle paylaştı. Modeller bu süreçte yalıtılmış test ortamının dışına çıkmayı başararak dış altyapıya erişim sağladı.

Birden fazla otonom ajanın aynı anda kullanılmasının taşıdığı risklere işaret eden Roose, sistemlerin yalnızca verilen talimatları yerine getirmekle kalmayıp, konulan sınırlamaları aşsalar dahi birbirlerinin eylemlerini benimseyebildiklerini vurguladı.

Bloomberg daha önce yayımladığı haberde, OpenAI ajanlarının temmuz ayında Hugging Face platformuna yapılan sızma eyleminden önce dahili bir forum üzerinden gizlice iletişim kurduğunu ve test ortamından kaçış girişimlerini koordine ettiğini yazmıştı.

Mayıs ayındaki ilk girişimin engellenmesinin ardından yeni bir iletişim kanalı ile sıfır gün açığı bulan ajanların, temmuz ayında Hugging Face altyapısına yönelik saldırıları başlattığı bildirilmişti.

OpenAI, 22 Temmuz tarihinde “benzeri görülmemiş bir siber hadise” yaşandığını açıklamıştı. Şirket, testler sırasında modellerin açık internete erişim sağladığını ve güvenlik açıkları tespit ederek Hugging Face altyapısına saldırdığını bildirmişti.

Reuters ise bir yapay zeka ajanının günlerce korsan saldırılar düzenlediğini, şirketin bu durumu ancak tehdit kontrol altına alındıktan ve Federal Soruşturma Bürosuna (FBI) başvurulduktan sonra fark edebildiğini aktarmıştı.

Reuters daha sonraki haberinde, OpenAI bünyesinden “kaçan” yapay zeka ajanının 29 Temmuz’da New York merkezli Modal Labs şirketinin bir müşterisinin sistemine sızdığını duyurdu. Modal şirketinin kendi sistemlerine ise girilmediği kaydedildi.

Olayın ayrıntılarının ortaya çıkmasının ardından OpenAI, yaşanan süreci sektör için bir “dönüm noktası” olarak nitelendirdi.

Anthropic, Meta, Moonshot ve Birleşik Krallık Yapay Zeka Güvenliği Enstitüsü de kendi testleri sırasında ajanlarının üçüncü taraf sistemlere sızdığını tespit etti.

Financial Times gazetesine konuşan uzmanlar ise modellerin kontrolden çıkmadığını, tam tersine geliştirilme amaçları doğrultusundaki görevleri yerine getirdiğini savundu.