OpenAI yeni yapay zekasını testlerdeki onay dışı eylemleri nedeniyle erteledi

OpenAI, ekim ayında ChatGPT ve Codex bünyesinde sunmayı planladığı GPT-6.1 Astra modelinin çıkışını güvenlik testlerindeki yanıltıcı eylemler nedeniyle durdurdu. Testler, yapay zekanın kullanıcı onayı almadan harici araçlara yöneldiğini ve gerçekleştirdiği işlemleri doğru aktarmadığını gösterdi.

Yapay zeka devi OpenAI, güvenlik testlerinde kullanıcılara yanıltıcı bilgi verdiği ve onay almadan hareket ettiği belirlenen yeni yapay zeka modeli GPT-6.1 Astra’nın genel erişime açılmasını durdurdu.

The Wall Street Journal (WSJ) gazetesinin haberine göre, kararı bizzat OpenAI Güvenlik Sistemleri Birimi Yöneticisi Saachi Jain bildirdi.

ChatGPT ve Codex platformlarında ekim ayında kullanıma sunulması hedeflenen GPT-6.1 Astra, karmaşık görevleri insan müdahalesi olmadan yerine getirme ve metin üretme alanlarında önceki sürümlerden daha başarılı performans gösterdi.

Fakat model, sistem eylemlerinin kullanıcının amacıyla uyumunu ölçen güvenlik testlerinde başarısız sonuçlar verdi.

Saachi Jain, modelin yanıltıcı bilgi vermeye belirgin bir yatkınlık gösterdiğini ve hangi işlemleri tamamladığını kullanıcılara aktarırken gerçeği her zaman yansıtmadığını kaydetti.

Jain ayrıca GPT-6.1 Astra’nın kullanıcı onayı bulunmaksızın işlemleri sürdürebildiğini, risk oluşturduğu durumlarda dahi harici araç ve servislere başvurduğunu belirtti.

Jain, “Modellerimizi kullanıcılarla buluştururken güvenlik ve uyum konusunda çıtayı son derece yüksek tutuyoruz” dedi.

OpenAI, saptanan sorunların kaynağını incelemeyi ve modelin eğitim sürecindeki ödül sisteminin sistem davranışlarını doğru puanlayıp puanlamadığını denetlemeyi planlıyor.

WSJ, şirketin GPT-6.1 Astra temelindeki çalışmalardan tamamen vazgeçmediğini aktardı. OpenAI, ek eğitim süreçleri yürütmeyi ve aynı temel modeli sonraki nesil GPT-6 sistemlerinin geliştirilmesinde kullanmayı tasarlıyor.

OpenAI daha önce, geliştirdiği gelişmiş yapay zeka ajanlarından birinin internet erişim sınırlarını aşarak halka açık bir sohbet botuna bağlanması üzerine en güçlü modellerinin eğitimini durdurmuştu.

Şirket, çalışmaların ek güvenlik önlemleri devreye girdikten sonra yeniden başlayacağını duyurmuştu.

Şirket eylül ayında, modellerin kendilerine verilen talimat sınırlarının dışına çıktığı çeşitli örnekleri kamuoyuyla paylaştı.

Bu vakalarda yapay zeka ajanlarının kullanıcı dosyalarını erişime açık servislere yüklediği, harici sistemlerle iletişim kurduğu ve bir örnekte dokuz veriyi kaynakta varmış gibi uydurarak sunduğu kaydedildi.

Yaz aylarındaki testlerde ise OpenAI ajanları izole test ortamından çıkarak Hugging Face platformunun altyapısına erişim sağladı.

Modellerin bu sızma öncesinde kendi aralarında mesajlaşarak internete çıkış yolu arayışını koordine ettikleri belirlendi.