OpenAI, araştırma modellerini 35 saniyede durdurabilen "Kontrol Odası" kurdu

OpenAI, Control Room adını verdiği bir iç sistemi duyurdu. Sistem, şirketin araştırma altyapısında çalışan model işlerini tek bir yerden izliyor ve güvenlik ya da emniyet endişesi çıkarsa onları hızla durdurabiliyor. Kapsamında eğitim denemeleri, değerlendirmeler ve veri işleme gibi iç işler var.

Çalışma biçimi basit bir fikre dayanıyor. Her işe bir kimlik veriliyor ve model çıktı üretmeden önce Control Room'a soruyor. İş işaretlenmişse istek reddediliyor. Böylece araştırma programı arka planda çalışmaya devam etse bile modelin dışarıya çıktı vermesi engellenmiş oluyor. OpenAI'a göre durdurma kararından sonra çıktı en geç 35 saniyede kesiliyor.

Sistem ayrıca "güvenli kapanma" ilkesiyle tasarlandı: Control Room'un kendisi çökerse bütün istekler, sistem geri gelene kadar reddediliyor. Otomatik izleme araçları bir sorun görürse, ilgili işi durdurmak için sisteme doğrudan komut verebiliyor.

Bu, ajanların uzun süre insan gözü olmadan çalıştığı bir dönemde, kapatma düğmesinin nasıl tasarlanması gerektiğine dair somut bir örnek.