Yeni ölçüm: en iyi kodlama ajanı gerçek işlerin yalnızca dörtte birini tam çözüyor

Araştırmacılar Co-Design Bench adında yeni bir test hazırladı. Görevler uydurma değil: insanların kodlama ajanlarına gerçekten yazdığı isteklerden seçilmiş, özellikle kullanıcının isteğini yeniden anlatmak ya da yapılan değişikliği geri almak zorunda kaldığı örnekler tercih edilmiş. Ajanlardan hazır bir web uygulamasını değiştirmesi isteniyor; bazen elinde yalnızca bir resim, ses kaydı, video ya da belge oluyor.

Bitmiş uygulamayı bir yapay zekâ hakem tarayıcıda açıp deniyor, ikinci bir hakem de sonuçları gözden geçirip sahte ya da sabit yazılmış çıktıları yakalıyor. Böylece ajanın işi gerçekten yaptığından emin olunmak isteniyor.

On modelin denendiği testte birinci olan GPT-6 Astra, istenenlerin ortalama yüzde 70'ini yerine getirdi ama görevlerin yalnızca yüzde 26,4'ünü baştan sona doğru çözdü. Yani çoğu zaman iş büyük ölçüde yapılıyor, fakat küçük bir eksik ya da hata kalıyor ve bir insanın düzeltmesi gerekiyor.

Bir görevde yerleşim, tasarım, etkileşim ve içerik gibi üç dört farklı değişiklik birleşince bütün modellerin başarısı düşüyor. Daha fazla işlem gücü harcamak da çözüm olmadı: bir model, birincinin yaklaşık altı katı jeton harcadığı halde belirgin biçimde daha kötü sonuç aldı. Ajanın çalıştığı ortam, yani kodu okuyup yazan ve çalıştıran yazılım, en az model kadar fark yaratıyor; aynı model ortama göre yüzde 75 ya da yüzde 56 puan alabildi.

Araştırmacılar sınırlarını da belirtiyor: her görevde tek bir sabit istek var, ajan soru soramıyor ve yol boyunca düzeltme alamıyor. Hakem yapay zekâlar da hata yapabilir. Yine de eski testlerde puanlar yüzde 99'a dayandığı için modelleri ayırt etmek zorlaşmıştı; yeni test bu boşluğu dolduruyor.