En iyi yapay zekâ ajanı yeni iş testinde yüzde 12'de kaldı

Yapay zekâ araştırma şirketi SemiAnalysis, 2 Kasım'da GDPx adlı yeni bir ölçüm testi yayımladı. Test, yapay zekâ ajanlarının (kendi başına adım adım iş yapabilen programların) kısa sorulardan çok, uzun ve karmaşık iş görevlerinde ne kadar başarılı olduğunu ölçüyor. Yazılım geliştirme, siber güvenlik, finans, biyoloji ve çip tasarımı gibi 11 alanda toplam 206 görev var.

Her görev için varsayılan süre sekiz saat. Modeller mümkün olduğunda kendi ajan araçlarıyla, örneğin Claude Code ya da Codex gibi ortamlarda çalıştırıldı. Görevleri, yapay zekâ şirketlerine eğitim verisi satan 14 ortak firma hazırladı. Örneğin finans görevlerinde ajanın, binlerce dosya arasından işe yarayanları kendisinin bulması gerekiyordu.

Sonuçlar mütevazı çıktı. Birinci sıradaki Claude Opus 5.5 yüzde 12 aldı. Onu yüzde 10,9 ile Gemini 4 Carbon ve yüzde 9,6 ile GPT-6 Astra izledi. Hukuk görevlerinde hiçbir model puan alamadı. Yazılım görevlerinden birinde, 25 denemenin hiçbiri başarılı olmadı; ajanlar çoğu zaman makul görünen ama eksik ya da yeterince denenmemiş çözümler üretti.

Bu rakamı doğru okumak gerekiyor. Görevler bilerek zor seçilmiş, bu yüzden yüzde 12, gerçek işlerin yüzde 88'inde başarısız olunduğu anlamına gelmiyor. Ayrıca sonuçlar yalnızca modelin gücünü değil, kullanılan araçları ve güvenlik filtrelerini de yansıtıyor. Testi yazanların ticari çıkarı olduğu için de sonuçlara temkinli bakmak iyi olur. SemiAnalysis testi her 3 ila 6 ayda bir güncelleyeceğini söylüyor.