OpenAI’ın yeni yapay zeka modellerini kullanırken dikkatli olun

OpenAI’ın kısa süre önce tanıttığı yeni yapay zeka modelleri o3 ve o4-mini her ne kadar özellikleri ile beğenilmiş olsalar da eski modellerdeki can sıkıcı bir sorunla geldi.

Ortaya çıkan ayrıntılara göre bu iki yeni modelin gerçekdışı bilgiler üretme eğilimi, önceki modellere kıyasla artmış durumda. OpenAI’ın kendi testlerine göre bu yeni modeller, hem eski “akıl yürütme” modelleri olan o1, o1-mini ve o3-mini’den hem de GPT-4o gibi daha geleneksel modellerden daha fazla ‘halüsinasyon‘ görüyor.

Webtekno’nun aktardığına göre daha da dikkat çekici olan ise bu artışın sebebinin henüz tam olarak anlaşılamamış olması. OpenAI yayınladığı teknik raporda bu sorunun çözümü için daha fazla araştırmaya ihtiyaç duyduklarını kabul etmiş durumda.

OpenAI’ın şirket içi testlerine göre o3 modeli, insanlarla ilgili bilgileri değerlendiren PersonQA testinde soruların yüzde 33’ünde halüsinasyon gördü. Bu oran, o1 ve o3-mini’nin sırasıyla yüzde 16 ve yüzde 14,8 olan halüsinasyon oranlarının neredeyse iki katı. O4-mini ise bu alanda yüzde 48 ile daha da kötü bir performans sergiledi.

Üçüncü parti testlerde de benzer sonuçlar ortaya çıktı. Bağımsız araştırma laboratuvarı Transluce, o3 modelinin cevap verirken tamamen gerçek dışı işlem adımları uydurma eğiliminde olduğunu ortaya koydu.

Transluce’un kurucularından ve eski OpenAI çalışanı Neil Chowdhury’ye göre bu durumun sebebi modellerin eğitiminde kullanılan yöntemler olabilir ancak net bir sebebe dayandırmak şu aşamada güç.

o3 modeli her ne kadar bazı görevlerde, özellikle de kodlama ve matematikte başarılı sonuçlar verse de sık sık hatalı sonuçlar üretmesi ya da gerçekte olmayan kaynaklar sunması gibi ciddi sorunlara sahip.

Öte yandan mevcut haliyle GPT-4o, OpenAI’ın SimpleQA testinde yüzde 90 doğruluk oranı yakalayarak hala güçlü bir alternatif.