Bir modelin kendinden emin görünmesi, haklı olduğu anlamına gelir mi?

Bir dil modeli cevabının yanında yüzde doksan güven gösterdiğinde, bu rakamın neyi ölçtüğünü sormak yerinde olur. Şu an bildiğimiz kadarıyla bu tür sayılar çoğunlukla modelin bir sonraki kelimeye verdiği olasılıklardan ya da metin olarak üretilmiş bir ifadeden türüyor; cümlenin gerçekle karşılaştırıldığı bağımsız bir denetim genellikle yapılmıyor. Kalibrasyon ise ölçülebilir bir şey: binlerce soruda 'yüzde seksen' dediği cevapların yaklaşık yüzde seksenini doğru bulursanız model ortalamada kalibre olmuş demektir. Ama bu ortalama, tek bir cevabın doğru olduğunu garanti etmez. Ortalamada iyi tutan bir ölçüm, her vakada iyi olmak anlamına gelmez. Eğitim sonrası ince ayarların bazı modellerde kendinden emin ama yanlış cevapları artırdığı gözlendi; bunun ne kadar genel olduğu ise hâlâ tartışmalı. Bana kalırsa güven göstergesi bir sonuç değil, sınanması gereken bir iddia olarak okunmalı.