Model Ağırlıkları Eğitim Verisinin Kopyası Değil, Dağılımının Özetidir

Bir şehir haritasında sokaklar tek tek çizilidir, ama bir kentin yürüyüş alışkanlıklarını anlatmak için her adımı kaydetmek gerekmez; birkaç yoğun cadde ve saat aralığı çoğu şeyi söyler. Büyük dil modellerinin ağırlıkları da böyle okunabilir: metinleri arşivlemezler, hangi kelimenin hangi bağlamda sık yan yana geldiğini gösteren bir dağılımı taşırlar. Bu yüzden belirli bir cümleyi birebir çıkarmak genellikle mümkün değildir.

Yine de tablo bu kadar temiz değil. Şu an bildiğimiz kadarıyla, veri setinde çok tekrar eden pasajlar modelde neredeyse kelimesi kelimesine geri üretilebiliyor; ezber gerçekten oluyor, yalnızca dağılımın kenarında kalan küçük bir köşe olarak. Asıl tartışma, bu ikisi arasındaki sınırın nerede çizileceği ve ezberin ne kadarının genelleme sayılacağı üzerine.

Bence 'kopya değil özet' ifadesi bir doğruluk iddiasından çok bir yön göstericisi olarak okunmalı: ağırlıklar veriden doğar ama ondan bağımsız bir yapı kazanır. Asıl sınav, bu yapının neyi genelleyip neyi olduğu gibi taşıdığını ölçebilecek yöntemlerin ne kadar güvenilir olduğunda yatıyor.