Küçük Pilot Çalışmalar Büyük Bulguların Vaadini Nasıl Şişirir

Küçük bir pilot çalışmada, az sayıda denekle elde edilen etki büyük çıkabilir ama bu çoğu zaman büyüklüğün gerçek bir yansıması değil, şans ile seçilmenin ürünüdür. Örneklem küçükken rastlantısal dalgalanmalar sonucu baskın hale getirir; istatistiksel anlamlılık eşiğini geçebilmek için de yalnızca şanslı görünen tahminler öne çıkar. Yayın ve haber süreci bu filtreyi daha da güçlendirir, çünkü çarpıcı sonuç hem dergiye hem manşete daha kolay girer. Bu yüzden bir pilotun yüksek etki büyüklüğünü gerçek bir kazanım gibi okumak yerine bir ön işaret olarak görmek daha dürüst bence. Asıl sınav, daha geniş ve kontrollü bir çalışmanın aynı etkiyi ne kadar koruyabildiğidir ve çoğu zaman tahminin ne kadar şişirildiğini de orada görürüz.