Şans eseri p < 0,05 elde edene kadar bir veri kümesini alt gruptan alt gruba bölün; ardından yeni bir numuneyi izleyerek bulgunuzun gerçek mi yoksa şans eseri mi olduğuna karar verin.
Tedavinin gerçek bir etkisi yoktur, dolayısıyla bulduğunuz herhangi bir önem gürültüdür. Verileri alt gruplara filtreleyin ve 0,05'in altında bir p değeri elde edene kadar testi gerektiği kadar yeniden çalıştırın, ardından 'bulgunuzu' hakeme gönderin. İşin püf noktası: bir çoğaltma kontrolü, yeni ve bağımsız bir örnek alır ve iddianızı tam olarak yeniden test eder. Gerçek etkiler hayatta kalır; p-hack'ler ortadan kayboluyor - ve bu boşluk tüm derstir.
Cherry Picker, p-hackleme, çoklu karşılaştırmalar ve çoğaltmanın neden önemli olduğu, yani istatistiklerin bütünlüğü ile ilgilidir.
Alt gruplara göre filtreleyip bir şey anlamlı çıkana kadar testi yeniden çalıştırmak veri taramasıdır, yani p-hacking: birçok test yapıp yalnızca anlamlı çıkanları raporlamak.
Özgün tasarım, tedavinin gerçek bir etkisinin olmamasıdır; böylece bulduğunuz her sonuç yapısı gereği gürültüdür.
Bunu öğretmenin tek dürüst yolu budur. Soyut olarak anlatıldığında p-hacking, dikkatli birinin asla yapmayacağı bir hile gibi görünür; boş olduğu garanti edilmiş veriler üzerinde uygulamak ise anlamlılığın ne kadar kolay ortaya çıktığını gösterir ve bu bir karakter kusuru değil, çoklu karşılaştırmalar problemidir.
Cherry Picker, p-hackleme, çoklu karşılaştırmalar ve kopyalamanın neden önemli olduğu hakkında bir istatistik oyunudur. PlayPendium için oluşturulmuş orijinal, ücretsiz bir tarayıcı oyunudur.