Sayılar sayfası korpusu sayar: kaç ayet, kaç kelime, hangi harf kaç kere. Bu sayfa ise sorular sorar ve cevabın rastlantı olup olmadığını test eder. "Şu desen ilginç değil mi?" demek kolaydır — zor olan, aynı deseni rastgele bir metnin de üretip üretmeyeceğini göstermektir. Buradaki her bulgu bu ikinci sınavdan geçirildi.
Matematik bilmenize gerek yok. Her bölüm önce sorunun ne olduğunu gündelik bir benzetmeyle anlatıyor, sonra ne bulduğumuzu söylüyor. Formüller en altta, açılır bir dipnotta duruyor — merak ederseniz diye.
Bir hastalık ilacını test ederken bir de kontrol grubu kurarsınız: ilacı almayan insanlar. İlaç grubu iyileşti diye sevinmeden önce kontrol grubunun da iyileşip iyileşmediğine bakarsınız. Bu sayfadaki her testin böyle bir kontrol grubu var.
"Null model" = kontrol grubu. Metni alır, aradığımız düzeni bilerek bozarız — kelimeleri karıştırır, ayetlerin sırasını değiştiririz — ve aynı ölçümü binlerce kez tekrarlarız. Eğer karıştırılmış metin de aynı sonucu veriyorsa, bulduğumuz şey metne ait değildir. Her bölümde tam olarak neyin karıştırıldığı yazılı, çünkü neyi bozduğunuz sorunun ne olduğunu belirler.
p = şans bunu ne sıklıkla yapardı. p = 0,01 demek, "karıştırılmış metin bu kadar çarpıcı bir sonucu yüz denemeden birinde kendiliğinden üretiyor" demek. Küçük p iyi. Ama dikkat: p, iddianın doğru olma olasılığı değildir — yalnızca şansın bunu ne kadar kolay taklit edebildiğini söyler. Bir de p = 0 diye bir şey yoktur: bin deneme yaptıysanız söyleyebileceğiniz en güçlü şey "binde birden az"tır.
q = yeterince çok bakarsan bir şey bulursun. Bir zarı bir kez atıp altı gelirse şaşırırsınız; yüz kez atarsanız birkaç altı gelmesi normaldir. Aynı şey testler için de geçerli: yüzlerce hücreyi tek tek yoklarsanız, hiçbir gerçek etki olmasa bile birkaçı "anlamlı" çıkar. q sütunu bu şişkinliği düzeltir. Tablolarda p'ye değil q'ya bakın.
z = farkın kaç adım uzakta olduğu. Kontrol grubunun sonuçları bir tepe çizer; z, gerçek sonucun bu tepenin merkezinden kaç "normal sapma" uzakta durduğudur. z = 2 dikkat çeker, z = 20 tartışmasızdır.
Ve en önemlisi: "anlamlı" ile "önemli" aynı şey değil. Yeterince büyük veride kılpayı bir fark bile istatistiksel olarak anlamlı çıkar. Asıl soru farkın ne kadar büyük olduğudur. Bu yüzden p'nin yanında her zaman bir de etki büyüklüğü veriyoruz — 7. bölümde bunun ders kitaplık bir örneği var: anlamlı ama tamamen işe yaramaz bir sonuç.