A különböző következtetési iskolák nemcsak az adatok elemzésével kapcsolatban csaptak össze, hanem a kísérlettervezés kérdését illetően is, különösen a randomizáció56 szerepe kapcsán. Fisher azt javasolta, hogy a kísérleti manipuláción kívül eső, úgynevezett külső változók hatásának kiküszöbölése érdekében a kutatók a kísérleti személyeket véletlenszerűen rendeljék a különböző kondíciókhoz. A javaslatot rendszeresen Fisher egyik legjelentősebb tudományos eredményeként emlegetik. Például egy, a különböző tanulási stratégiák hatékonyságát vizsgáló kísérletben az alanyokat két különböző csoportba sorolhatjuk a romantikus szavak tanulási stratégiája szerint. Bizonyos személyiségbeli jegyek befolyással lesznek az alanyok szótanulási képességeire, függetlenül attól, melyik stratégiához soroljuk őket. Például meglehet, hogy a nembeli különbségek számítanak, lévén, hogy a nők jobbak a romantikus témájú dolgok megjegyzésében. Az efféle változókat kontrollálni tudjuk, mégpedig úgy, hogy mindkét csoportba egyenlő számú nőt és férfit sorolunk. De létezik ezenkívül még számos másik olyan változó, mely befolyásolhatja az eredményeket. Ilyen például az alanyok IQ-szintje, képzelőerejük élénksége és sok más olyan tulajdonság, amely számunkra fel sem merül. Nem tudjuk mindet kontrollálni. De ha az alanyokat véletlenszerűen soroljuk a csoportokba, akkor nincs szükség arra, hogy minden változót kontrolláljunk; még csak ismernünk sem kell azokat. Ennek a következő az oka: az ismeretlen változók összeadódnak és létrehoznak egy személyek közötti különbségmintázatot, még mielőtt a csoportokat alávetnénk a különböző kezeléseknek. Ha az embereket véletlenszerűen rendeljük a csoportokhoz úgy, hogy minden egyes személynek egyenlő esélye van arra, hogy bármelyik csoportba besorolják, akkor a személyek közötti várható tanulásbeli képességkülönbség nulla. Bármilyen különbség ezután csak a puszta véletlen műve lehet. Ennek az esélyét számoljuk ki a p-értékkel. És a szignifikanciaszint nem más, mint az azzal kapcsolatos előzetes elkötelezettségünk mércéje, hogy mekkora ilyen jellegű kockázatot vagyunk hajlandóak felvállalni. Ebben az értelemben elszámoltunk minden olyan változóval, amely befolyásolhatja az eredményeket, még akkor is, ha nem tudjuk, melyek ezek. Senki nem hibáztathatja tanulmányunkat azon az alapon, hogy például a csoportok között lehetett IQ-szintbeli különbség, amely magyarázhatta volna eredményeinket. (Ez tipikus fogás tapasztalatlan egyetemisták gyakorlati beszámolóiban: gondolj egy nem kontrollált külső változóra, hogy kritizálhasd a gyakorlatit.) A kritika nem elfogadható magyarázat egy szignifikáns eredményre, hiszen a randomizáció szépsége elszámol az efféle külső változókkal.