Jednym z ważniejszych początkowych wyników teorii prawdopodobieństwa jest tzw. prawo wielkich liczb, sformułowane przez Jakoba Bernoulliego i nazwane przez niego złotym twierdzeniem. Orzeka ono, że „z prawdopodobieństwem dowolnie bliskim \(1\) można oczekiwać, że przy dostatecznie dużej liczbie prób częstość wystąpienia danego zdarzenia losowego będzie się dowolnie mało różniła od jego prawdopodobieństwa”.
W praktyce twierdzenie to sprowadza się do faktu, że w badaniach statystycznych możemy mieć dokładną świadomość tego, na jaki błąd się narażamy formułując wnioski w oparciu o próbę statystyczną, tj. grupę jednostek wyodrębnioną z całej populacji.
Formalne sformułowanie twierdzenia jest następujące: \( \lim_{n \to \infty} P(|w_i - p_i| <\varep)=1\), gdzie \(w_i\) oraz \(p_i\) oznaczają odpowiednio empiryczne częstości i prawdopodobieństwa wystąpienia \(i\)-tego zjawiska.
Innymi słowy, w przełożeniu na język statystyki, wartość średniej arytmetycznej z próby jest tym lepszym oszacowaniem średniej całej populacji im liczebność próby losowej jest większa.