Den mer teoretiske delen av statistikken er basert på sannsynlighetsteori, hvor begreper som tilfeldighet og usikkerhet står sentralt.