Rodzice Norvella Hardy’ego wzięli ślub 12 marca 1890 roku, dla jego matki było to drugie małżeństwo, zaś dla ojca trzecie. Jego ojciec, również Oliver, był weteranem Konfederatów rannym w bitwie nad Antietam 12 września 1862 roku. Po demobilizacji Oliver Hardy pomagał w prowadzeniu rodzinnej plantacji bawełny, kupił udziały w przedsiębiorstwie zajmującym się handlem detalicznym oraz został wybrany na poborcę podatkowego w hrabstwie Columbia. Natomiast rodzina Norvella Hardy’ego ze strony matki, Emily Norvell, córki Thomasa Benjamina Norvella i Mary Frejman, wywodziła się od kapitana Hugh Norvella spod Williamsburga w Wirginii, gdzie jej rodzina przybyła przed 1635 rokiem.