Seu pai, Oliver, era veterano dos Estados Confederados da América, tendo sido ferido na Batalha de Antietam, em setembro de 1862. Após sua baixa, Oliver Hardy foi eleito Tax Collector pelo condado de Columbia. Sua mãe, Emily Norvell, filha de Thomas Benjamin Norvell e Mary Freeman, era descendente do Capitão Hugh Norvell de Williamsburg, Virgínia. Sua família chegou à Virgínia antes de 1635, e o casamento de Oliver (o terceiro) e Emily, que era viúva, foi em 12 de março de 1890.