1892-ben Oliver Norvell Hardy néven született családja ötödik gyerekeként. Apja, Oliver, egy konföderációs veterán volt, aki 1862. szeptember 17-én az antietami csatában megsebesült, de semmi baja nem lett és megmenekült. Később vett egy részesedést a lakossági üzletágban és beválasztották, teljes munkaidőre vámszedőnek. Anyja, Emily Norvell, akinek egyik őse, az 1630-as évek idején élt Hugh Norvell Williamsburg, kapitány volt. Apja, kevesebb, mint egy évvel a születése után meghalt. Bátyja, Sam Hardy meghalt egy fulladásos balesetben. Hardy kihúzta a testvérét a folyóból, de nem tudta újraéleszteni.