Oliver Norvell Hardy nacque il 18 gennaio 1892 ad Harlem, Georgia, presso il domicilio di 125 South Hicks Street. La sua famiglia, di origini inglesi e scozzesi, a differenza di quella di Stan, non aveva mai avuto a che fare con il mondo dello spettacolo. Suo padre Oliver sr. (1841-1891) era un veterano della Guerra Civile, durante la quale aveva partecipato alla Battaglia di Antietam del 17 settembre 1862. Di professione avvocato, lavorò come capocantiere per la Georgia Southern Railroad, supervisionando gli edifici della linea ferroviaria fra Augusta e Madison, Florida. Sua madre, Mary Emily Norvell Jackson (1860-1948), era discendente dei Norvell di Williamsburg, una famiglia della Virginia che arrivò nella Georgia attorno al 1635.