Han var sønn av skolemannen Jacob Jonathan Aars (1837–1908) og Anna Ernesta Birch-Reichenwald (1838–1919). Faren drev Aars og Voss' skole i Kristiania mens moren var datter av Christian Birch-Reichenwald. Harald var bror til filosofen Kristian Birch-Reichenwald Aars (1866–1917). I 1899 giftet han seg med Anna Dybwad Berentsen (1878–1947).