Hall var sønn av Carl Christian Hall (1812–1888), kulturminister, utenriksminister og statsminister (1857–1863) i flere danske regjeringer og Augusta Marie Hall, født Brøndsted (1816–?). Foreldrene var nære venner av kong Christian VIII, og hjemmet i Bakkegården var preget av tidens mest innflytelsesrike mennesker. Faren var svært avholdt som politiker, men sto også for en del svært kontroversielle avgjørelser. Moren var kjent som en original, varm og uredd kvinne, som kunne være svært direkte, også mot sine kongelige venner.