Han var sønn av artillerikaptein og understallmester ved Det kongelige hoff Paul Ludvig Rudolf Nørregaard (1804–34) og Sarine Pauline Bølling (1808–1899). Etter at faren døde 30 år gammel, ble moren gift i andre ekteskap med legen Jens Johan Hjort.