Han var sønn av kjøpmann og stortingsmann Aage Aagaard fra Levanger og Birgitte Marie Nørager fra Alta. Faren kom til Hammerfest før Napoleonskrigene, og fikk borgerskap i 1819. Bernhard Aagaard var gift med Marie Malene Noodt, datter av konsul og kjøpmann Nicolay Peter Noodt i Hammerfest. Blant deres tolv barn var sakfører og politimester Nicolai Aagaard, fylkeslege Yngvar Anton Aagaard og apoteker Emanuel Aagaard. Han var bror av kjøpmann og stortingsmann Andreas Aagaard i Tromsø og svoger av amtmann Ulrik Frederik Cappelen og kjøpmann Christian Gabriel Lenning i Hammerfest.