Haakon Børde var sønn av ambassadør Bjarne Børde (1897–1976) og Anna-Charlotte Bjerk (1906–1980), og bror til programsekretær i NRK Unni Børde Kröyer (1930–1991) og ambassadør Ketil Børde (1935–2022). Under Haakons oppvekst var faren i perioder postert til USA og til Island.