Han var sønn av tollkontrollør Peter Bernhard Amundsen (1866–1916) og Rina Giltvedt (1867–1953). I 1928 giftet han seg med den danske Anna-Charlotte Bjerg (1906–1980). De ble foreldre til Unni Børde Kröyer (1930–1991), som var programsekretær i NRK og gift med islandske ambassadøren Haraldur Kröyer (1921–1995), ambassadør Ketil Børde (1935–2022) og NRK-journalist Haakon Børde (1940–2023).