Borgen Bøe var sønn av Ola Rasmussen Bøe (født i 1883) og Kristine, født Stangeland (født 1886). Han var nest eldst i en søskenflokk på syv; de øvrige søsknene var: Rasmus (1906–1983), Ingebjørg (1910–1959), Aslau, Johanna, Olga og Olav.