Bjørn Bue var sønn av bonde Jonas Bue (1886–1943) og Teresia Svela (1891–1972), som den niende av en søskenskare på ti barn. Faren døde da gutten var ni år; moren drev gården videre støttet av sine barn i den gjenværende okkupasjonstiden.