Foreldrene hans var Karl Christoffer Pedersen og Betzy Lagertha Natalia f. Andersen. De bodde i Bergen og faren var kaptein i utenriksfart. Bjørn var den yngste i søskenflokken. I barndomsårene bodde familien på Sydnes i Bergen, men omkring 1930 flyttet de til Oslo. I 1932 døde moren, Betzy Pedersen, og i romjulen det året reiste Bjørn til Ørsta for å bo hos slektningene sine der. Han gikk de to siste årene på folkeskolen i Ørsta og ble konfirmert i Ørsta kirke i juni 1934. Senere det året flyttet han tilbake til Oslo og fikk seg arbeid, en tid som volontør på et kontor i Oslo. Om somrene tilbrakte han og familien det meste av tiden på Gressholmen og her kom han i kontakt med fly-miljøet på Oslos første flyplass, Gressholmen sjøflyhavn.