Barndommen ble tilbragt i Berger i Vestfold hvor faren Jens Johannes Jebsen drev to store ullvarefabrikker. Moren var Agnes Marie Tofte, og de hadde giftet seg i 1884. Etter folkeskolen gikk deres eldste sønn Jørg Tofte Jebsen på Vestheim middelskole i Kristiania og avla eksamen artium ved Aars og Voss' skole i 1906. Han utmerket seg ikke spesielt på skolen bortsett fra i matematiske fag.