Faren var kjøpmann. Jørgen fikk på grunn av en invalidiserende skade i sjuårsalderen ingen ordinær skolegang. Han vokste delvis opp hos den tolv år eldre broren Nikolai Julius Sørensen som drev en folkehøgskole i Såner.