Han var sønn av Olav Tjønnstaul og kona Ingebjørg og vokste opp med en eldre søster. Faren spilte hardingfele, og Jørgen tok ved fela tidlig. Da han var fire år, døde mora og søsteren, og Olav døde da Jørgen var 16.