Løberg vokste opp på Hovin i det som den gang var Horg kommune. Han startet lærergjerningen allerede i 1954, men tok ikke lærerutdanning før i slutten av 1960-årene, ved Sagene lærerskole i Oslo.