Han ble gift 1957 med Bjørg (f. 1938, d. 2016). Ekteskap oppløst i 1974. Han ble gift for andre gang med Solveig (f. 1947). Han er far til musikeren Eivind Løberg.