Han var sønn av musikeren Albert Heinrich Theodor Riefling (1868–1946) og Ingeborg Louise Rollag (1868–1959), og giftet seg i 1928 med Marie Else Lucie Prechtel (1902-?), samt i 1968 med Maj Köhlin (1916–1989).