Han var sønn av musikeren Albert Heinrich Theodor Riefling (1868–1946) og Ingeborg Louise Rollag (1868–1959). Faren var teatermusiker og dirigent i Kristiania fra omkring 1892, og spilte piano, kirkeorgler og fagott. Broren Reimar Riefling (1898–1981) var også pianist.