Han var sønn av grafikeren Johan Nordhagen (1856–1956) og Christine Magdalene Johansen (1858–1933). Rolfs bror var Olaf Nordhagen (1883–1925), arkitekten som stod for restaureringen av Nidarosdomen, men det året Olaf døde ble Rolf gift i Oslo med Elisabeth Marie (Monna) Myhre (1900–1979), og i 1929 fikk de sønnen Per Jonas Nordhagen (1929) som også ble kunsthistoriker, mens Rolf Nordhagen jr. (1927–2013) ble fysiker og professor i informatikk.