I 1938 ble Reidar Kjellberg gift med danseinstruktør Signe (“Vesla”) Bergve (17.11.1915–30.6.2002). Hun var datter av byråsjef Hallvard Bergve (1880–1928) og Asta Marie Løvestad (1886–1977). De fikk tre barn; arkivar ved Statsarkivet i Oslo, Halvor Kjellberg (f. 1940), førstekonservator ved Kunstindustrimuseet, Anne Kjellberg (f. 1945) og ballettdanserinne Ellen Kjellberg (f. 1948).