Halvor Rivrud giftet seg i 1950 med Ågot Nordahl (f. 1923) fra Bergen. De fikk sønnen Helge i 1952.