Han var gift med Solveig Hanche-Olsen (f. Falkenberg); de fikk 3 barn, blant dem matematikeren Harald Hanche-Olsen.