Med sin hustru Anna Halvorsen, født Ødegård, fikk han datteren Marit Halvorsen, professor dr. juris ved Universitetet i Oslo.