Han var far til museumsmannen Håvard Skirbekk (og med det farfar til professorene Sigurd Skirbekk og Gunnar Skirbekk) og til professor Thora Skirbekk. I alt hadde han 12 barn i to ekteskap.