Han var svigerfar til museumsmannen Håvard Skirbekk og morfar til Sigurd Skirbekk (født 1934, professor i sosiologi) og Gunnar Skirbekk (født 1937, professor i filosofi). Han er dermed også oldefar til blant andre Tarjei Skirbekk, Helge Skirbekk, Gaute Skirbekk og Vegard Skirbekk.