Håvard Skirbekk ble født 28. februar 1903 i Elverum. Han var sønn av ordfører, bonde og bankbestyrer Gunnar Skirbekk (1859–1934) og Olea Skirbekk (født Elseth, 1867–1954). I 1933 giftet Håvard Skirbekk seg med lærer Valborg Nergaard (1904–1994), datter til skoledirektør Sigurd Nergaard (1873–1932) og Helga Pauline Nergaard (født Bækken, 1880–1961).