Keilhau tok middelskoleeksamen og latinartium ved Fagerborg videregående skole (1935 og 1938), der han skrev parodier med Carsten Byhring. I 1952 ble han gift med Gerd Kari Linnøe (1920–1976). Sammen fikk de sønnen Lars Keilhau (1953–2024).