Keilhau var bare to år da hans far døde, og han vokste opp som enebarn sammen med moren. Fordi han var sykelig, flyttet de fra Kristiania til Lillehammer. Alt som 16-åring, i tiden omkring unionsoppløsningen i 1905, oppnådde han landsomfattende innflytelse. Han tok initiativ til å opprette landets første gutteskytterlag ved sin skole. Gjennom sin farbror, general Hans Vilhelm Keilhau, ble forsvarsminister Strugstad oppmerksom på idéen. Gutteskytterlaget ble etterlignet over hele landet, og det ble utarbeidet en egen stortingsproposisjon om saken.