Nach der Bombardierung Freiburgs im Jahr 1944 lebte die Familie in Pfullendorf nördlich des Bodensees. 1950 kehrte sie nach Freiburg zurück. Während seiner Schulzeit beschäftigte sich Hagen Keller intensiv mit der Astronomie. Seit seiner Kindheit interessierte er sich weniger für historische Romane oder Biographien, seine historische Neugierde wurde vielmehr durch Denkmäler und konkrete Objekte angeregt. Ausgangspunkt für sein historisches Bewusstsein waren die unmittelbaren Erlebnisse aus seiner Kindheit, der Zweite Weltkrieg und der Nationalsozialismus.