Ager-Hanssen vokste opp i Stavanger der hans far var lektor. Etter examen artium ved Kongsgård skole i Stavanger i 1949 begynte han ved Forsvarets forskningsinstitutt (FFI) som en del av militærtjenesten. Her møtte han Finn Lied som da var avdelingsdirektør ved instituttet.