Holter var sønn av jernbanemannen Jacob Holter (1893–1958) og Borghild Standal (født 1894), og vokste opp i Bergen. Han ble student i 1939 og tok lærereksamen ved Volda lærerskole i 1942. I 1947 ble han fra Menighetsfakultetet, og deretter ansatt som stipendiat og senere sekretær ved Institutt for Kristen Oppseding. I denne perioden studerte han fransk skolehistorie, og oppholdt seg en tid i Frankrike. I 1958 tok han den teologiske doktorgraden med en avhandling om .