Karlsen ble uteksaminert fra Befalsskolen for Infanteriet i 1967 og deretter fra Krigsskolen i 1970. Han har examen philosophicum og grunnfag i pedagogikk fra Universitetet i Oslo, Hærens stabsskole i 1980-1981, Führungsakademie der Bundeswehr i perioden 1983-1985 og Royal College of Defence Studies i 1994.