Karlsen er sønn av organisten og komponisten Rolf Karlsen og fiolinisten Ruth Waaler. Han er bror av fløytisten Harald Karlsen. Han var først elev hos sin far, studerte så ved Musikkonservatoriet i Oslo, der han avla orgel- og kantoreksamen i 1968, og orkestermusikereksamen (hovedinstrument obo) som elev av filharmonikeren Kees Lahnstein (1902 – 1975) året etter. Han avholdt diplomkonsert på blokkfløyte i 1972. I tillegg spiller Karlsen andre tangentinstrumenter og ulike blåseinstrumenter som tilhører tidligmusikken.