Han var lærer på Musikkonservatoriet i Oslo og senere amanuensis ved Norges musikkhøgskole fram til 1981. Han fremmet interessen for og kunnskapen om barokkens kor- og orgelmusikk og middelalderens vokale kirkemusikk, blant annet influert av et seminar ved Schola Cantorum i Basel i Sveits (1951). Samtidig etablerte han , et samfunn til kirkemusikalsk fornyelse, sammen med Per Lønning og Egil Hovland (1952). Karlsen var dirigent for NRKs kammerkor. Fra 1937 til 1966 var han knyttet til Oslo Filharmoniske Orkester som fast utøver på piano, celesta, cembalo og orgel. Han var også en mye benyttet orgelkonsulent i såvel Norge som Sverige.