Karlsen var son til ein steinhoggar. Han var sjølv steinhogger og arbeidar ved ulike anlegg i åra frå 1908 til 1927. I 1927 fekk han stilling ved restaureringsarbeida på Nidarosdomen og arbeidde der sidan.