Karlsen begynte sin fotballkarrière hos Moelven IL, før han senere ble hentet av HamKam-trener Kent Bergersen i forkant av 2015-sesongen. Han signerte for Brumunddal etter en trøblete høstsesong i 2016.