Han vokste opp i Strinda. Han flyktet under den andre verdenskrig til Sverige fra Hattfjelldal, hvor han ble utskrevet til arbeidstjeneste. Etter studier ved Uppsala universitet, ble Karlsen lærer i Strinda.