Han er gift med Tove Karlsen. Sammen er de foreldre til Jan Fredrik Karlsen og to døtre.