Karlsen var tidligere forlovet med skuespiller Janne Formoe, som han har en datter med. Karlsen har også sønnen William fra et tidligere forhold.