Lise Karlsen vokste opp i Oslo. Faren, Håkon Kristian Frederik Andresen, var fengselsbetjent, og hennes mor, Edith Marie, arbeidet både som modell og frisør i hovedstaden. Hun giftet seg i 1965 med Ludvig Karlsen, og sammen fikk de fire barn. Deres datter Monike Edith Karlsen-Vigardt er i dag administrerende leder av Evangeliesenteret.