I 1630 brast Kirstens forhold til kongen, etter at hun hadde hatt et utenomekteskapelig forhold til greve Otto Ludvig av Salm. For å bevare kontakten til kongen, eller for å gi ham skylden for bruddet, førte Ellen Kirstens kammerpike Vibeke Kruse sammen med ham. Med sine gjentatte oppfordringer til Christian IV om å anerkjenne Kirstens siste barn, Dorothea Elisabeth, kom Ellen til å irritere kongen mer og mer. Hun ble til sist fratatt ansvaret for å oppdra barnet, og i 1639 mistet hun også Dalum kloster.