Ludvig Rosenkrantz' farmor, Rigborg Brockenhuus (3. juli 1579 – 16. september 1641), var ugift da hun ble gravid med Christian IVs kammerjunker Frederik Rosenkrantz til Rosenvold,. På forsommeren 1599, da kongen var på reise til Nordkapp, flyktet hun fra hoffet til sin moster som var gift med hennes fars fetter Ove Bille. Der nedkom Rigborg 24. juli med sønnen Holger, etter at Ove Bille hadde mottatt kongebrev om å holde piken i forvaring. Barnets far var flyktet til Hamburg, men ble på kongens ordre hentet tilbake, og begge satt under tiltale. I oktober 1599 ble Frederik Rosenkrantz dømt til å miste to fingre og være æreløs, mens Rigborg Brockenhuus skulle holdes i livsvarig fangenskap hos sin verge. Rosenkrantz slapp innesperring mot å dra i krig mot muslimene i Ungarn, der han omkom et par år senere. Frem til sin fars død i 1604 satt Rigborg Brockenhuus innesperret med en pike på et rom på Egeskov slott. I 1616 lyktes hennes mor å få det ordnet slik at datteren fikk bosette seg i Odense eller på eiendommen sin i Nybølle, og hun levde deretter som en aktet adelsdame frem til sin død, men ble nødt til å selge godset for å løskjøpe sin sønn Holger fra krigsfangenskap.