Hun var datter av lensmann Laurids Brockenhuus (1552–1604) og Karen Skram (1544–1625). Søskenflokken talte syv, hvor hun selv og fire søstre nådde voksen alder. I 1597 kom hun til enkedronning Sophie på Nykøbing slott for å bli opplært til tjeneste i den kommende dronning Anna Cathrines jomfrukammer. Ved hoffet møtte Rigborg den åtte år eldre kammerjunker Frederik Holgersen Rosenkrantz til Rosenvold, og innledet et forhold til ham. Forsommeren 1599, mens kongen var på tokt til Nordkapp, flyktet hun fra hoffet til sin moster Elisabeth Skram. Hos henne fødte hun sønnen Holger.