Brockenhuus von Løwenhielm giftet seg i 1701 med Ide Sophie von Gersdorff (1686–1726), en datter av generalløytnant Frederik von Gersdorff (1651-1724) og Edele Margrethe Krag (1665-1739), og ble herigjennom stamfar til slekten. De fikk seksten børn, hvorav 8 døde som unge.