В июне 1783 года Пегги вышла замуж за Стивена Ван Ренсселера III (1764—1839), дальнего родственника, которому на тот момент было 19 лет; ей было почти 25, когда они сбежали. Стивен был старшим ребёнком Стивена Ван Ренсселера II и Кэтрин Ливингстон, дочери Филиппа Ливингстона, подписавшего Декларацию независимости. Ван Ренсселеры были одной из самых богатых и политически влиятельных семей в Нью-Йорке. Некоторые друзья и семья молодожёнов утверждали, что Ван Ренсселер был «слишком молод», чтобы жениться, но большинство согласилось, что брак с Пегги поможет ему быстрее продвигаться по карьерной лестнице. Достигнув совершеннолетия, в возрасте 21 года, Ван Ренсселер принял на себя ответственность как господин поместья Ван Ренсселера, поскольку его отец умер, когда парню было всего пять лет. К 1789 году в браке родилось трое детей, все из которых были крещены в голландской реформатской церкви в Олбани. Только один из них дожил до зрелого возраста: Стивен Ван Ренсселер IV (1789—1868).