Ekteparet bodde ved ulike garnisoner de neste 35 årene, og fikk seks barn. To døtre døde som barn av infeksjonssykdom i 1820. Datteren Sarah Knox Taylor giftet seg i juni 1835 med offiser og senere politiker Jefferson Davis, men døde av malaria tre måneder senere, 21 år gammel. Døtrene Mary Elizabeth Taylor og Ann Margaret Mackall Taylor giftet seg begge med offiserer. Sønnen Richard Taylor var general i konføderasjonens hær under den amerikanske borgerkrigen.