Taylor giftet seg i juni 1810 med Margaret Mackall Smith, kalt «Peggy», som han hadde møtt høsten året før i Louisville. Hun var datter av Walter Smith, som hadde tjenestegjort som major i uavhengighetskrigen, og tilhørte en familie av plantasjeeiere fra Maryland. Ekteparet fikk seks barn. To døtre døde som barn av infeksjonssykdom i 1820. Datteren Sarah Knox Taylor giftet seg i juni 1835 med offiser og senere politiker Jefferson Davis, men døde av malaria tre måneder senere, 21 år gammel. Døtrene Mary Elizabeth Taylor og Ann Margaret Mackall Taylor giftet seg begge med offiserer. Sønnen Richard Taylor var general i konføderasjonens hær under den amerikanske borgerkrigen.