Hun vokste opp i en velstående plantasjeeierfamilie i Maryland som datter av Walther Smith og Ann Mackall. Hun ble oppdratt som en sterkt troende, anglikansk kristen. I 1809 besøkte hun sin søster i nærheten av Louisville i Kentucky, og ble introdusert for løytnant Zachary Taylor fra Louisville, som var hjemme på permisjon. De giftet seg i juni 1810.