Familien Tyler flyttet til Williamsburg, Virginia i 1837. I 1839 fikk Tyler et hjerneslag som gjorde henne ufør, og helsen hennes ble dårligere i løpet av de følgende årene. Mesteparten av tiden etter hjerneslaget brukte hun til å lese Bibelen og bønneboken sin. På dette tidspunktet i livet var dette de eneste to bøkene hun ville lese. Hun fortsatte imidlertid å føre tilsyn med saker på plantasjen. Etter at sønnen Robert giftet seg, utviklet Tyler et nært bånd med svigerdatteren Priscilla Cooper Tyler.