На протяжении всей жизни Тэд страдал из-за проблем с речью, возникших из-за расщепления нёба. Наиболее близок мальчик был с братом Уильямом, вместе с которым Тэд заработал репутацию «отъявленного озорника». Из-за необузданного нрава Тэд не посещал школу до смерти отца и не нашёл общего языка ни с одним из частных учителей. После убийства президента Линкольна Тэд с матерью почти три года провёл в Германии и Англии, где добился значительных успехов в учёбе. Во время возвращения из путешествия или вскоре после этого Тэд заболел и умер в возрасте восемнадцати лет.