亚伯拉罕·林肯当选总统后，塔德随家人移至白宫居住。白宫成了他的新游乐场所。1862年2月塔德和威廉不幸同时感染伤寒，威廉于21日夭折，塔德却幸存下来。由于天性冲动，塔德也一直没有去上学。1865年4月14日父亲遭暗杀时他正在格洛夫剧院看戏。对父亲的死他一直难以接受。