退出政府后，瑟洛多次发表演说，批评政府政策。他的晚年过得不是太好，他的私生女卡罗林（Caroline）随人私奔，令他十分愤怒，而他的生活也缺乏意义，更没有令他欢快的人陪伴。这段时间里，瑟洛经常去做水疗，去海滨度假地打发时间。1806年9月12日，他在东萨塞克斯郡布赖顿逝世，并于同月25日下葬于伦敦圣殿教堂。他的爵位由侄子埃德蒙（Edmund）继承。
感情生活.没有足够证据显示，瑟洛曾经结婚，但有证据证明，他曾与两名女子发生关系。第一名女子是坎特伯雷教长（Dean of Canter