俭约政策，在担任职位的10个月内，幕府的财政一时好转。天保15年（1844年），江户城本丸发生火灾，利位因收取了大名的重建费用，引起将军德川家庆的不快。6月21日家庆以与荷兰的纠纷为理由，再次任命水野忠邦为老中首座。同年10月12日利位辞任老中。嘉永元年（1848年）4月25日将家督之位让与养子利亨，开始隐居，改任。同年7月2日去世，享年60岁。
自然研究.土井利位是日本最早用显微镜观察雪的人物。在兰学者、家老鹰见泉石的帮助下，利位观察雪的结晶长达20年，出版了两本相关的书