1日家庆以与荷兰的纠纷为理由，再次任命水野忠邦为老中首座。同年10月12日利位辞任老中。嘉永元年（1848年）4月25日将家督之位让与养子利亨，开始隐居，改任。同年7月2日去世，享年60岁。
自然研究.土井利位是日本最早用显微镜观察雪的人物。在兰学者、家老鹰见泉石的帮助下，利位观察雪的结晶长达20年，出版了两本相关的书籍《雪华图说》《续雪华图说》，前者包括14条雪的功能和86种雪的结晶图，后者包括97种雪的结晶图。在这之后开始在日本流行起来，民众称他为“雪花大人”。日语中，雪花