忠邦失去了往日的地位，所接受的任务都不重要。同年7月开始，他以痛、腹泻、腰痛、发热等理由请假。从12月开始直到辞去老中的弘化二年（1845年）2月都没有工作。而为了报复在天保改革时代背叛自己的土井和鸟居。土井主动辞职，鸟居的职务被解除。嘉永4年（1851年）2月10日、死去。享年58岁。墓所在茨城县结城市的旧万松寺迹。