。弘化2年（1845年）开始，他就任老中，与正室的外甥阿部正弘一同处理外交问题和提交海防建议书，又命各大名改建砲台和加强防备。历任幕府要职的忠温不时需要花费，此举导致藩的财政恶化，尽管家老户田七兵卫向其劝谏，但亦未获接纳。加上，江户藩邸に聚集了大量荷兰人和琉球人，与严峻的藩财政相比差天共地。而且，他一度被较年少的阿部正弘抢先成为老中，而被忠温的供头怒目而视。忠温死后由三子继任家督。