忠善は享和3年(1803年)に許され、柳沢保光の江戸屋敷に移されたが、35歳で没する。