和2年（1616年）7月6日，忠辉被兄长秀忠命令改易并流放至伊势国朝熊。忠辉的母亲茶阿局向家康的侧室阿茶局求助，但是最终都失败。在元和4年（1618年）和宽永3年（1626年）分别被流放至飞驒国高山和信浓国诹访。天和3年（1683年）7月3日，在诹访高岛城（南之丸）被幽禁期间死去。享年92歳。儿子德松（母亲是竹之局）在忠辉流放之际没有被允许同行，更被岩槻藩藩主阿部重次软禁并冷遇，在宽永9年（1632年）于住居放火并自杀（享年18岁）。一说为与家康的关系被隐藏，关于此事有野风之笛的逸话。这支笛子由织