侍在家康身旁的有许多宿老政要，但家康因为不喜欢忠辉，所以独独不准忠辉入城，因此无法实现探望之愿。少将（忠辉）手足无措只好暂居城下的禅寺，希望能等到入城许可。最后忠辉在无法进城谢罪的情况下家康便薨逝……」（）。元和2年（1616年）7月6日，忠辉被兄长秀忠命令改易并流放至伊势国朝熊。忠辉的母亲茶阿局向家康的侧室阿茶局求助，但是最终都失败。在元和4年（1618年）和宽永3年（1626年）分别被流放至飞驒国高山和信浓国诹访。天和3年（1683年）7月3日，在诹访高岛城（南之丸）被幽禁期间死去。享年92歳。