最终都失败。在元和4年（1618年）和宽永3年（1626年）分别被流放至飞驒国高山和信浓国诹访。天和3年（1683年）7月3日，在诹访高岛城（南之丸）被幽禁期间死去。享年92歳。儿子德松（母亲是竹之局）在忠辉流放之际没有被允许同行，更被岩槻藩藩主阿部重次软禁并冷遇，在宽永9年（1632年）于住居放火并自杀（享年18岁）。一说为与家康的关系被隐藏，关于此事有野风之笛的逸话。这支笛子由织田信长传至丰臣秀吉，再传到家康手上，被认为是天下人的象徴，家康通过茶阿局把此笛传至忠辉。现今此笛保存在长野县诹访市的