元和2年（1616年）7月6日、忠輝は兄・秀忠から改易を命じられて伊勢国朝熊に流罪とされ、金剛證寺に入った。
元和2年（1616年）7月6日，忠辉被兄长秀忠命令改易并流放至伊势国朝熊。