长14年（1609年），重臣皆川广照等人引起御家骚动而失势。庆长15年（1610年），被任命为越后高田藩藩主（福岛城城主，后述），此时加上川中岛12万石，合计拥有75万石。领有越后的忠辉当初是堀氏所筑的福岛城城主，不过在庆长19年（1614年）筑起高田城，于是移到该处。高田城因为幕命的关系，由忠辉的义父伊达政宗为首等13家大名帮助筑造。
改易、流放.不过此时并没有减少与父亲家康的距离，在庆长19年（1614年）的大坂冬之阵中被任命担任留守居役。刚毅的忠辉对这个命令相当不满，不过