他也是个相当糟糕的藩主，缺乏凝聚人心的团结力量，结果家臣一致与他闹对立，甚至出走，他反而对出走的家臣进行追杀。于是幕府又裁定移封到石见国吉永籓（今天的岛根县大田市）隐居，并且老死于当地。
松平时代.若松城的当家这一次变成出羽国山形藩（今天的山形县与秋田县）的保科正之，他以23万石的俸禄进驻。正之是德川秀忠的庶子，德川家光（嫡子）是他的长兄。由于正之与家光的关系一直很稳定，于是在宽永13年（1636年），家光先让他拜领出羽国山形藩二十万石，在宽永20年（1643年）又拜领陆奥国会津藩