于是嘉明的儿子加藤明成重新修建，改为今日所见的层塔型天守。尽管明成有魄力，或许有建筑上的天份，但是他也是个相当糟糕的藩主，缺乏凝聚人心的团结力量，结果家臣一致与他闹对立，发生会津骚动，甚至有家臣出走，明成还对出走的家臣进行追杀。于是幕府又裁定明成移封到石见国吉永藩（今天的岛根县大田市）隐居，并且老死于当地。
松平时代.宽永20年（1643年），加藤氏改易，会津籓由出羽国山形藩，第二代将军秀忠的庶子保科正之以23万石俸禄入封。保科正之原为德川氏（「松平」氏），幼年被将军过继予保科正光