文政6年（1823年）3月24日、幕府より忍藩、伊勢桑名藩、陸奥白河藩の三方領知替えを命じられ、阿部家は183年にわたって統治した忍より白河に移封されることになった。
文政5年（1822年）、幕府下令忍藩、伊势国桑名藩、陆奥国白河藩互相替换藩主，阿部家从统治了183年的忍藩转封白河藩。