庆喜主张无敕许的条约不可签字，阿部、松前对外国的交涉无视朝廷会让幕府崩溃。据说在公家方面面前围绕了条约签字与否而进行的争论，家茂被场的紧张感吓地哭了来。朝廷对阿部、松前违反勅命进行了处罚，下达了剥夺官位、改易的勅命，从将军家茂的老职之中把两位排除了。庆应2年（1866年）正外受命隐居、蛰居，减封4万石。家督由正外的长男·正静继承，同年阿部家转封至内高（实际收入石量）较少的陆奥国棚仓藩。
略历.法名广观院葆真。墓所位于西福寺（东京都台东区藏前4丁目），昭和2年（1927年）、改