関宿藩
その頃、藩政においては広周が新たに登用した杉山対軒らによって無難なく統治が行なわれている。万延元年(1860年)に直弼が桜田門外の変で暗殺されると、広周は安藤信正と共に再度老中に就任し、安藤と共に幕政を執行する立場となった。このとき、1万石を加増されて6万8000石となる。広周は直弼の強硬すぎた路線から一転して信正と共に公武合体運動を推進し、文久2年(1862年)には孝明天皇の妹・和宮を降嫁させることに尽力した。しかしこれら一連の動きは過激な尊皇攘夷派や幕府内でも憤激を生み、同年に坂下門外の変が起こって信正が失脚すると、広周も老中としてふさわしくない態度があったとして同年6月に老中を罷免され、さらに1万石を削減された上、家督を10歳の嫡男である広文に強制的に譲らされ、蟄居謹慎処分となった。後に永蟄居処分となり、広文はさらに1万石を削減された。これにより広周は失意のうちに元治元年6月に死去した。
広周の死後、関宿藩では佐幕派と尊皇派が対立し、これが原因で慶応4年(1868年)の戊辰戦争では若年の藩主を差し置いて藩の主導権をめぐっての抗争が起こる。さらに藩内から彰義隊(旧幕府軍)に加わる者などが続出して藩内は混乱し、このような中で同年5月、広文は新政府から5000石を削減され、強制隠居を命じられた。その後も広周時代の功臣であり、藩政の要であった関宿藩家老・杉山対軒が暗殺され、関宿城外曲輪が焼失するなど、幕末期の藩の混乱は著しかった。