その後、天狗党に同情的であったことを幕府から追及され、元治元年(1864年)10月、頼徳は切腹を命じられて宍戸藩は改易された。