しかし、元治元年(1864年)の禁門の変では嫡男の慶寧に兵を預けて御所を守らせていたが、これが無様にも敗れて退京してきたので、怒った斉泰は慶寧を謹慎させ、家老の松平康正(大弐)と藩士の大野木仲三郎に切腹を命じている。