为不法乱行的罪名被撤去职务。安政五年（1858年），江户幕府与美国签订《日美修好通商条约》，他与八十八名大臣联名阻止签署条约，是为「廷臣八十八卿列参事件」，故同年被井伊直弼发起的安政大狱牵连。后来他在庆应三年（1867年）短暂担任内大臣，后转任右大臣，次年（1868年）辞职，到明治十八年（1885年）逝世，享年75岁。