安政5年（1858年）に通商条約勅許問題が起こると、88人の反対グループ（廷臣八十八卿）の一人となった。文久3年（1863年）、孝明天皇の石清水八幡宮行幸を共にしている。しかし、その後は岩倉具視と手を結んで討幕派公卿の一人となり、慶応2年（1866年）には佐幕派であった関白の二条斉敬と中川宮朝彦親王を弾劾した。ところが、これが親王を厚く信任していた孝明天皇の怒りを買うこととなり、閉門処分に処せられた。同年末、孝明天皇が崩御し、明治天皇が践祚された後に罪を許されて宮中に復帰する。