ただ、後白河法皇と平清盛とが対立し始めた後、治承3年（1179年）11月の治承三年の政変によって鳥羽殿に幽閉され、後白河法皇は院政を停止されてしまった。
后来他对后白河法皇十分不满，治承三年（1179年）发动政变，幽禁后白河法皇于鸟羽殿。