致命的であったのは康和4年(1102年)に大衆に対する取締の不徹底を理由に、白河法皇が忠実の叔父である興福寺別当・覚信を解任しようとした際、これを執り成そうとして却って法皇の怒りを買ってしまい、8月1日に法皇から政務関与への拒絶を通告された事件であった(『中右記』)。