甘露寺方長
このような急激な昇進は、霊元天皇の寵愛によるところが大きく、他の廷臣からは批判の対象とされた。中院通茂は急激な昇進を「超越迷惑」と表現し、近衛基煕も同様の反応を示して方長の耳にも届いている。また、方長の性格について、中院通茂はその短慮を憂慮し、武家伝奏就任時の関白であった一条冬経(兼輝)も天皇の意向なので任命には同意したが、(方長は)性格が粗暴で和漢の故事に疎く、職事弁官の家の出なのにその職も知らないと批判している。
ところが、貞享元年10月3日(1684年11月9日)、方長は禁中にて泥酔した上に花山院定誠らと口論に及んで天皇の怒りを買うと言う事件を起こし、この知らせを受けた京都所司代稲葉正通は方長への厳重な処分を求めた。その結果、11月2日に蟄居を命じられ、12月26日に権大納言・武家伝奏をともに解任された。貞享4年8月16日になって罪を許され、元禄元年(1688年)に権大納言に再任されるが政治的な復権はかなわず、元禄7年(1694年)には病没。死の直前に正二位に叙せられた。