特に仁安元年（1166年）、母方の伯父である藤原公光が権中納言・左衛門督を解官されて失脚したことで、以仁王の皇位継承の可能性は消滅し、親王宣下も受けられなかった。
仁安元年（1166年），以仁王的舅舅藤原公光被罢免了权中纳言兼左卫门督的官职，以仁王继位的梦想彻底破灭。