。然而，平清盛的扩张，使以后白河法皇为首的院政势力感到不满，也逐渐加深双方之间的对立。1177年6月发生了企图推翻平家势力的鹿谷阴谋事件，结果因为被告密而遭揭发并胎死腹中。平清盛利用这个事件开始剷除参与院政的院近臣。于是将藤原师光处死、与平家相识的藤原成亲被流放到备中，并且在当地坠下悬崖离奇地死亡。僧侣俊宽则被流放到鬼界之岛。不过平清盛最终还是没有直接向法皇兴师问罪。1179年时许多不幸之事连连降临在平氏一族。先是在六月时其女平盛子去世。之后法皇未与平清盛商议就迳自没收平盛子生前过世的丈夫藤原基实作