以仁王の挙兵
安徳即位直後の3月に1つの事件が発生している。それは、園城寺の大衆が延暦寺・興福寺の大衆に呼びかけて後白河・高倉両院を誘拐して寺院内に囲い込み、朝廷に対して後白河法皇や前関白基房の解放、そして平家討伐命令を要求しようとした。摂関政治の解体以後、太政官は最高意思決定機関としての機能を喪失し、安徳天皇も3歳であったことから後白河法皇・高倉上皇のどちらかが治天の君として院政を執る必要があった。その両院がいなくなれば朝廷は機能停止に陥るが、当時は「仏罰」の存在を武士達からも信じられていた時代であり、寺院の攻撃は一種の禁忌となっていた(鹿ケ谷の陰謀自体が、清盛への延暦寺攻撃命令に対する平家側の報復とする説もある)。このため、公卿たちには要求を認めるしか選択肢は無くなるだろうという計画であった。
実際に興福寺は同意、親平家派が多い延暦寺でも反平家派の恵光房珍慶の集団が参加の意思を示した。決行日を高倉上皇が厳島行幸に向かう3月17日と決定したが、前代未聞の計画であったため、興福寺の使者が鳥羽殿幽閉中の後白河法皇に打ち明けたところ、驚いた後白河法皇が平宗盛に事の次第を告げたために、高倉上皇の出発日が19日に変更されて失敗に終わった。だが、これを機に高倉上皇と清盛の間で後白河法皇の安全を理由に幽閉場所を鳥羽殿から京都市中へ移動させることについて協議された。5月14日の深夜、後白河法皇は鳥羽殿から八条坊門烏丸邸に遷った(『百錬抄』は藤原俊盛邸、『玉葉』は藤原季能邸とする)。引き続き高倉上皇が院政を執ることになったものの、幽閉生活から解放されることになった。以仁王が園城寺や興福寺を頼りにした背景にはこの出来事の存在が背景にあったと思われる。
一方で、『平家物語』では頼政が夜半に不遇の以仁王の邸を訪れ、謀反を持ちかけたことになっているが、そもそも軍記物語である『平家物語』のエピソードは信じ難く、当時頼政は77歳という高齢であり、清盛の推挙によって破格の従三位にまでなって功成り名遂げ、清盛に恨みもない頼政が謀反を考える理由は見当たらないことから、皇位への道を断たれて不満を持っていた以仁王の方から頼政に挙兵を持ちかけたという見方もある。
他に、頼政ら摂津源氏は鳥羽上皇直系の近衛天皇、二条天皇に仕える大内守護の任にあったことから、別系統の高倉・安徳天皇の即位に反発したという説もある。
もっとも、頼政と以仁王が挙兵以前に関係を有していたことを示す証拠が、同時代の貴族の日記などの史料には存在せず、脚色の入る余地がある『平家物語』とそこから派生した書物にしか求められないことなどを理由に初めから謀議などはなかったという見方もある。その見方によれば頼政の離反の原因として彼の篤い仏教信仰が背景として挙げられ、頼政は以前にも彼が配流のために護送していた天台座主明雲を延暦寺大衆が奪還しに来た際も抵抗せずに奪われている前例があること、今回も検非違使として以仁王を逃がした兼綱の責任を問われている状況下において既に出家していた頼政が以仁王を匿う園城寺の寺院や僧侶への攻撃を拒絶したために、今度は頼政親子が命令違反で捕らえられる可能性が浮上し、追い詰められた頼政親子がやむなく以仁王側について敵対するに至ったとする。