ところが高倉上皇が平安京を放棄しない意向を示すなど、この遷都計画は貴族らに極めて不評であり、朝廷内部に清盛への反感が募っていった。さらに、以仁王の令旨を受けて、東国の源頼朝、木曾義仲、武田信義らが相次いで反平氏の兵を挙げ、さらに多田源氏、美濃源氏、近江源氏、河内国の石川源氏、九州の菊池氏、紀伊熊野の湛増、土佐国の源希義らも反平氏の行動を始めていた。こうした反平氏の動きの背景には、平氏が現地勢力を軽視して自らの家人や係累を優先して平氏知行国や平氏所領の支配に当たらせていたことへの反発があった。特にクーデターで国司が交代した上総・相模では、源頼朝の下に武士たちが瞬く間に集結して一大勢力を形成しており、清盛は孫の維盛に追討軍を率いさせたが、富士川の戦いであえなく敗走してしまった（そもそも頼朝の挙兵自体が、以仁王の乱後の処分に関係した伊豆における国司の交代による混乱に乗じたものであった）。
意義と評価.
平氏政権は、今日では日本史上初の武家政権と考えられている。
『平家物語』や『愚管抄』など同時代の文献は、平氏滅亡後に平氏政権に抑圧されてきた貴族社会や寺社層の視点で描かれてきたものが多い。従って、後白河法皇が自己の政権維持のために平氏を利用して、高い官職を与え知行国を増やさせてきたという経緯や当時の社会問題に対する貴族社会の対応能力の無さという点には触れず、清盛と平氏一門がいかに専横を振るい、「驕れる者」であったかを強調している。そのため、以後の歴史書もこの歴史観に引きずられる形で「平氏政権観」を形成していった。
平氏政権は清盛という一個人に大きく依存しており、清盛の死から数年のうちに瓦解に至った。また、前述したように、後白河との良好な関係に依存するところも大きかった。院政期は律令制に代わり、院を頂点とした主従制的関係が形成され、官職や土地を恩給として臣下に与えて奉仕させるようになり、知行国・荘園制度が確立していった時期だった。保元の乱で摂関家が事実上壊滅し、平治の乱で源義朝などの有力武士が淘汰されると、平氏の勢力は他より突出することになった。