而平清盛只担任了三个月左右的太政大臣便辞职归隐并且出家，之后人称「入道相国」（太政大臣别号相国，而入道是出家的意思）。不过他并未因此释出实权，仍然掌控大局。同时平氏一族也盛极一时，不但独占朝中的重要官职；在全国各地拥有多达五百多座庄园，并且因为推动日本与中国宋朝之间的海上贸易而赚取暴利。因此才有了平时忠口中的「没有平家一族，其他人就没法生存。」（，另有一译法为「非平氏者非人也」）。
对平氏的不满.平清盛的势力扩张似乎永无止尽，他将自己和正室时子所生的女儿平德子（建礼门院）嫁给高仓天