院政时期，政令皆出法皇，摄关被架空。鸟羽天皇院政时，为借藤原摄关家的势力，迎娶高阳院泰子为皇后，藤原氏势力有所恢复。保元之乱中，藤原忠通支持后白河天皇得胜后，在后白河院时期出任藤氏长者和摄关。地方武士势力本来在天皇和摄关的权力之争中扮演次要角色，经过平治、保元两次动乱后，武士成为堪与朝廷对抗的主要政治力量。保元之乱中以平清盛为首的平氏武士集团成为主导朝廷的主要力量，并仿效藤原氏将女儿送入中宫，成为天皇祖父。后白河院不满平氏专政，挑动源氏与平氏斗争。源氏在坛浦之战中消灭平氏，并受封征夷大将军，于镰仓开府。