到了11世纪的藤原道长与其子藤原赖通时，透过不断跟皇室的联姻，加强对朝政的控制。使其掌权达三十年之久。而藤原赖通更是掌权达五十年之久。这对父子掌权的八十年，藤原氏的私邸反而成为了国政的中心。而朝廷变成了虚设的仪式场所。藤原氏不只控制朝廷，又操控了地方的国司。皇权从此名存实亡。可说自此日本天皇到其后的幕府时代就没有实际掌权过。后来继位的后三条天皇，为了摆脱藤原氏的控制，结合了各方反对藤原氏的势力。自己退位给白河天皇，成为上皇，开设院政以太上天皇之姿控制朝政。摄关政治从此衰弱。