朱雀天皇の次の村上天皇期には関白が設置されなかったものの、冷泉天皇が即位するにあたって、太政大臣実頼が関白となった。摂政を経ずに関白となったのは実頼が最初である。冷泉天皇は病気が重く、実頼は准摂政宣下を受け、関白でありながら摂政に準ずる形で政務をとった。しかし実頼は外戚でなかったため実権は乏しく、「揚名（名ばかり）の関白」と嘆くほどであった。
頼通と外戚関係にない後三条天皇が即位すると、後三条の主導による政治改革が始まったことで関白の存在感は減少していった。その子の白河天皇が堀河天皇に譲位して院政を開始したことや、師実・師通の父子が相次いで死去し御堂流が主導権を握れなかったこともあり、摂関政治の時代は終焉を迎えた。堀河の没後に白河が鳥羽天皇を擁立すると、鳥羽の外舅にあたる藤原公実が摂政の地位を望んだ。しかし白河は御堂流直系の忠実を摂政に任じた。これ以降、外戚の有無に拘わらず、御堂流の嫡流「摂家」が摂関となる慣例が成立した。
摂関家の分裂.
中世の関白.
鎌倉時代以降は政治の実権が朝廷から武家に移り、朝廷内での権力も治天の君が中心となる体制が築かれたため、関白職の政治への影響力はますます薄れていった。承久の乱後には関白九条道家が権勢を振るったが、関白の地位を息子達に譲って後も勢力を保つなど、関白の地位と権勢の分離が明らかとなった。その後九条家から二条家と一条家が、近衛家から鷹司家が分立して五摂家による摂関職の継承体制が固まった。摂家は他の堂上家を家礼として擬似的な主君となり、朝廷内で隔絶した地位を持つに至った。このため摂家では他の堂上家を「凡下（一般庶民の称）」と呼んでいたという。
戦国時代になると、摂関家は朝廷儀式に関わることがほとんど無くなり、女房など女官を出すことも無くなった。このため室町・戦国期を通じて摂関家が外戚となった例は一例も無い。摂関家が比較的経済状態がよかったことや、皇室や廷臣と所領や権利をめぐる競合関係があったことが理由ではないかと考えられている。
近世の関白.