やがて平安時代中期以降に、摂関政治や荘園制が蔓延して律令体制が更に緩むと、堂々と律令の禁を破って正式な陰陽寮所属の官人ではない「ヤミ陰陽師」が私的に貴族らと結びつき、彼らの吉凶を占ったり災害を祓うための祭祓を密かに執り行い、場合によっては敵対者の呪殺まで請け負うような風習が横行すると、陰陽寮の「正式な陰陽師」においてもこの風潮に流される者が続出し、そのふるまいは本来律令の定める職掌からはるかにかけ離れ、方位や星巡りの吉凶を恣意的に吹き込むことによって天皇・皇族や、公卿・公家諸家の私生活における行動管理にまで入り込み、朝廷中核の精神世界を支配し始めて、次第に官制に基づく正規業務を越えて政権の闇で暗躍するようになっていった。同時期には天文道・陰陽道・暦道すべてに精通した陰陽師である賀茂忠行・保憲父子ならびにその弟子である安倍晴明が輩出し、従来は一般的に出世が従五位下止まりであった陰陽師方技出身者の例を破って従四位下にまで昇進するほど朝廷中枢の信頼を得た。そして賀茂保憲が、その嫡子の光栄に暦道を、弟子の安倍晴明に天文道をあまねく伝授禅譲して、それぞれがこれを家内で世襲秘伝秘術化したため、安倍家の天文道は極めて独特の災異瑞祥を説く性格を帯び、賀茂家の暦道は純粋な暦道というよりはむしろ宿曜道的色彩の強いものに独特の変化をとげていった。このため、賀茂・安倍両家からのみ陰陽師が輩出されることとなり、晴明の孫安倍章親が陰陽頭に就任すると、賀茂家出身者に暦博士を、安倍家出身者に天文博士を常時任命する方針を表し、その後は両家が本来世襲される性格ではない陰陽寮の各職位をほぼ独占し、更にはその実態を陰陽師としながらも陰陽寮職掌を越えて他の更に上位の官職に付くようになるに至って、官制としての陰陽寮は完全に形骸化し、陰陽師は朝廷内においてもっぱら宗教的な呪術・祭祀の色合いが濃いカリスマ的な精神的支配者となり、その威勢を振るうようになっていった。
武家社会の台頭と官人陰陽師の凋落.