また、両家の行う陰陽諸道は本来の官制職掌を越えて宗教化し、これが摂政や関白を始めとする朝廷中枢に重用されたため、両家はその実態がもっぱら陰陽諸道を執り行う者であるにもかかわらず、律令においては従五位下が最高位であると定める陰陽寮職掌を越えて、他のより上位の官職に任命され従四位下格にまで昇進するようになった。特に安倍家は平安時代後期(11世紀)には従四位上格にまで取り立てられるようになり、室町時代には、将軍足利義満の庇護を足がかりに常に公卿(三位以上)に任ぜられる堂上家(半家)の家格にまでなり土御門家を名乗るようになったほか、その土御門家は、室町時代後期から戦国時代には一時衰退したものの、近世において江戸幕府から全国の陰陽師の差配権を与えられるなど、明治時代初頭まで隆盛を誇った。

平安時代における陰陽道の宗教化と陰陽師の神格化 
延暦4年(785年)の藤原種継暗殺事件以降に身辺の被災や弔事が頻発したために怨霊におびえ続けた桓武天皇による長岡京から平安京への遷都に端を発して、にわかに朝廷を中心に怨霊を鎮める御霊信仰が広まり、悪霊退散のために呪術によるより強力な恩恵を求める風潮が強くなり、これを背景に、古神道に加え、有神論的な星辰信仰や霊符呪術のような道教色の強い呪術が注目されていった。讖緯説(讖緯思想)・道教・仏教特に密教的な要素を併せ持った呪禁道を管掌し医術としての祈祷などを行う機関として設けられていた典薬寮の呪禁博士や呪禁師らが、陰陽家であった中臣(藤原)鎌足の代に廃止され陰陽寮に機構統合されるなどして、陰陽道は道教または仏教(特に奈良・平安時代の交(8世紀末)に伝わった密教)の呪法や、これにともなって伝来した宿曜道とよばれる占星術から古神道に至るまで、さまざまな色彩をも併せもつ性格を見せ始める要素を持っていたが、御霊信仰の時勢を迎えるにあたって更なる多様性を帯びることとなった。北家藤原氏が朝廷における権力を拡大・確立してゆく過程では、公家らによる政争が相当に激化し、相手勢力への失脚を狙った讒言や誹謗中傷に陰陽道が利用される機会も散見されるようになった。

仁明天皇・文徳天皇の時代(9世紀中半)に藤原良房が台頭するとこの傾向は著しくなり、宇多天皇は自ら易学(周易)に精通していたほか、藤原師輔も自ら『九条殿遺誡』や『九条年中行事』を著して多くの陰陽思想にもとづく禁忌・作法を組み入れた手引書を示したほどであった。この環境により、滋岳川人、弓削是雄(ゆげのこれお)らのカリスマ的な陰陽師を輩出したほか、漢文学者三善清行の唱える讖緯説による災異改元が取り入れられて延喜元年(901年)以降恒例化するなど、宮廷陰陽道化が更に進んだ。あわせて、師輔や清行など陰陽寮の外にある人物が天文・陰陽・易学・暦学を習得していたということ自体、律令に定めた陰陽諸道の陰陽寮門外不出の国家機密政策はこの頃にはすでに実質的に破綻していたことを示している。

やがて平安時代中期以降に、摂関政治や荘園制が蔓延して律令体制が更に緩むと、堂々と律令の禁を破って正式な陰陽寮所属の官人ではない「ヤミ陰陽師」が私的に貴族らと結びつき、彼らの吉凶を占ったり災害を祓うための祭祓を密かに執り行い、場合によっては敵対者の呪殺まで請け負うような風習が横行すると、陰陽寮の「正式な陰陽師」においてもこの風潮に流される者が続出し、そのふるまいは本来律令の定める職掌からはるかにかけ離れ、方位や星巡りの吉凶を恣意的に吹き込むことによって天皇・皇族や、公卿・公家諸家の私生活における行動管理にまで入り込み、朝廷中核の精神世界を支配し始めて、次第に官制に基づく正規業務を越えて政権の闇で暗躍するようになっていった。同時期には天文道・陰陽道・暦道すべてに精通した陰陽師である賀茂忠行・保憲父子ならびにその弟子である安倍晴明が輩出し、従来は一般的に出世が従五位下止まりであった陰陽師方技出身者の例を破って従四位下にまで昇進するほど朝廷中枢の信頼を得た。そして賀茂保憲が、その嫡子の光栄に暦道を、弟子の安倍晴明に天文道をあまねく伝授禅譲して、それぞれがこれを家内で世襲秘伝秘術化したため、安倍家の天文道は極めて独特の災異瑞祥を説く性格を帯び、賀茂家の暦道は純粋な暦道というよりはむしろ宿曜道的色彩の強いものに独特の変化をとげていった。このため、賀茂・安倍両家からのみ陰陽師が輩出されることとなり、晴明の孫安倍章親が陰陽頭に就任すると、賀茂家出身者に暦博士を、安倍家出身者に天文博士を常時任命する方針を表し、その後は両家が本来世襲される性格ではない陰陽寮の各職位をほぼ独占し、更にはその実態を陰陽師としながらも陰陽寮職掌を越えて他の更に上位の官職に付くようになるに至って、官制としての陰陽寮は完全に形骸化し、陰陽師は朝廷内においてもっぱら宗教的な呪術・祭祀の色合いが濃いカリスマ的な精神的支配者となり、その威勢を振るうようになっていった。

また、本来律令で禁止されているはずの陰陽寮以外での陰陽師活動を行う者が都以外の地方にも多く見られるようになったのもこの頃であり、地方では道摩法師(蘆屋道満)などをはじめとする民間陰陽師が多数輩出した。

平安時代中・後期(11世紀から12世紀)を通じて、陰陽諸道のうちで最も難解であるとされていた天文道を得意とする安倍家からは達人が多数輩出され、陰陽頭は常に安倍氏が世襲し、陰陽助を賀茂氏が世襲するという形態が定着した。平安時代末期の治承・寿永の乱(源平合戦)のころには安倍晴明の子吉平の玄孫にあたる泰親が正四位上、その子の季弘が正四位下にまで昇階していたが、その後の鎌倉幕府への政権移行にともなう政治的勢力失墜や、鎌倉時代末期の両統迭立に呼応した家内騒動、その後の南北朝時代の混乱によってその勢力は一時衰退した。

武家社会の台頭と官人陰陽師の凋落 
平安時代末期(12世紀後半)には、院政に際して重用された北面武士に由来する平家の興隆や、それを倒した源氏などによる武家社会が台頭し、建久3年(1192年)には武家政権である鎌倉幕府が正式に成立した。源平の戦いの頃から、源平両氏とも行動規範を定めるにおいて陰陽師の存在は欠かせないものであったことから、新幕府においても陰陽道は重用される傾向にあった。幕府開祖である源頼朝が、政権奪取への転戦の過程から幕府開設初期の諸施策における行動にあたって陰陽師の占じた吉日を用い、2代将軍源頼家もこの例にならい京から陰陽師を招くなどしたが、私生活まで影響されるようなことはなく、公的行事の形式補完的な目的に限って陰陽師を活用した。

建保7年(1219年)に3代将軍源実朝が暗殺されると、北条氏による執権政治が展開されるようになり、鎌倉将軍は執権北条氏の傀儡将軍として代々摂関家や皇族から招かれるようになり、招かれた将軍たちは出自柄当然ながら陰陽師を重用した。4代将軍藤原頼経は、武蔵国(現在の東京都および埼玉県)の湿地開発が一段落したのを受けて、公共事業として多摩川水系から灌漑用水を引き飲料水確保や水田開発に利用しようとする政所の方針を上申された際、その開発対象地域が府都鎌倉の真北に位置するために、陰陽師によって大犯土(だいぼんど、おおつち)(大凶の方位)であると判じられたため、将軍の居宅をわざわざ鎌倉から吉方であるとされた秋田城介義景の別屋敷(現在の神奈川県横浜市鶴見区)にまで移転(陰陽道で言う「方違え」)してから工事の開始を命じたほか、その後代々、いちいち京から陰陽師を招聘することなく、身辺に「権門陰陽道」と称されるようになった陰陽師集団を確保するようになり、後の承久の乱の際には朝廷は陰陽寮の陰陽師たちに、将軍は権門陰陽師たちにそれぞれ祈祷を行わせるなど、特に中後期鎌倉将軍にとって陰陽師は欠かせない存在であった。

ただ、皇族・公家出身の将軍近辺のみ陰陽道に熱心なのであって、実権を持っていた執権の北条一族は必ずしも陰陽道にこだわりを持っておらず、配下の東国武士から全国の地域地盤に由来する後に国人と呼ばれるようになった武士層に至るまで、朝廷代々の格式を意識したり陰陽師に行動規範を諮る習慣はなかったため、総じて陰陽師は武家社会全般を蹂躙するような精神的影響力を持つことはなく、もっぱら傀儡である皇族・公家出身将軍と、実権を失った朝廷や公卿・公家世界においてのみ、その存在感を示すにとどまった。鎌倉時代初期においては、国衙領や荘園に守護人奉行(のちの守護)や地頭の影響力はそれほど及んでいなかったが、鎌倉中期以降、国衙領・荘園の税収入効率または領地そのものがこれらに急激に侵食されはじめると、陰陽師の保護基盤である朝廷・公家勢力は経済的にも苦境を迎えるようになっていった。

後醍醐天皇の勅令によって鎌倉幕府が倒され、足利尊氏が後醍醐天皇から離反して室町幕府を開いて南北朝時代が到来すると、京に幕府を開いて北朝を支持する足利将軍家は次第に公家風の志向をもつようになり、3代将軍足利義満のころからは陰陽師が再び重用されるようになった(義満は、天皇家の権威を私せんと画策しており、彼の陰陽師重用は宮廷における祭祀権を奪取するためのものでもあったとする説もある)。

陰陽道世襲2家のうち、南北朝期に賀茂家は居宅のあった勘解由小路(かでのこうじ)に因んで勘解由小路家を名乗り、賀茂(勘解由小路)在方が『暦林問答集』を著すなど活躍したものの、室町時代中期に得宗家の後継者が殺害されて家系断絶に至る等して勢力は徐々に凋落した。一方、安倍家は上手く立ち回り、安倍有世(晴明から14代の子孫)は、将軍義満の庇護を足がかりに、ついに公卿である従二位にまで達し、当時の宮中では職掌柄恐れ忌み嫌われる立場にあった陰陽師が公卿になったことが画期的な事件として話題を呼んだ。その後も、安倍有世の子有盛から有季・有宣と代々公卿に昇進し、本来は中級貴族であった安倍家を堂上家(半家)の家格にまで躍進させ、有宣の代(16世紀)には勘解由小路家の断絶の機会を捉えてその後5代にわたって天文・暦の両道にかかわる職掌を独占し、有世以来代々の当主の屋敷が土御門にあったことから土御門を氏名(うじな。家名)とするようになり、朝廷・将軍からの支持を一手に集め、ここまではその陰陽諸道上の勢力を万全なものとしたかのように見えた。

しかし、足利将軍職の政治的実権は長くは続かず、室町時代中盤以降となると、三管四職も細川家を除いてはおしなべて衰退して、幕府統制と言うよりも有力守護らによる連合政権的な色彩を強めて派閥闘争を生み、応仁の乱などの戦乱が頻発するようになった。更に守護大名の戦国大名への移行や守護代・国人などによる下克上の風潮が広まると、武家たちは生き残りに必死で、形式補完的に用いていた陰陽道などはことさら重視せず、相次ぐ戦乱や戦国大名らの専横によって陰陽師の庇護者である朝廷のある京も荒れ果て、将軍も逃避することがしばしば見られるようになった。