ただ、皇族・公家出身の将軍近辺のみ陰陽道に熱心なのであって、実権を持っていた執権の北条一族は必ずしも陰陽道にこだわりを持っておらず、配下の東国武士から全国の地域地盤に由来する後に国人と呼ばれるようになった武士層に至るまで、朝廷代々の格式を意識したり陰陽師に行動規範を諮る習慣はなかったため、総じて陰陽師は武家社会全般を蹂躙するような精神的影響力を持つことはなく、もっぱら傀儡である皇族・公家出身将軍と、実権を失った朝廷や公卿・公家世界においてのみ、その存在感を示すにとどまった。鎌倉時代初期においては、国衙領や荘園に守護人奉行（のちの守護）や地頭の影響力はそれほど及んでいなかったが、鎌倉中期以降、国衙領・荘園の税収入効率または領地そのものがこれらに急激に侵食されはじめると、陰陽師の保護基盤である朝廷・公家勢力は経済的にも苦境を迎えるようになっていった。
近世における官人陰陽師の再興と民間陰陽師の興隆.
各地の陰陽師の活動も活発で、奈良時代以前から続く葛城山神族系の赤星家や玖珂家、武家陰陽師である清和源氏系小笠原家、地域派生の嵯峨家、八幡流、日直家、鬼貫家、引佐名倉家、遠州山住系高橋家、四国中尾家（いざなぎ流）、安曇系各家などを中心に、各地の民俗との融合を繰り返して変化し、江戸時代を通じて民間信仰として民衆の間でかなりの流行を見せた。
その後、幕府天文方が主導権を取り戻して作成された天保暦は、不定時法の採用を除けば、土御門家の宝暦暦に比して、あるいは宝暦暦よりも正確とされた貞享暦に比しても、相当に高精度の暦であったとされている。
近代における陰陽師排除政策と現代の陰陽師.
大政奉還がなされ明治時代になると、明治維新の混乱に乗じて、陰陽頭土御門晴雄は陰陽寮への旧幕府天文方接収を要望してこれを叶え、天文観測や地図測量の権限の全てを収用した。その後、明治政府が西洋式の太陽暦（グレゴリオ暦）の導入を計画していることを知った土御門晴雄は、旧来の太陰太陽暦の維持のため「明治改暦」を強硬に主張したものの、晴雄本人の薨去によりこの案が取り上げられることはなかった。晴雄夭折のあとに就任した陰陽頭晴栄はまだごく幼少であり、自発的な反論ができない状況にあった。