阿倍氏
阿倍氏（上古 - 奈良時代）
景行天皇の妃の一人である高田媛の父が阿部木事であるとされ、また継体天皇の妃に阿倍波延比売がいたといわれているが、歴史上はっきりとした段階で活躍するのは宣化天皇の大夫（議政官）であった大麻呂（火麻呂とする説もある）が初見である。大麻呂は大伴金村・物部麁鹿火・蘇我稲目に次ぐ地位の重臣であったと言われている。推古天皇の時代には蘇我馬子の側近として麻呂が登場している。
大化の改新の新政権で左大臣となったのは、阿倍倉梯麻呂（内麻呂とも）であった。阿倍氏には『日本書紀』などでも外国への使者などに派遣される人物が多く、倉梯麻呂は家柄のみならずそれなりの見識を買われて新政権に参加した可能性が高い。また、倉梯麻呂の娘・小足媛は孝徳天皇の妃となって有間皇子を生んだとされており、またもう一人の娘・橘媛は天智天皇の妃になるなど、当時の阿倍氏の勢力が窺える。
その後、阿倍氏は一族が分立して「布施臣」・「引田臣」（ともに後に朝臣の姓を受ける）などに分裂していった。だが、引田臣を率いる阿倍比羅夫が斉明天皇に仕えて将軍として活躍し、布施臣を率いる倉梯麻呂の息子・御主人（635年 - 703年）は大宝律令下で最初の右大臣に任命された。その後、布施御主人は「阿倍朝臣」の姓をあたえられ、続いて引田朝臣でも比羅夫の息子達に対して同様の措置が取られた。遣唐使で留学生として唐に渡った仲麻呂は比羅夫の孫、船守の息子であると言われている。以後は主として御主人と比羅夫の末裔が「阿倍氏」と称することになった。だが、中納言で薨去した御主人の子・広庭（659年 - 732年）が死ぬと、藤原氏などの新興氏族に押されて低迷する。だが、藤原武智麻呂夫人（豊成・仲麻呂兄弟の生母）や藤原良継夫人古美奈などの有力者の夫人を出している。
安倍氏（平安時代）
「阿倍氏」がいつ頃から「安倍氏」と改めたかには諸説あるが、平安時代初期の延暦〜弘仁年間説が有力であると言われている。この時期には安倍兄雄（ ? - 808年、御主人の玄孫、平城天皇時代の参議）、安仁（793年 - 859年、引田臣系傍流、仁明天皇時代の大納言・右近衛大将）という二人の有力高官を出している。だが、その後の活躍はやはり兄雄の6代目の子孫とされている安倍晴明の活躍する平安中期にまで降ってしまう。
陰陽道安倍氏
平安中期以降、安倍氏は安倍晴明を輩出した系統が主流となり、中世からは土御門家と名乗り、代々陰陽道の家として知られるようになる。
ただし、実際は晴明の系統が阿倍氏本流であるかは不明である。摂津国出身という説から、阿倍氏と同じく大彦命を祖とする難波忌寸、あるいは吉師（吉志）氏といった渡来人の系統が称した安倍氏の出身ではないかという指摘もある。
平安時代中期
安倍晴明以後、安倍氏が賀茂氏とともに陰陽道ことに天文道を司った。しかし、官位的には晴明も息子吉平（954年 - 1027年）も極位が従四位上であって、先祖である兄雄と比べれば格下であるのは明白である。その後、吉平の長男時親は天文密奏宣旨授与者、次男章親は天文博士、3男奉親は天文権博士と、天文道に関する地位を独占した。以後、代々天文博士・陰陽頭に任じられたが、その一方でその地位や学説を巡る一族間の対立も激化していき、時親の子有行を祖とし孫の泰親に引き継がれた嫡流にあたる家系（俗に「泰親流」）、同じく時親の子国随を祖とし孫の晴道に引き継がれた家系（同じく「晴道党」）、時親の弟奉親を祖とし孫の宗明およびその子広賢引き継がれた家系（同じく「宗明流」）の3系統に分立して激しく争った。
平安時代末期 - 鎌倉時代
世の中が不安定であればあるほど、朝廷から陰陽師への期待が高まるものなのか、安倍氏から名高い陰陽師が登場するのは「乱世」というべき時代である。治承・寿永の乱（源平合戦）当時の陰陽頭安倍泰親（吉平の玄孫にあたる、1110年 - 1183年）は正四位上、息子の季弘（1136年 - 1199年）は正四位下にまで昇進している。だが、晴道や広賢及びその子弟も自己の家系の説をもって泰親親子と激しく対立を続け、その後もその3系統の中からも分裂する動きが続いた。分裂長期化の背景として、暦道の業務の中核であった造暦（暦の作成）は共同作業を必要として嫡流が作業の主導権を発揮する場があるのに対して、天文道の業務の中核であった天文密奏は勘申者の個人作業であったために各流が競合関係に陥ったこと、寛元2年（1244年）に嫡流内部の当主争いで安倍業弘（季弘の曾孫）が弟ら一族に殺害され、嫡流の主だった人物が処分されて一時的に人材がいなくなったことなどが挙げられる。
南北朝時代
南北朝時代に登場した安倍有世（晴明から14代目、泰親から8代目）は、ついに公卿である従二位にまで達した。安倍氏の一族としては500年以上絶えてなかったことであり、その職掌柄から時には恐れ忌み嫌われる立場にあった陰陽師が公卿になったことは当時としては衝撃的な事件であった。
泰親には九条兼実、有世には足利義満という政治的な後援者がいたからこそここまでの昇進に至ったという意見もある。だが、泰親は平氏の衰亡や以仁王の乱を予言し、有世は明徳の乱・応永の乱を予言したとも言われており、占星術や陰陽道においても特筆した才能があったとする記録が残されている。兼実や義満も彼らのそうした高い能力を評価したからこそ、その昇進を援けたのである。
室町時代 - 安土桃山時代
一般的には（専門書の中にも）「土御門家」の祖を安倍有世に求め、有世を「土御門有世」と呼称することが多い。だが、有世が“土御門”を名乗ったとする記録は当の土御門家にも存在せず、確実に「土御門」を名乗ったと言えるのは、その曾孫にあたる有宣（室町時代中期 - 後期）以後であると考えられている。
当初は「有世一代」限りの公卿という条件であったものの、実際には有世の晩年に足利義満が有世の長年の功労に報いて嫡男の有盛を公卿に昇進させ、その後も有季・有宣とその嫡流は公卿に昇った。かくして有世の家系は堂上家（半家）の資格を得ることになり、やがて有世以来代々の当主の屋敷が土御門の地にあったことから、「土御門」を名乗ることとなり、他の安倍氏とは一線を画して陰陽師としての公的な職務は全て安倍氏土御門家と賀茂氏勘解由小路家が取り仕切ることとなった。
だが、その初代である有宣は応仁の乱以来の混乱を避け、領地である若狭国名田庄（現在の福井県大飯郡おおい町）に下向した。子の有春も若狭で一生を過ごし、以後若狭定住が常態となる。孫の土御門有脩（1527年 - 1577年）は、永禄8年（1565年）賀茂氏が独占していた暦博士を初めて兼任した。その息子土御門久脩（1560年 - 1625年）は若狭から戦乱の収束した都に一時戻ったが、関白（のち太閤）豊臣秀吉の治世下では秀次事件（豊臣秀次とその近臣の粛正）および陰陽師追放政策に巻き込まれて一時失脚する。
江戸時代
久脩は江戸幕府を開いた徳川家康に重用されたため、朝廷にも復帰が許され、梅小路に大邸宅を与えられた。その息子・土御門泰重（1586年 - 1661年）は天文博士として衰退した家名の再興に尽力し、公卿として従二位にまで昇進した。また弟の泰吉を独立させて倉橋家を創設した。更に朝廷陰陽寮の長官たる陰陽頭の座を巡る安倍氏（土御門家）と賀茂氏（この時代は庶流の幸徳井家）の間での長年の確執は、幸徳井友傳が天和2年（1682年）に35歳で夭折したことで、土御門泰福（1655年 - 1717年）が陰陽頭に任じられて、以降陰陽頭は安倍氏土御門家が独占することで決着することとなる。泰福は天和3年（1683年）、全国の陰陽師の支配・任免を土御門家の独占とすることに成功して、土御門家は唯一の陰陽道宗家として全盛期を迎える。さらに泰福は、神道家山崎闇斎に師事して、陰陽道と垂加神道を融合した土御門神道を創設した。だが、江戸幕府天文方が主導した改暦（貞享暦）に成功すると、改暦の権限を巡って幕府（天文方）と朝廷（土御門家）の間で対立が生じるようになった。泰福の末子泰邦（1711年 - 1784年）は、在野の暦算家の協力を得て宝暦暦を制定し、改暦の権限を再び土御門家に取り戻すことに成功した。しかしながら、宝暦暦の評判は悪く、その後の寛政暦および天保暦への改暦はいずれも幕府天文方によって主導されることとなった。
江戸期の土御門家の墓の多くが京都の真如堂と梅小路梅林寺にある。
明治以降
明治維新の混乱に乗じて、時の当主土御門晴雄（1827年 - 1869年）は旧幕府の天文方を接収して、天文観測や地図測量の権限を手中に収めた。これによって、西洋の近代的な天文学が事実上排除されるという「逆転現象」が生じた。更に晴雄は西洋の太陽暦（グレゴリオ暦）の導入の動きを察して、太陽暦導入を阻止して従来の太陰太陽暦の維持を図るために明治改暦を提唱した。しかし、晴雄の急逝により挫折した。
王政復古の波により以上のような逆転もひとときはあったものの、政府の大方針である富国強兵のためには、近代的な天文や測量が陸海軍の円滑な運営に欠かせず、また西洋近代国家に伍するため合理主義に基づく迷信排斥・家学廃止の方針から、陰陽道と陰陽師の世襲は近代化の妨げとなる旧弊であるという認識を政府が持つようになり、陰陽寮は解体される流れとなった。晴雄の嗣子（養子）晴栄が幼少であることを幸いに、明治3年（1870年）に陰陽寮の廃止と陰陽道の公的分野からの排除が行われて、続いて天文や暦算分野も大学校天文暦道局や海軍水路局、文部省天文局、天文台に移管されることとなった。
晴栄以降の土御門家は東京に移住し、華族制度導入後、子爵に叙せられている。また、倉橋家（土御門久脩の末裔・安倍氏庶流）も子爵に叙せられている。
大正4年（1915年）、土御門家が保有していた天文記録や当主の日記などが宮内省に献上されて、その多くが現在でも宮内庁書陵部に保管されている。
末裔
安倍晴明の男系血脈は、宇多源氏綾小路家の子で倉橋家の養子となった倉橋有儀（1738年 - 1784年）と、その息子で土御門家の養子となった土御門泰栄（1758年 - 1806年）の代で断絶しており、現在の土御門家・倉橋家当主はいずれも更に養子相続を繰り返した結果、戦国時代の安倍氏当主土御門有脩から数えて共に4回も女系を経た遠縁となってしまっている。
一方、土御門有脩の娘が勧修寺晴豊の妻、土御門泰福の娘が倉橋泰章（土御門久脩から5代目の男系子孫）の妻、さらにその泰章の娘が萩原員領の妻になり、みな子を残しているため、勧修寺家・萩原家をはじめとする幾つかの堂上公家・華族の子孫、および現皇室に、女系を経てはいるものの安倍晴明の血脈は受け継がれている。