残された南匈奴は後漢に服属して辺境の守備に当たった。しかし、次第に配下の統制が利かなくなり、南単于の権威が弱くなっていった。時に匈奴のいなくなったモンゴル高原では東の鮮卑が台頭しており、その指導者である檀石槐は周辺諸族を次々と侵略していき、中国の北辺を脅かした。屠特若尸逐就単于（在位：172年 - 177年）は後漢の護烏桓校尉や破鮮卑中郎将、使匈奴中郎将らとともに鮮卑に対抗したがまったく相手にならず、けっきょく檀石槐の存命中は何もすることができなかった。その後の中国は後漢末期の動乱期（いわゆる三国時代）に突入し、黄巾の乱やその他の戦乱に南匈奴も駆り出されることとなった。そんな中、南匈奴内部で内紛が起き、単于於夫羅（在位：188年 - 195年）は南匈奴本国から放逐され、流浪の末に時の権力者である曹操のもとに身を置いた。呼廚泉（在位：195年 - ?年）の代になって南単于は鄴に抑留され、五分割された南匈奴本国は右賢王の去卑がまとめることになった。以降、南単于は魏代・晋代において中国王朝の庇護のもと、存続することができたのだが、単于の位はすでに名目上のものとなっており、実際の権威は左賢王に移っていた。やがて西晋が八王の乱で疲弊すると、於夫羅の孫にあたる劉淵は大単于と号して西晋から独立、国号を漢（のちの前趙）と定めた。その後、漢は西晋を滅ぼし（永嘉の乱）、時代は五胡十六国時代へと突入する。
その後、北匈奴はしばしば中国の辺境を荒らしては後漢と南匈奴に討たれたので、次第に衰退していった。章和元年（87年）、東胡の生き残りである鮮卑が北匈奴の左地（東部）に入って北匈奴を大破させ、優留単于を斬り殺した。さらに飢饉・蝗害にもみまわされ、多くの者が南匈奴へ流れていった。永元元年（89年）、南匈奴の休蘭尸逐侯鞮単于（在位：88年 - 93年）が北匈奴討伐を願い出たので、後漢は征西大将軍の耿秉と車騎将軍の竇憲とともに北匈奴を討伐させ、北単于を稽落山の戦いで大破した。翌年（90年）、休蘭尸逐侯鞮単于は使匈奴中郎将の耿譚とともに北単于を襲撃し、その翌年（91年）にも右校尉の耿夔の遠征で北単于を敗走させたので、遂に北匈奴は行方知れずとなり、中華圏から姿を消した（その後の北匈奴は康居の地に逃れて悦般となる。）。また、18世紀以降から、4世紀にヨーロッパを席巻したフン族と同一視する説が存在するが（フン族#フン＝匈奴説）、未だ決定的な見解がでていない。
匈奴による侵入・略奪は日に日に激しくなったが、蒲奴（在位：46年 - ?年）が単于に即位すると、匈奴国内で日照りとイナゴの被害が相次ぎ、国民の3分の2が死亡するという大飢饉に見舞わされた。単于蒲奴は後漢がこの疲弊に乗じて攻めてくることを恐れ、使者を漁陽まで派遣して和親を求めた。時に右薁鞬日逐王の比（ひ）は南辺八部の大人（たいじん：部族長）たちに推戴され、呼韓邪単于と称して（本当の単于号は醢落尸逐鞮単于）南匈奴を建国し、匈奴から独立するとともに後漢を味方につけた（これに対し、もとの匈奴を北匈奴と呼ぶ）。南匈奴は北匈奴の単于庭（本拠地）を攻撃し、単于蒲奴を敗走させた。これにより単于蒲奴の権威は失墜し、その配下の多くが南匈奴へ流れて行った。
少年時代から文武両道の才能があり聡明だったが、生母が正室でなかったので前秦の世子に立てられず、弟の苻宏が代わって太子となった。やがて父から長楽公に封じられ、378年から379年にかけて東晋の襄陽を姚萇・慕容垂と共に攻め落とし、鄴を鎮守した。383年、淝水の戦いで父が東晋に敗れると関東は大混乱に陥り、翌384年には早くも鮮卑族の慕容垂らが自立して鄴に迫った。同年1月、苻丕は鄴城に立て籠もり、慕容垂率いる丁零・烏桓・鮮卑兵20万の大軍に包囲された。慕容垂は鄴城外に行宮を建てて燕王に即位したが（後燕）、苻丕は氐軍を率いて頑強に抵抗し、385年8月まで持ちこたえた。鄴が包囲されているさなか、関東各地では後燕に呼応する動きが続出した。とりわけ氐族の大軍団が駐屯する幽州・并州が後燕の別軍によって陥落すると、鄴は南北から挟み撃ちされる形となった。385年8月、苻丕はついに民6万を率いて鄴を脱出し、晋陽に本拠を移した。同年、父が姚萇に殺害されると、苻丕は晋陽で前秦皇帝に即位した。苻丕は即位すると、王永（王猛の子）の目覚しい活躍もあって関東各地に孤立する前秦の残党を糾合し、晋陽を中心に一大勢力を形成した。しかしすぐに後燕に反撃され、386年8月、事態打開のため南下して平陽に拠点を移した。この動きに脅威を懐いた西燕の慕容永は、同年10月に前秦と決戦を挑んで撃破（襄陵の戦い）、王永ら苻丕の重臣を殺害した。苻丕は近臣や禁衛軍を失い、一族から殺害されることを恐れて東垣へ逃亡しようとしたが、途中で東晋の将軍馮該の軍勢に邀撃されて敗死した。苻丕の諸子は東晋へ送られ、既に降伏していた旧天王太子苻宏の幕僚とされた。一方、苻丕の残軍は苻纂によって率いられ、関中の杏城に移った。苻纂は苻丕の子苻寧を枹罕の苻登へ送り、これと連携しようとした。しかし、苻登が帝位に即いたため、やむなく苻登から魯王を拝した。387年、杏城の旧前秦本体は苻師奴に乗っ取られ、ついで後秦に敗れてオルドスへ逃れた。こうして苻丕の晋陽政権の残党は消滅したのである。