その後、足利尊氏の建武政権からの離反を受け、阿蘇惟時は南朝方・後醍醐天皇側の武将として箱根・竹ノ下の戦いに参戦したが敗れて引退する。その後、後醍醐天皇の反撃によって京都を追われた尊氏らは九州に落ち、少弐氏に迎えられる。惟時から家督を引き継いだ阿蘇惟直は菊池氏とともに足利・少弐氏の軍と多々良浜の戦いにおいて戦うが、これに敗れる。このとき、当主・惟直、および惟成（惟時の次男）が戦死したことで、惣領家としての阿蘇家は断絶の危機に立たされてしまう。
当時、阿蘇惟景の子孫は三つの支流に分かれていた。惟景の長男・惟資が恵良姓を、三男・惟国が宇治姓を、四男・惟春が坂梨姓を、それぞれ名乗っていた。
戦国時代.
阿蘇合戦.
惟光を匿った目丸地区では、村人全員が島津軍の襲撃に備え男は「棒術」を、女は「薙刀」を身につけたといわれる。今日、これが郷土芸能「目丸の棒踊り」（山都町指定文化財一覧）の起源とされている。目丸は平家の落ち武者伝説が今も残っているところで、緑川と内大臣川の深い渓谷が横たわり、人里離れて隠れるには格好の場所であった。
ここに九州内で名家・戦国大名として一目置かれていた矢部阿蘇氏は滅亡した。
一時期衰退していた島津氏がこの時期、薩摩の三州統一をはじめ、その後、急速に九州内で領地を拡大、阿蘇氏をはじめ諸国の豪族を倒せたのは近代武器「鉄砲」の存在が大きかったと考えられる。
大宮司家として復帰.
のちに阿蘇惟光は、九州を制圧した豊臣秀吉に保護を求めて、わずかながらの領地を与えられ、阿蘇神社宮司としての地位も認められたが、大名としての特権は全て剥奪された。なお、惟前の孫である阿蘇惟永は、そのまま島津家に仕えた。
関ヶ原の戦い後に加藤清正の計らいで惟光の弟の阿蘇惟善に所領が与えられた。また、清正の手で復興された一の宮・阿蘇神社（阿蘇市宮地）の大宮司となった。
惟善の次男惟真（友貞の弟）は、庶流大里氏を名乗る。文久年間の地図によれば、阿蘇家出屋敷が現在の熊本県熊本市中央区京町にあった。
墓地・菩提寺.
墓地.
阿蘇家の墓は点在しており、中世期に登場する主要な人物は、山都町浜町周辺に眠っている。
菩提寺.