明治4年（1871年）廃藩置県により廃城となった。1877年（明治10年）に起こった西南戦争では西郷隆盛軍の拠点となり戦闘が行われた。この際に幕末に再建された建造物も全焼したが、焼け残った堀合門が市内の民家に移築され現存する。その後、城跡は人吉城公園として整備され、1961年（昭和36年）9月2日、国の史跡に指定された。1989年（平成元年）隅櫓が復元された。1993年（平成5年）には大手門脇多聞櫓と続塀が復元された。2005年（平成17年）人吉城歴史館が開館。施設内に石造り地下室の遺構が保存されている。2006年（平成18年）4月6日、日本100名城（93番）に選定された。
享和2年（1802年）には城内から出火、文久2年（1862年）2月には城下町の鍛冶屋から出火があり「寅助火事」と呼ばれる大火となった。この2度の火災で城は全焼した。その後、一部の建物が再建された。
戦国時代になると相良氏は球磨地方を統一する。しかし、家督問題で内訌が生じた後の大永6年（1526年）7月14日、日向真幸院を治める北原氏が率いた大軍（一向宗を率いていたともいわれる）により人吉城は包囲される。相良義滋は策を用いて北原氏を追い返し事なきを得たが、これが相良氏入城後の人吉城が他家に攻められた唯一の出来事となった。その後、19代当主の相良義陽によって天正年間（1573年 - 1593年）より城の大改修が始められた。途中に度々改修の中断があり、22代頼寛の寛永16年（1639年）漸く近代城郭に生まれ変わった。戦国時代の相良氏は南の島津氏や北原氏、北の名和氏や大友氏などに絶えず脅かされよく耐えていたが天正9年（1581年）に島津氏に降伏し臣従する。その後、義陽の子・相良頼房は天正15年（1587年）羽柴秀吉の九州征伐の際に奮戦するもこれに降伏、家臣・深水長智の交渉により再び独立領主として人吉城と領地を安堵された。慶長5年（1600年）の関ヶ原の戦いでは当初は石田三成方（西軍）に付き伏見城などを攻めるが、本戦で石田方が敗れると徳川方（東軍）に内応し戦功を挙げ、徳川家康より2万2千石の領地を安堵された。
源頼朝に仕えた遠江国相良荘国人の相良長頼は元久2年（1205年）肥後国人吉荘の地頭に任ぜられた。この地は平頼盛の家臣の矢瀬主馬佑が城を構え支配する所であった。主馬佑は長頼に反抗したため、鵜狩りと称して主馬佑を誘き寄せ謀殺した。これを悲しんだ主馬佑の母・津賀は恨みをもって自害し、亡霊となって祟ったという。後に三の丸には鎮魂の為に「お津賀の社」が建立された（現在は残っていない）。長頼は主馬佑の城を拡張し人吉城の基礎を造った。築城の際、三日月型の模様の入った石が出土した。このため、この城の別名を「繊月城」「三日月城」とも言う。
牧野の刑法学説の出発点は、主著『日本刑法』の冒頭文の「犯罪はこれ社会の余弊なり」が示すように、犯罪を社会的病害として捉える点にある。その上で、リスト、フェリーの議論を基礎に、刑罰論として目的刑論を採用して、犯罪に対する社会の保全を刑罰の目的とし、そのために刑罰は科学的方法に基づき犯罪人の反社会的性格を矯正するものでなければならないとした（特別予防論・教育刑論）。上記のような刑罰論を前提に、犯罪論においては、犯罪行為を行為者の反社会的性格の徴表と位置づけ、その現実的な意味を否定する犯罪徴表説を主張した。実行の着手における主観説や共犯独立性説などの見解は、この主張の帰結として論じられている。信義誠実の原則・公序良俗に関する研究でも知られ、作為義務または不作為の違法性に関しても著述を残している。1871年のドイツ刑法典を参考にし、ドイツの近代学派が主張した新しい刑事政策的思想を取り入れた現行刑法が1907年に成立すると、牧野は、独自の法律進化論の立場から、刑法は旧派刑法理論から新派刑法理論に進化していくものであると主張し、旧派に立つ大場茂馬と激しく対立した。もっとも、牧野の刑法理論は、同じ主観主義刑法理論でも富井政章の社会防衛論に基づく厳罰的刑法理論と異なり、刑事政策としては、執行猶予の積極的活用を提言するとともに、累犯加重の刑罰を強化して社会防衛を図りつつも、行為者の再犯可能性に応じた実践的な教育を施して再社会化を促す特別予防論・教育刑論に基づき、科学的・人道主義的観点を導入した行刑改革を必要を説き、そのような教育のための反社会的性格の把握という見地から、犯罪論において、主観的な要素を重視するというものであり、比較法的にも諸外国にもみられないほど主観主義的傾向を徹底したものであった。自らの弟子である小野清一郎が後期旧派の立場に立つとこれと激しく対立し、論争を繰り広げた。戦後、牧野の刑法理論は国家主義との親和性を批判される一方、旧派の団藤重光らの学説が新憲法の要請に基づく自由主義の立場に合致するものとして学界の絶大な支持を集め、牧野を含む新派は退潮に向かう。その一方、執行猶予の積極的活用などの牧野の主張は刑事制度に影響を色濃く残しており、その学説の歴史的・現代的意義は依然大きいといえる。また、刑事法以外にも次のような業績を残している。1924年「最後の一人の生存権」と題する論稿にて、当時のドイツのヴァイマル憲法に謳われた生存権を紹介した。民法177条の「第三者」に何らかの主観的な制限をつけるべきかという問題において、単なる悪意者は含まれないが、背信的悪意者は排除されるとの背信的悪意者排除説を提唱。