政府軍は城山へ総攻撃をかけ、西郷が自決し戦争は終結した。西郷の遺体を検分した山縣は、任務を全うしたことを喜びつつも西郷の死に涙を流し悼んだとのちに回想している。戦後は恩賞として勲一等旭日大綬章と勲章・年金を与えられ、別荘・椿山荘を購入し作庭に取りかかった。陸軍の権力闘争から派閥結成まで.戦争で財政が枯渇し経費を節減したため、陸軍内には不満が蓄積するようになった。また、山縣は勲功調査委員として恩賞選定の責任者となっていたことも恨みを買う事となる。明治十四年の政変では伊藤を支持し、黒田清隆の進める官有物払い下げの中止を求めている。反対派がいなくなり陸軍改革も桂らの手で着々と進んだことにより、陸軍は山縣を中心とする派閥が形成されていった。山縣は積極的に人材登用を行い、桂をはじめ児玉源太郎、岡沢精など同郷人や中村雄次郎、木越安綱ら他藩出身者も軍部へ取り立て、派閥を拡大していった。ただし、平常時で軍政に関わる事柄、特に予算関係は陸軍大臣が内閣と協議する慣例で、軍の中心は陸軍省にあり、参謀本部は完全に陸軍省から独立した部署には成りえていなかった。内務省での活動.山縣が地方自治に熱心に取り組んだ理由は、日本国民に政治の仕組みを地方政治を通して理解させること、および急進派や過激思想(特に自由民権運動)を政治から遠ざけ、穏健派を政治に迎え入れる意図があった。府県と郡の政治機関は官選の知事(郡長)と補佐する執行機関の府県参事会(郡参事会)、地方議会にあたる府県会(郡会)で構成され、市町村も同じ構造で市長・市参事会・市会が政治機関で、町村もそれぞれ町長(村長)・助役・町会(村会)を置き、等級選挙と複選制(間接選挙)を導入して富裕層の政治参加を図った。山縣の狙いは普通選挙を導入して混乱を招くより、等級選挙で地方の有力者の政治参加を望み、地方議会政治を通して彼らを行政事務に慣れさせ、政治家として成長した地方議員達がやがて中央へ進出、将来帝国議会で堅実に政治を行うことを考えていた。