明治43年（1910年）、第27回帝国議会貴族院議員に勅撰された。明治45年（1912年）6月、柳沢保恵、前田利定、水野直、安場末喜、坪井九八郎、小野田元熈、高崎親章、杉田定一、堀正一、鎌田栄吉と共に中華民国、朝鮮視察に参加した。6月1日門司、上海、蘇州、南京、漢口、北京、万里の長城、天津、塘沽、営口、大連、旅順、ハルビン、長春、撫順、奉天、安東県、京城、平壌、釜山を経て下関に帰国した。大正2年（1913年）1月6日、再発を繰り返していた左眼虹彩炎に付き、九段下の河本重次郎病院で手術を受けたが、その後も再発し、ほぼ失明するに至った。大正7年（1918年）5月福島、米沢、新庄、鶴岡、酒田、秋田、弘前、青森、八戸、鮫港、盛岡、松島、仙台、福島、郡山、平、水戸を巡視した、大正13年（1924年）10月にも奥羽を旅行した。大正12年（1923年）の関東大震災では、地盤の強い牛込の自宅は屋根瓦落下、多少の亀裂に留まった。大正14年（1925年）5月、軽い脳溢血に罹り、神経衰弱を併発した。昭和3年秋腎臓炎を発し、急性心臓性喘息を患い、昭和4年（1929年）11月30日昼食後に昏睡状態になり、12月4日午前7時50分、牛込北町の自宅で死去した。12月6日青山葬儀所で葬儀が行われ、谷中坂町玉林寺後山に葬られた。法号は邦憲院殿彰誉白鷹居士。
帰国後の12月24日、長州出身の陸軍軍人としては初めて内閣総理大臣（第3代）に就任（第1次山縣内閣）し、明治23年7月1日に第1回衆議院議員総選挙を迎え、11月29日に開会した日本最初の帝国議会に臨んだ（明治天皇の計らいで現役軍人のまま首相。6月7日に陸軍大将に昇進）。超然主義をとり軍備拡張を進め、第1回帝国議会では施政方針演説において「主権線」（国境）のみならず「利益線」（朝鮮半島）の確保のために軍事予算の拡大が必要であると説いた。対する野党・民党の立憲自由党、立憲改進党は激しく反発し、予算案の歳入を一部削る修正案を衆議院で作成、内閣も対抗措置として自由党議員の買収工作を行ったり、民党と関係が深い陸奥宗光農商務大臣を通して自由党との妥協を探り合ったりしている。結果、自由党内部から板垣退助を擁立する一派が政府の妥協を宣言、最初の帝国議会を円満に閉会させたい議員全体の意向もあり、予算案削減額はあまり変わらなかったものの、明治24年（1891年）3月2日に衆議院で予算が成立した。貴族院も軍から政治に場所を移し山県との対立を継続した谷ら四将軍派などの反抗はあったが、4日後の6日に予算案は通過、8日に議会が無事閉会式を迎えたあと、5月6日に山県は首相を辞任、松方正義に譲り第1次松方内閣と交代した。首相在任は1年5か月と短かったが、無事に帝国議会を終わらせたことで山県は政治家として名を上げ、伊藤に匹敵する藩閥実力者としての地位を確立した。第1次内閣の他の功績は府県郡制公布、内閣職権を廃して内閣官制を導入、明治23年10月30日に部下の芳川顕正文部大臣や井上毅法制局長官と協力した教育勅語発布が挙げられる。以後は天皇の信任も獲得し、明治25年（1892年）7月に松方内閣が倒れると天皇から善後処置を伊藤や黒田清隆とともに下問され、協議の末8月に第2次伊藤内閣が成立、短期間司法大臣を務めたあと、翌明治26年（1893年）3月に枢密院議長へ転任した。このときの天皇からの下問と有力者協議がもとで元老制度が作られ、首相辞任時に元勲優遇の詔勅を下されていた山県も元老となる。明治27年（1894年）7月から始まった日清戦争では、56歳にもかかわらず第一軍司令官として自ら戦地に赴き作戦の指揮をとった。「敵国は極めて残忍の性を有す。生擒となるよりむしろ潔く一死を遂ぐべし」と訓示している。配下の野津道貫が率いる第5師団が9月の平壌の戦いで平壌を陥落させるなど戦果はあげていたものの山県自身は体調を崩し、11月に天皇に「病気療養のため」という勅命で戦線から呼び返され、12月に帰国している。無念の帰国を余儀なくされた山県であったが、伊藤・井上らが山県の今後について打ち合わせ、天皇も体面を気遣い山県に第一軍司令官と枢密院議長を免じる代わりに監軍に据え、2回目の元勲優遇の詔勅を下すなど山県を少しでも慰めようと配慮した。その甲斐あってか、帰国後山県は体調を回復、戦後の明治28年（1895年）8月5日には第二軍司令官だった大山、西郷従道海軍大臣とともに日清戦争の恩賞として旭日桐花大綬章、功二級金鵄勲章を授与、伯爵から侯爵に昇叙された。明治29年（1896年）3月に日本を出国、アメリカ・ヨーロッパ経由でロシアに到着、5月のニコライ2世戴冠式出席という表向きの任務を果たし、裏では日清戦争後朝鮮に進出したロシアと交渉して妥協を見出し、6月9日に山縣・ロバノフ協定で対等な関係を結んだことで日清戦争で減退した威信も回復、7月に帰国した頃には有力者としての地位を向上させていった。