谷干城
この頃から政治関与を始め、同年7月の開拓使官有物払下げ事件で政府に動揺が広がる中、谷は曾我祐準・鳥尾小弥太・三浦梧楼ら3人の軍人と四将軍派を結成し佐々木と共に払い下げに反対を表明、9月に連名で国会開設の建白書を提出、10月には佐々木と同志の元田永孚・土方久元らと結託して中正党も結成するなど、現役軍人でありながら政治にのめり込む姿勢は山縣に危険視され、明治十四年の政変で大隈重信が政府から追放され事態が収拾されると、佐々木が政府に取り込まれ中正党の運動も不明瞭になり、明治15年(1882年)に山縣が軍人の政治関与を禁じた軍人勅諭を制定、四将軍派の活動は抑えられた。
谷は非職でありながら度々政府から復職を望まれ、明治17年(1884年)5月に学習院院長として復帰した。かねてから華族の教育を構想していた伊藤博文は谷に改革を依頼、応じた谷は皇室の藩屏になることを目指した華族の子弟教育を推進、軍人養成に力を注いだ。また将来の議会政治にも目を向け、華族が天皇に忠誠を尽くし、独立した勢力として議会で公平に政治活動していく構想も考え、軍人だけでなく政治、外交にも役立つ多様な人材育成を目指した。華族有志青年会の設立も議会へ活動する人材育成の一環である。谷が学習院を去った後も華族青年会と改名し、華族同方会も結成、谷や多くの華族を引き付けて議会に備えていった。これらの功績が認められ、7月に華族令が制定されると子爵に叙せられ、翌明治18年(1885年)の内閣創設により第1次伊藤内閣の初代農商務大臣に就任し、政治家に転身した。
8月に成立した第2次伊藤内閣では強硬姿勢を緩め、衆議院と政府の仲介を申し出た(政府に却下された)こともあったが、明治26年(1893年)に条約改正問題が上がると対外硬に加わり政府との対決路線に戻り、12月に衆議院が解散されると理由を伊藤に問い質し、民党を弁護し伊藤に抗議している。翌明治27年(1894年)6月の再度の解散にも抗議したが、7月に日英通商航海条約が成立、条約改正が成功した時は明確な反対はしていない。
日清戦争が起こると挙国一致の立場から予算通過に尽力し政府に協力したが、明治28年(1895年)の終戦後は反政府に戻り三国干渉と戦後財政を批判、朝鮮公使に三浦を推薦したが、彼が乙未事変を引き起こしたと知ると驚愕している。戦後自由党と内閣が手を組み衆議院が戦後予算を通過したことに反発、軍拡を含めた予算に反対したが通らず、研究会の賛成で予算は貴族院を通過した。明治29年(1896年)に成立した松方正義と大隈の連立政権(第2次松方内閣)でも軍拡予算に反対したが、近衛が松方の推薦で貴族院議長に就任、谷も松方を支持しているため決定的な対立を避け予算を通過させた。代わりに元来主張していた明治30年(1897年)の新聞紙条例の改正は通り、金本位制導入にも積極的に取り組み貨幣法公布に尽力、懇話会・三曜会と谷の威信は増大していった。
次の第1次松方内閣では谷を中心としたグループ結成が進み、谷が12月14日に政費節減(同様の主張を掲げた民党と違い、節減で捻出した財源を地租軽減ではなく国防充実へ振り分けることを主張していた)・政府への批判を込めた「勤倹尚武の建議案」を提出、彼を含むグループは勤倹尚武連と呼ばれ、懇話会の原型が作られた。建議案は親政府派の研究会の抵抗で否決され谷は敗北を悔しがるが、近衛ら三曜会との連携とグループ形成が進み懇話会が結成、貴族院は親政府派の研究会と反政府派の懇話会・三曜会に二分されていった。
懇話会は明治25年(1892年)頃に結成されたといわれ(異説あり)、谷を始め曾我・山川など彼と縁が深い人々が集まった。しかし中身は組織としてのまとまりが弱く、各人が勝手に自己主張を言いだす有様で、団結重視の研究会にとても対抗出来なかった。それでも個々人の力量が強いため、議会初期は三曜会と並ぶ貴族院の有力会派として注目されたが、やがて研究会が組織を固めると劣勢に追い込まれていった。
内閣との対決姿勢は続き、明治25年2月の内閣が行った第2回衆議院議員総選挙への選挙干渉に対する抗議の建議案を5月に提出、前後して衆議院の民党が提出した決議案と並び両院から不信任を突き付けられたも同然の内閣は動揺、干渉で生じた閣僚との対立を収められず、7月に総辞職した。