1912年、明治天皇が崩御し、大正天皇が践祚した。山縣はこの機に桂の影響力を低下させようとし、内大臣として宮中入りさせた。しかし桂は二個師団増設問題を契機に第2次西園寺内閣を倒した。後継内閣の選定にあたっては山縣・松方・井上・大山にお召状が発せられ、12月6日の元老会議に桂が「元老の資格」として参加した。後継首相には桂が選任されたが、これは「元老山縣の子分である桂が首相となった」ととられ、元老制度特に山縣への批判が集中することとなった。結局第3次桂内閣は第一次護憲運動の盛り上がりによってあっけなく崩壊した。山縣はこの機に元老制度を立て直そうとし、西園寺を元老会議に加えるべきと主張した。西園寺は1912年（大正元年）12月21日に「賛翼する所あるべし」という詔勅を受けており、山縣はこの詔勅を根拠として西園寺が元老となる有資格者であるとしたものである。しかし「元勲優遇の詔勅」を受けた桂は、辞表奉呈後に山縣の質問に対して加藤高明が適当であり、「元老が推薦してはいかが」と答えたのみであった。西園寺は組閣を求められたが辞退し、イギリス流に「議会多数党」が政権を取るようにしてはどうかと提案しているが、他の元老から国情に合わないとして反対されている。結局政友会色の強い山本権兵衛を首班とする第1次山本内閣が成立している。
第1次桂内閣では、日露戦争の遂行に協力する見返りとして立憲政友会へ政権を譲るという密約があり、伊藤と井上はこの密約を知っていたが、山縣は知らなかった。密約を知った山縣はこれに憤ったが、流れを変えようとはしなかった。桂は形式的に各元老に了解を取り、政友会総裁西園寺公望を後継首相に推薦した。第1次西園寺内閣の終焉にあたっても西園寺は桂を推薦し、天皇は伊藤・山縣・松方・井上の同意を確認してから桂に大命を下した。桂が日露戦争の勝利で権勢を強め、政友会の影響力も強大化したことにより、桂園時代の首相指名に関しては、元老は形式的な存在となっていった。伊藤の死後、桂は「元老は老衰した」として影響力を拡大しようともくろみ、1911年8月には「元勲優遇の詔勅」を受けている。またマスメディアにおいても元老が非立憲的であるなどと批判を受けるようになった。
祖は桓武平氏、坂東八平氏のひとりに数えられる秩父氏を祖とし、相模国渋谷荘を領し渋谷氏を名乗った一族。その当主である渋谷重国の長子渋谷光重が渋谷荘を長男の重直に与える一方、次男の早川実重に薩摩国東郷を、三男の吉岡重保に同国祁答院を、四男の大谷重茂（茂諸とも）に同国鶴田を、五男の曽司定心に同国入来院を、そして六男の落合重定に同国高城郡が与えられた。彼らは後に与えられた領地を氏として実重が東郷氏を、重保が祁答院氏を、重茂が鶴田氏を、定心が入来院氏を、そして重定が高城（たき）氏を名乗るようになるが、必ずしも初代から名乗り始めたわけではない。それでも、系図上では彼らをそれぞれの初代に数えている。宝治2年（1248年）、薩摩国に領地を与えられた者たちが薩摩国へ移住する。しかし、初代の重定は承久3年（1221年）の承久の乱で既に討ち死にしており、高城郡へ移住したのは2代重秀であった。重秀は大川（現：阿久根市）へ館を築き本拠とした。弘安9年（1186年）、3代重郷は鎮西談議所の奉行四人のうちの一人に任じられ、談議所廃止の後は引付衆に任じられた。南北朝時代、九州探題として今川貞世が九州へ下向すると、渋谷一族は幕府方に着く。これにより、それまで従っていた守護島津氏とは必然的に対立することとなる。4代重藤は、延元元年/建武3年（1336年）の多々良浜の戦いで活躍、足利尊氏より肥前国三根郡西郷の地頭職に補任され、父と同様に引付衆にも任じられた。引付衆には5代重雄も任じられている。また、重雄は、それまで本拠としていた大川から、高城郡の妹背城に本拠を移した。やがて島津氏が、総州家と奥州家とに分かれて対立すると、渋谷一族もこの争いに巻き込まれ、東郷氏と祁答院氏、入来院氏、高城氏は総州方に、鶴田氏は奥州方にと分かれた（渋谷一族は必ずしも一枚岩だった訳では無く、4代の重藤は鶴田氏に祁答院の湯田城を奪われるなどしている）。奥州家が逼迫すると、応永8年（1401年）に鶴田氏が没落、薩摩の渋谷一族は四氏となった。しかし、その後に奥州家8代島津久豊が勢力を盛り返すと、重雄は奥州方についた実弟の三郎（坂河重通か？）により高城郡を追われ水引城へと逃れた。以後、三郎が代わって高城郡を領有していたが、応永29年（1422年）島津立久により妹背城は落とされ、高城氏は本貫地である高城郡を失った。そればかりか、文明17年（1485年）、11代重頼が薩州家の島津国久に水引城を落とされたため、頭領としての高城氏は滅んでしまった。しかし、重頼は祁答院氏を頼って落ち延びており、高城氏はこれより祁答院氏の家老として存続する。その祁答院氏が没落し入来院氏を頼ると高城氏もそれに従い、その入来院氏が島津義久に降伏すると、子孫は島津家臣として存続した。