原総裁のもとでは表面化しなかった内部対立が後継の高橋是清総裁の時代になると顕在化していった。対立の構図は、官僚系メンバー（中橋徳五郎・元田肇など）と自由党系メンバー（横田千之助・望月圭介など）の争いであった。第45回帝国議会後に内閣改造を企画した高橋首相は、1921年（大正10年）5月2日の閣議で内閣改造を提案するも、元田鉄相・中橋文相の反対にあい、更に翌日の閣議では山本農相も反対に回ったため一度は断念した。続く、6月5日には政友会の議員総会で総裁一任を決議して閣僚に辞表を求めた。山本農相・床次内相・野田逓相は辞表提出に同意したが、元田鉄相・中橋文相は内閣改造にあくまでも反対したため高橋内閣は総辞職することとなった。高橋や横田の内閣改造派は、非改造派の元田・中橋・木下・吉植・田辺・田村の6人を除名した。除名者が復党したのは半年後の12月のことであった。高橋後に組閣したのは加藤友三郎であった、政友会が衆議院の第一党であるにも関わらず政権を失ったことについて党を主導した横田への批判が高まり、1922年（大正11年）9月3日付けの『神戸新聞』には「政友本党」の名で新党設立の動きがあることが報道された。加藤内閣の後も第2次山本内閣が続き、政友会には政権が回ってこなかった。このため1923年（大正12年）12月からの第47回帝国議会（臨時会）で政友会内に改革運動として再度紛糾が起き、改革派の山本・元田・中橋が総務委員に加わることで妥協を見た。山本後の内閣についても選挙管理内閣の意味合いもあって枢密院議長の清浦奎吾を首班とする清浦内閣が成立し、政友会は衆議院第一党のまま都合三度の政権を逃した。清浦は1924年（大正13年）1月1日に大命を拝受し、2日から組閣に入り、貴族院最大会派の研究会へ協力を要請した。当初、政友会では衆議院の議席を背景に床次と横田を通じて数名の閣僚を要求することで清浦が組閣を断念することに期待した。清浦内閣の組閣が難航する中、政友会改革派は高橋を引退させ、研究会とともに清浦内閣に協力し、床次を政友会総裁にして副総理格で入閣させることを企画した。折しも当時、高橋は総裁を辞任する決心を一度は漏らしていたが、小泉策太郎の説得で翻意して清浦内閣には野党の立場をとることを決めた。この高橋総裁続投の結果が政友会の分裂をもたらすこととなった。当初、横田や小泉は脱党者を少数と見積もっており、衆議院第一党は確保され、むしろ結束を固める良い機会だと見込みを立てていた。横田の予測では脱党者は20人から30人、多くても50人と推測していた。政友会幹部の中には脱党者を100人前後と予測していた者もおり、例えば松野鶴平は脱党者130人前後、残留組110人、去就不明者37人を予測した。また、小泉は脱党者130人、残留組150人程度であり、原前総裁の後継党であるという正当性もあるため、来たる選挙では160～180議席を獲得して比較第一党を維持可能と考えた。15日には清浦内閣反対を決定し、高橋総裁は爵位を子に譲り平民となって総選挙へ出馬することを宣言した。これを受け、政友会改革派は分裂を決心し、政友本党を結成して清浦内閣の与党を構成した。床次は最後まで迷っており、16日午後の岡崎邦輔の説得によって一時は政友会に踏みとどまって高橋と進退を共にすることを誓い、脱党組を説得しようとしたが逆に再度の説得をうけて脱党することとなった。16日夜、改革派の山本・元田・中橋・床次は脱党届を高橋総裁に提出し、結局過半数上の148人が政友会から分裂して政友本党を結成することとなった。29日、帝国ホテルで政友本党の結成式が行われた。第48回帝国議会の開始時に第一党は政友本党（150議席）であり、少数となった第二党の政友会（139議席）は18日に三浦梧楼宅で憲政会（103議席）・革新倶楽部（43議席）と会談し、護憲三派を形成して倒閣運動を開始した。清浦内閣では選挙権の拡大について選挙法改正に取り組んだが、独立生計を持つものについて大正17年（1928年、実際には大正天皇崩御により昭和3年）5月からの施行を目指したものであった。これが野党の攻撃の的となり、1924年（大正13年）1月31日に内閣不信任案が提出され議場に極度の混乱をもたらしたため、政府は衆議院の解散を行った。一般的に護憲三派は普通選挙を推進していたとされるが、個別に見れば政友会では従前の経緯もあって普通選挙は推進していなかったし、逆に与党の政友本党では普通選挙をスローガンとしていた。関東大震災の影響で選挙人名簿の整備が遅れたため総選挙は解散から100日後の5月10日に投票が行われた。総選挙では与党の政友本党（114議席、第二党）および護憲三派のうち政友会（101議席、第三党）と革新倶楽部（30議席、第四党）がともに議席を減らし、憲政会（153議席、第一党）が躍進した。政友本党では総務の中橋徳五郎が落選をした。政友会では選挙によって第一党となるか、または革新倶楽部と合同することで第一党を狙っていたが当てが外れ、高橋総裁の責任問題であったが後継者難によって総裁は続投された。この間に、政友本党の床次総裁は5月23日に密かに松本剛吉と会談を行い、80人を率いて政友会復帰を果たしたいので横田千之助への交渉を依頼した。松本は西園寺公望と相談のうえ、極秘裏のまま留保することとした。このため床次派の政友会復帰は流れ、逆に反床次派による政友会復帰運動が起こった。5月25日、西園寺公望と会談した清浦首相は総選挙の結果を受けて議会運営が難しくなったため総辞職を申し出たが、西園寺の助言で選挙結果=政権交代が前例となるのを避けるために内閣不信任案が提出されてからの総辞職をすることとなり、辞職は6月7日となった。この間、政友会では小泉策太郎が政友会・革新倶楽部・政友本党を連合させる反憲政会運動を画策し、また清浦内閣側でも大木遠吉が政友会と政友本党の多数派合同による居座り工作がなされたがいずれも成功しなかった。9日、西園寺は衆議院第一党の憲政会党首加藤高明を首相に推奏した。加藤は最終的に護憲三派で内閣を構成したが、組閣時に政友会のポスト要求を拒むために政友本党との連立をほのめかした。政友会では党務を処理していた横田千之助が司法大臣に就いたため、野田卯太郎を新設の副総裁とした。総選挙で敗れた政友本党では、今まで設置していなかった党首ポストを設け、当初山本達雄を推戴しようとしたが山本が固辞したため、床次竹二郎が総裁に収まった。護憲三派による加藤高明内閣が成立して間もない1924年（大正13年）8月には政友会の岡崎邦輔たちは加藤内閣で根本的な財政整理ができない場合にはより一層強力な内閣が必要であり、政友会と政友本党を合同させて陸軍大将の田中義一を総裁とすることを企画した。この計画は秋にも合同があり得るとの話であったが、高橋総裁の反対にあって頓挫した。1924年（大正14年）、第50回帝国議会では加藤高明内閣により普通選挙案が提出されると、政友会への復帰が図られたが政本合同運動は破綻し、復帰派による五月雨式脱党が起き、12月29日には鳩山一郎や中橋徳五郎など22名が政友会へ合流した。1926年（大正15年）1月20日の政友本党の党大会では顧問の川原茂輔などの引き締めもありなお、80人以上を擁してキャスティングボートを握る第三党路線を堅持した。8月、護憲三派の連立が崩れて憲政会単独内閣（いわゆる第2次加藤高明内閣）が成立した後は、政友本党が衆議院におけるキャスティング・ボートを握る展開となる。当初は政友会との合同の機運が高まり（政本合同問題）、田中政友会総裁と床次政友本党総裁の会談により提携の申合せ書が作成されたが、床次は合同には消極的であり、12月の第51帝国議会では衆議院の常任委員長ポストの割り振りをめぐって交渉が決裂した。こうした動きの中で12月29日、中橋徳五郎・鳩山一郎ほか合同促進派22名が脱党し、翌年2月にその多くが政友会に復党した。1927年（昭和2年）2月25日には憲政会と政友本党の連合（いわゆる、憲本提携）が成立し立憲民政党が政権を取ったが、政友会は切り崩しを行い、杉田定一・元田肇・川原茂輔など30名を脱党させ政友会に合流させた。昭和金融恐慌がおき、第1次若槻内閣が総辞職すると、代わって立憲政友会総裁の田中義一が内閣を組閣した。田中総裁の頃から、在郷軍人会が田中の影響で政友会の支持団体に加わるなど「政友会の親軍化」がいわれるようになる。