吉田政権末期、バカヤロー解散や造船疑獄をめぐり吉田が法務大臣・犬養健に命じて指揮権を発動させ、側近の自由党幹事長・佐藤栄作の逮捕を阻止したことなどにより、急速に政権は求心力を失っていった。そうした中、1954年（昭和29年）3月に緒方は保守合同を呼びかける「緒方構想」を発表した。しかし「緒方構想」による新党推進勢力には、吉田退陣を前提とする吉田棚上げ論者が予想外に多数を占めたため、吉田が消極的であり、「緒方構想」は6月にいったん打ち切られた。結局、12月に鳩山一郎を中心とする反吉田勢力は、左右両派社会党と連携し吉田内閣不信任決議案を提出する。自由党は、衆議院解散総選挙による吉田内閣延命か、吉田内閣総辞職かで真っ二つに別れる。吉田は政権維持に執念を燃やして解散を主張したが、緒方は内閣総辞職を主張し、1954年（昭和29年）12月7日朝、「もし総理が解散を強行すれば私は閣僚として解散書類に署名しません。むしろ政界から引退します。かっこうの悪い西郷になりますよ」と、自らの政治生命を賭けて吉田に直言した。吉田は緒方を罷免してでも解散するつもりだったが、同日の閣議では文部大臣・大達茂雄、運輸大臣・石井光次郎、国務大臣・加藤鐐五郎が総辞職を主張し、自由党幹部会は全員解散反対だったため、吉田は解散を断念、内閣総辞職した。翌12月8日の議員総会で自由党は吉田総裁の辞任を了承し、正式に後任総裁に緒方が選出され、石井光次郎を幹事長とした。吉田内閣総辞職にともなう首班指名選挙で、緒方派の代議士らは、同じ早稲田大学出身の右派社会党書記長・浅沼稲次郎、左派社会党委員長・鈴木茂三郎らをはじめ、左右両派社会党議員に緒方への投票をはたらきかけたといわれるが、両派社会党は鳩山に投票し、第1次鳩山内閣が成立した。
1911年（明治44年）7月に早稲田大学専門部を卒業後、やはり中野正剛に誘われ、同年11月大阪朝日新聞社に入社して弓削田精一率いる大阪通信部員（東京勤務）となる。新人記者でありながら、学生時代から出入りしていた枢密顧問官・三浦梧楼から「大正」の年号をスクープした。当時の朝日新聞社内において、村山龍平・鳥居素川派と上野理一・西村天囚派との間で激しかった派閥対立で、弓削田は上野・西村派に属し、弓削田が村山と対立して退社すると、緒方は1916年（大正5年）12月、外勤を外され整理課員に左遷された。だが白虹事件で村山・鳥居派が退陣し、上野・西村派が新聞編集の中枢に返り咲くと、同派の客員、本多精一の下で30歳で大阪朝日新聞社論説班の幹事に抜擢されて論説班を切り盛りした。この時期、緒方は上海特派員から大阪朝日新聞社社会部員に呼ばれた美土路昌一と同宿し、友情を温めた。しかし翌1919年（大正8年）7月に村山が朝日新聞社を株式会社化して社長に復帰する際、実質的な大阪朝日新聞社編集局長だった西村天囚が村山の怒りを買って退社し、同年末から翌1920年（大正9年）年明けにかけて上野理一、本多精一が相次いで没すると、上野派と見られて村山によく思われていない緒方は社に居辛くなり、退社を決意して、「筑豊御三家」の1人の玄洋社員・安川敬一郎（安川第五郎の父）の出資でイギリスへ私費留学に出た。しかし緒方がアメリカ経由でロンドンへ行く途中、ニューヨーク特派員として赴任していた美土路昌一が緒方から退社の意思を聞かされ、美土路は1921年（大正10年）7月に東京朝日新聞社通信部長として帰国した後、朝日首脳陣に緒方慰留を働きかけ、ワシントン会議取材の記者団に参加させた。
1930年（昭和5年）に情報部長となったが、1931年（昭和6年）には満州事変が勃発した。白鳥は事変擁護の姿勢をいち早く打ち出し、森恪や鈴木貞一陸軍中佐（当時）と提携し、国際連盟の批判に対抗するための外交政策の代表的役割を果たした。事務総長のエリック・ドラモンド (16代パース伯爵)から内密に調停の私案が日本側に提示された際、白鳥は独断でこれを公表し、いかなる国際連盟の調停も拒否する姿勢を表明した。ドラモンドは不快感を示し、国際連盟日本代表部は困惑することになった。1933年には幣原外相が錦州に進撃しないとアメリカ合衆国国務長官ヘンリー・スティムソンに伝え、アメリカ側がこれを「日本が錦州を攻撃しないという誓約を行った」という発表を行って問題になった「幣原外相軍機漏洩事件」が発生したが、白鳥はアメリカ側の発言を非難し、「血迷えり（see red）」という極めて強い言葉でスティムソンを非難した。このため出淵駐米大使がスティムソンに遺憾の意を表明することとなった。白鳥は事変の発生を佐官級の十数名が陸軍首脳を引っ張って発生させたものであると見ており、当初は満州独立を列国の同意が得られないとして否定的に考えていた。しかし事変後には「法華経や四書五経など古いものばかりを見ている」ようになり、今の日本のスローガンは「アジアに帰れ」であると主張するようになった。この白鳥の変化を山本勝之助は、白鳥は職務上軍と接触することが多く、小心な彼は反英米・反国際協調的な思想を持つ彼らと同調することで歓心を得ようとしていたが、いつしかそれを自分の本質と考えるようになったと指摘している。12月には事変後の混乱により第2次若槻内閣が倒れ、犬養内閣が成立した。内閣書記官長には白鳥と親しく、「アジアに帰れ」という言葉を用いる森が就任した。森の主導によって、対満蒙実効策案審議会が設立され、白鳥はその外務省代表メンバーとなった。また白鳥は外務省内部に陸軍の参謀本部のような外交政策を検討する「考査部」の設立を主張し、一部の若手官僚の支持を集めた。また政治家との接触を頻繁に行い、森や鈴木とは連日料亭で会談をおこなった。特に森との関係は濃密であり、「白鳥はどうでも自分のいふ通りになります」と森が語るほどであったという。1932年に成立した満州国承認問題については「別に急ぐこともないさ、運河を掘る訳じゃないからね」と海外記者に伝えるなど、白鳥のアメリカに対する態度は極めて挑発的であった。ウィリアム・キャメロン・フォーブス駐日大使は白鳥を「悪玉（evil genius）」と評し、後任となったジョセフ・グルーも「自分の独断か、外務省外部からの人間の指示に基づいて行動している」「外国の特派員に対してセンセーショナルな（そしてしばしば誤解を招きやすい）談話を公表することを喜びとしている」「極秘裏に行った外交会談の内容を独断で公表し、しかも誤った要約を行う」などと評している。さらに国際連盟脱退など軍部と連携して英米に対する強硬外交を推進し、そのための世論誘導に努めた。そのため、元々は連盟脱退反対派だった松岡洋右が国際連盟脱退の英雄として扱われるようになったことには、「最後まで脱退の決意ができず、なんとか辻褄を合わせて残ろうとした者」と露骨に不快感を表していた。