1928年（昭和3年）3月に帰国後、8月から軽巡洋艦「五十鈴」艦長を務め、水雷学校での講義で将来の海軍は航空主兵となること、対米作戦では積極作戦をとりハワイを攻めるべきと発言している。4ヵ月後に多段式空母「赤城」艦長に就任。着艦に失敗しそうになった飛行機に自ら飛びつき、山口多聞中佐らと共に飛行甲板から落ちるのを防ぐなど航空に全力を注いだ。佐官時代は愛煙家だったが、空母「赤城」艦長時代、航空機搭乗員が禁煙を宣告されたが無視していると、山本は「私も煙草は好きだが、日本の為だ。君ばかりに止めてはおかぬ」として禁煙を宣言した。それ以来、山本は煙草を吸わなかった。1929年（昭和4年）11月、海軍少将に進級すると共にロンドン軍縮会議に次席随員として参加した。海軍随員であった山本と山口多聞は軍縮案に強硬に反対、日本側代表は混乱した。最も強硬に対米7割を主張し、首席全権の若槻禮次郎を困らせ、大蔵省から派遣された賀屋興宣が、財政面から軍備の大きい負担には堪えられないという旨の意見を言おうとした際には「賀屋黙れ、なお言うと鉄拳が飛ぶぞ！」等と怒鳴りつけて賀屋を黙らせたとも言われる。賀屋は、山本について「聞き上手で話やすい人。真に度胸のある、正しい素直な人。いつ論じ合っても後味の悪い事がない」と語っている。この軍縮条約を巡って海軍内に艦隊派と条約派という派閥争いが生じ、山本を含めた海軍の人事に大きな影響を与え、この一件が、山本が艦隊派から同志であると受け止められた一因となり、山本出世のきっかけにもなった。結局、外交団代表は山本の意に反して軍縮条約に調印。海軍士官学校同期生（第32期）クラス会で、山本は「適任ではなかった」と予備交渉における苦悩を語っている。失意の山本が海軍を辞めるという噂さえ流れた。だが山本は立ち直り、軍令部次長・末次信正に対し「劣勢比率を押しつけられた帝国海軍としては、優秀なる米国海軍と戦う時、先ず空襲を以て敵に痛烈なる一撃を加え、然る後全軍を挙げて一挙決戦に出ずべきである」と進言した。1930年（昭和5年）12月、海軍航空本部技術部長に就くと航空主兵を強力に推し進めると同時に、未熟だった日本海軍航空機の発展に尽力した。外国機の輸入と研究に積極的であったが「外国機の輸入は我航空科学技術の恥辱と思わねばならぬぞ。それは日本科学の試験台なのだ。若し国産機が外国機の単なる模倣に終わったら、欧米科学に降伏したものと思え、その替わり、それを凌駕する優秀機が作られたら、勝利は日本科学の上に輝いたと思え」と技術者達を激励している。1932年（昭和7年）、山本は海軍航空機の条件として、国産、全金属、単葉機の3つを掲げた。複葉機から単葉機への移行中に単葉機の速度が増え着艦距離が延びることが問題になったが、山本は母艦発着甲板の方を長くせよと指導した。1933年（昭和8年）夏、柴田武雄によれば、横須賀海軍航空隊（横空）研究会において、日高実保（大尉、海兵50期）が雷撃訓練に対空砲火や敵戦闘機の妨害の概念を取り入れるよう主張し、遠距離での発射を見越した高々度高速発射砲や魚雷の改善を求め、続いて柴田大尉が戦闘機の機銃の射程延長と照準器や兵器弾薬の発明の必要性を訴えると、山本が立ち上がり2人の意見を言語道断と否定し、「そもそも帝国海軍のこんにちあるは、肉迫必中の伝統的精神にある。今後、1メートルたりとも射距離を延ばそうとすることは絶対に許さん」と叱責したという。柴田は「上に山本のようなわけのわからないのがいると必ず負ける、歴史を無視した精神偏重で、戦闘機や技術開発に努めるべきだったのに山本には能力も英知も欠けていた」と批判している。同年10月に第一航空戦隊司令官となり、空母「赤城」に座乗した。故郷長岡の希望者22名を「赤城」に招き、自ら艦内を案内したこともある。1934年（昭和9年）「赤城」の第一航空戦隊研究会で横空分隊長・源田実大尉は、敵の航空母艦を先制制圧するために急降下爆撃機を善用すること、航続距離の延伸、操縦性の軽快さ、戦闘機としての流用等を考慮した「単座急降下爆撃機」を考案して、戦闘機と攻撃機の半数ずつをこれと入れ替える意見を出した際、山本は源田の言うように飛行機は攻撃に使用すべきであるとしつつ、航法上の安全性からやはり二座になると却下した。同年9月「俺も軍人だからね。どうしてもアメリカとやれといわれれば、アメリカともやってごらんにいれたいね。……俺の夢なんだからね。空母10隻、航空機800機を準備する。それだけで真珠湾とマニラを空襲し、太平洋艦隊とアジア艦隊を潰すことは確実にできるんだよ」「少なくとも一年間は、太平洋にアメリカの船と飛行機が存在しないってわけさ。それだけの戦争はやって見せる」と駐米大使・斉藤博に語ったとする主張がある。実際には、当時は真珠湾という日本語は存在せず真珠港と呼んでいたし、アメリカ海軍は真珠湾ではなくサンディエゴを拠点としていた。詳細は真珠湾の項参照。9月20日、山本は第二次ロンドン海軍軍縮会議予備交渉の海軍側首席代表として日本を離れた。対米強硬派の軍事参議官・加藤寛治は「…見送盛也、但シ山本少シク上ボセ気味、大ニ托スルニ不足…」と日記に書いている。山本は政府の意を受けて「戦艦・空母の全廃、兵力量の各国共通制限設定」を主張し、列強交渉団と互角に渡り合う。ただし、「戦艦・空母の全廃」は会議の決裂を日本政府が意図したものであり、山本が出発する直前の9月7日にワシントン海軍軍縮条約の破棄が決定している。このような状況の元で欧米と交渉中、同期の親友・堀悌吉が予備役に編入される大角人事があって山本は気力を失い、またアメリカも条約締結について冷淡であり、結局予備交渉は中断した。堀への手紙で山本は日本の対外強硬論への不満と苛立ちを語り、また愛人への手紙にも「自分がただ道具に使はれたに過ぎぬやうな気がして」と述べ、「誠に不愉快である」と心境を明かしている。ロンドンからかつての部下へ宛てた手紙には「英米を叩頭せしむるの日必しも遠からざるか如く被感候　海軍としては何はともあれ航空の躍進こそ急務中に急務なり」と書いた。ロンドンから帰国直前の1935年1月、日独間の親善のため山本をベルリンでヒトラーに面会させること、ソ連を対象にした日独提携に日本が同意するかどうかを探ることを任務としたリッベントロップの命によって、ドイツ技術の日本への移転に大きな役割を果たしていたシンツィンガー・ハック商会の設立者でハインケル社の代理人、日独協会理事のフリードリヒ・ハックの訪問を受けた。山本はヒトラーとの面会を了承したが、松平恒雄駐英大使や武者小路公共駐独大使が、日本海軍高官がヨーロッパで孤立するドイツのトップといきなり会うことを危惧したため実現しなかった。山本はベルリンでリッベントロップやエーリヒ・レーダー海軍統帥部長官や日独協会会長のパウル・ベンケ提督らと会談した。1934年末にはハインケル社と日本海軍の間に急降下爆撃機の技術売却交渉が始まっており、交換条件として航空母艦赤城の技術提供をドイツ海軍が要望していた。急降下爆撃機の技術導入は空母艦載機の攻撃能力一新がかかった重要課題であり、九九式艦上爆撃機の完成に結実した。また、赤城の技術情報を得たドイツ海軍は空母グラーフ・ツェッペリンの建造に着手、1938年12月進水式を行った。日独間の対ソ提携の件はその夏以降、駐独陸軍武官の大島浩とリッベントロップの間で進められることになった。1935年（昭和10年）2月、シベリア経由で日本に帰国、東京駅に降りた山本を海軍大臣・大角岑生、外務大臣・広田弘毅等が出迎えた。山本は海軍を辞める意思を持ったが、堀に慰留された。山本はしばし故郷長岡で休養し、母校の学生達と交流する。第二次ロンドン海軍軍縮会議に赴く軍事参議官・永野修身から随行するよう要請されたが、先の予備交渉で懲りた山本は固辞した。4月に故郷長岡の阪之上小学校で演説を行い、日本人として重要な恩として「天皇の恩、親の恩、師の恩」を挙げ、「世の中に立って、国の為に尽くすことが、先生に対する生徒の、第一の恩返しになる」と語っている。12月、海軍航空本部長に任命される。横山大観から絵の呈上の申し出があった際には、全力で勤務にあたるため芸術にひたる余裕なしと述べて断っている。空軍独立論について、山本は陸軍が主導権を握ることを懸念して強硬に反対した。のちに太平洋戦争の島嶼戦において、陸海軍航空隊との指揮権を統一する提案が出た際も、一貫して反対している。海軍航空本部総務部長を務めていた時、直接の部下だった草鹿龍之介が山本のための機密費・接待費の捻出に苦労していることを知ると、山本は自ら海軍省と交渉に乗り出して金500円（当時価格）を獲得し、草鹿に渡している。航空本部長時代、手相骨相鑑定家の水野義人を海軍航空本部嘱託に採用し、山本は航空搭乗員採用試験の際に応募者の手相・骨相を鑑定させ、採用・不採用の参考としている。この頃、欧米列強は新世代戦艦（ポスト条約型戦艦）の開発・建艦を一斉に開始し、日本も大和型戦艦の建造計画をたてる。山本は航空本部教育部長・大西瀧治郎大佐と共に反対論を唱え、艦政本部と対立した。山本の航空主兵論と艦政本部長・中村良三大将の大艦巨砲主義論の対立は結論が出ず、軍令部総長・伏見宮博恭王の仲裁で、翌年7月に高等技術会議で大和型2隻の建造が決まり、マル3計画における3万トン級正規空母（翔鶴型航空母艦）2隻の建造も決まった。山本は「砲戦が行われる前に飛行機の攻撃により撃破せられるから、今後の戦闘には戦艦は無用の長物になる」と反対し、大和型戦艦建造に携わった福田啓二によれば、山本は福田の肩に手を置き「どうも水を差すようですまんがね、君たちは一生建命やっているが、いずれ近いうちに失職するぜ。これからは海軍も空軍が大事で大艦巨砲はいらなくなると思う」と語った。福田は不沈艦は無理でも沈みにくい船を作ると反論した。また、山本は九六式陸上攻撃機など攻撃機の量産で航空戦力の攻撃力を強化したが、大西瀧治郎と共に攻撃力にならない戦闘機を軽視したことで、戦闘機無用論者と見なされている。1936年（昭和11年）2月の二・二六事件では、反乱に賛同する海軍青年士官を一喝して追い返し、重傷を負った侍従長・鈴木貫太郎のために医者を手配している。総理大臣・岡田啓介の救出にも米内光政と共に関わった。二・二六事件における米内の対応を山本は高く評価し、後日、永野修身が海軍大臣を辞任する際、山本は米内を後任として推薦している。同年11月の長岡での講演会では、海軍を辞めたのち長岡で青年の教育を行う夢を語っている。