日ソ両国間の緊張関係は続き、1938年7月には張鼓峰事件（ハサン湖事件）で両国軍による激しい国境衝突が発生した。続いて、1939年8月、第二次世界大戦の開戦直前に、満州国とソ連の衛星国であるモンゴル人民共和国との間での国境紛争が大規模な日ソ両軍の衝突へと発展した。このノモンハン事件では共に数千人単位の戦死者を出したが、日本軍（関東軍）はソ連・モンゴル側が主張する国境線の外側まで退却した。これは日本の敗北とみなされ、それまで日本政府内で唱えられていた北進論による対ソ開戦の主張は後退した。また、日本の盟邦のナチス・ドイツがイデオロギー的に激しく対立するソ連との間で独ソ不可侵条約を結ぶと、日本の平沼騏一郎首相は「欧州の天地は複雑怪奇」と言い残して辞任した。1941年4月、日本の松岡洋右外相の提唱で日ソ中立条約が締結され、両国はお互いの後背地の安全を確保した。同年6月にドイツのソ連侵攻で独ソ戦（大祖国戦争）が始まると、ソ連は極東に配備していた後方部隊をヨーロッパ戦線に移送した。ドイツの侵攻と電撃戦での勝利を見た日本では再び北進論が台頭し、同年8月には関東軍特種演習を実施して約70万の日本軍を満州に集結させたが、結局日本の近衛文麿内閣はソ連侵攻を諦め、既に占領していたフランス領インドシナの確保や南方での石油資源獲得に国力を注ぐ南進論を採用した。その結果、日本と米英との対立は深刻化し、同年12月に太平洋戦争（大東亜戦争）が開始された。この時期の日本外交に関する機密情報はドイツ人スパイリヒャルト・ゾルゲによってソ連に伝えられたとされ、同年10月にゾルゲは日本人協力者など共に逮捕されて、1944年に処刑された。