ロシア帝国は日本（大日本帝国）にとって最大の仮想敵国で、1904年に始まった日露戦争では両国軍が全面衝突し、1905年のポーツマス条約締結で日本の勝利に終わった。その後、1907年から3度にわたり日露協約が結ばれ、中国（清朝、中華民国）領の満州や蒙古における両国の権益保護を確認していたが、革命後のソビエト政権は帝政政府が結んだこの日露協約も無効と宣言した。日本側も英仏米などの列強諸国と歩調を合わせ、君主政体とは相容れない赤化政権を打倒し、日本国内や中国などへの社会主義革命の波及を阻止するため、反革命白軍への支援や自らの軍事介入を決定し、両国は再び戦う事になった。1918年に日本はシベリア出兵として軍隊を派遣し、英米などとウラジオストクを共同占領した。日本軍はその後も単独で攻撃を続けて沿海州を制圧し、さらにシベリア鉄道沿線の内陸都市へと侵攻し、イルクーツクまで占領した。また、日本領の南樺太と北緯50度線で分断された北樺太（サハリン北部）や、北満鉄道（旧東清鉄道）など満州北部に残る旧ロシア権益も占領した。戦力で劣るソビエト側は緩衝国家の極東共和国を一時的に建国しながら、パルティザン等による抵抗を続けた。しかし、戦闘の長期化で損害が拡大し、1920年には日本人将兵・民間人が虐殺された尼港事件も発生した。他国の撤兵後も単独で派遣軍を残す日本の領土拡大野心を疑う国際的批判も拡大し、日本軍は1922年にシベリアからの撤兵を強いられた。同年に極東共和国はソ連に併合され、日本とソ連は直接国境を接した。なお、この時期に多くの反革命派がロシアから亡命し、日本や満州に居住して白系ロシア人と呼ばれた。1925年には日ソ基本条約が締結されて両国間の国交が成立した。ソ連はポーツマス条約の内容を引き継ぎ、オホーツク海や北太平洋、ベーリング海などでの北洋漁業利権を引き続き日本に認めた。また、北樺太での石油利権を日本に与え、交換に日本は北樺太から撤兵する事が加えられた。その後日本が満州事変で満州国を建国すると、ソ連のスターリン政権は1935年に北満鉄道を含む北満州の利権を全て日本に譲渡し、南満州鉄道は満州全域の鉄道や鉱山を支配した。これで日ソ関係は安定期に入ったが、両国にとって相手が仮想敵国である事に変わりはなく、国境地帯は日本軍（関東軍）とソビエト赤軍がにらみ合って常に緊張をはらんでいた。また、国内ではそれぞれの政府により相手を利する勢力への弾圧が行われた。日本ではソ連共産党が指導する国際共産党組織コミンテルンの日本支部として1922年に結成された日本共産党が非合法組織として徹底的に弾圧された。合法活動が認められた他の社会主義政党（無産政党）も活動が制約され、その最大のものであった社会大衆党は国家社会主義を受容して右翼化した。1925年には従来の治安警察法に加えて治安維持法も制定され、1928年には三・一五事件後の改正により最高刑で死刑が追加された。特別高等警察による厳しい取り締まりでは小林多喜二事件のような虐殺も起こり、逮捕者の転向も相次いで日本国内の社会主義運動は壊滅した。一方、ソ連では日本の再侵攻への警戒が強く、スターリンが共産党内の反対派や一般国民の反革命罪をでっち上げて処刑する際に利用した罪名の一つが「日本帝国主義のスパイ」であった。また、日本領の朝鮮半島から移住してきた極東地域の朝鮮人も、日本侵攻時の工作員になる危険性を疑われて1937年に中央アジアのカザフ・ウズベク両共和国への民族集団追放が行われた。1938年には日本のプロレタリア演劇の演出家の杉本良吉が日本政府の圧迫から逃れるために女優で愛人の岡田嘉子と共に樺太で国境を越えてソ連に亡命したが、直ちにソ連の秘密警察であるGPUの取り調べを受け、杉本は翌年にスパイ容疑で銃殺された。岡田は3年後に釈放され、そのままソ連国内に在住した。日ソ両国間の緊張関係は続き、1938年7月には張鼓峰事件（ハサン湖事件）で両国軍による激しい国境衝突が発生した。続いて、1939年8月、第二次世界大戦の開戦直前に、満州国とソ連の衛星国であるモンゴル人民共和国との間での国境紛争が大規模な日ソ両軍の衝突へと発展した。このノモンハン事件では共に数千人単位の戦死者を出したが、日本軍（関東軍）はソ連・モンゴル側が主張する国境線の外側まで退却した。これは日本の敗北とみなされ、それまで日本政府内で唱えられていた北進論による対ソ開戦の主張は後退した。また、日本の盟邦のナチス・ドイツがイデオロギー的に激しく対立するソ連との間で独ソ不可侵条約を結ぶと、日本の平沼騏一郎首相は「欧州の天地は複雑怪奇」と言い残して辞任した。1941年4月、日本の松岡洋右外相の提唱で日ソ中立条約が締結され、両国はお互いの後背地の安全を確保した。同年6月にドイツのソ連侵攻で独ソ戦（大祖国戦争）が始まると、ソ連は極東に配備していた後方部隊をヨーロッパ戦線に移送した。ドイツの侵攻と電撃戦での勝利を見た日本では再び北進論が台頭し、同年8月には関東軍特種演習を実施して約70万の日本軍を満州に集結させたが、結局日本の近衛文麿内閣はソ連侵攻を諦め、既に占領していたフランス領インドシナの確保や南方での石油資源獲得に国力を注ぐ南進論を採用した。その結果、日本と米英との対立は深刻化し、同年12月に太平洋戦争（大東亜戦争）が開始された。この時期の日本外交に関する機密情報はドイツ人スパイリヒャルト・ゾルゲによってソ連に伝えられたとされ、同年10月にゾルゲは日本人協力者など共に逮捕されて、1944年に処刑された。第二次大戦でドイツや日本の敗勢が濃くなると、スターリンはアメリカの要請に応じる形での対日参戦を考え、1945年2月のヤルタ協定でその方針が明記された。ソ連は同年4月に日ソ中立条約の翌年4月における期限切れ失効を日本に通告し、日本が求めた対米講和交渉の仲介を拒否した。そして、ドイツ降伏後の7月のポツダム宣言による対日無条件降伏要求が拒否されたのを見て、8月に対日宣戦布告を行い、日本領の朝鮮半島北部・南樺太・千島列島、そして満州国に侵攻した。この攻撃は8月14日に日本がポツダム宣言受諾を発表した後も続き、ソ連は約1ヶ月で作戦対象地域を占領した。1946年には南樺太（サハリン南部）や千島列島の編入を発表し、1947年にはサハリン北部と合わせてサハリン州を設立した上で、日本国籍を喪失した朝鮮人を除いた従来の日本人居住者を北海道へ強制送還した。この措置は、その後の北方領土問題の原点となった。また、この戦争で捕虜となった日本軍将兵はシベリア抑留に遭い、多くの犠牲者を出した。この結果、日本国内での対ソ感情は悪化し、アメリカによる対日占領方針の変更や日本共産党の武装闘争路線なども影響して、日ソ国交回復は遅れた。1951年のサンフランシスコ講和会議では日本の吉田茂内閣がソ連や中国（中華人民共和国）を含む全面講和論を退け、ソ連代表団も平和条約への調印を拒否した。吉田の後継首相になった鳩山一郎は自らの内閣の課題として日ソ国交回復を掲げ、1956年に日ソ共同宣言を出して国交を回復し、シベリア抑留者の最終的な帰還が実現した。また、ソ連はそれまで拒否権を行使していた日本の国際連合加盟を支持し、同年に日本は国連に加盟した。しかし、1957年に日本で岸信介内閣が成立し、アメリカとの軍事同盟（防衛）関係強化を志向すると、再び日ソ関係は冷却化した。1960年6月、岸内閣が日米安保条約を改定すると、ソ連は日本への米軍駐留を理由に日ソ共同宣言で盛り込まれていた北方領土の色丹島と歯舞群島の日本引き渡しを撤回し、北方領土問題は再び振り出しに戻された。そして、これが最大のネックとなり、平和条約締結による最終的な国境線確定は行われなかった。その後も両国関係は、政治関係は北方領土問題で停滞し、経済・文化関係の交流が緩やかな速度で進むという関係が続いた。ソ連は沿海州の日本海に面した商港都市ナホトカを開放し、シベリア開発などで日ソ両国間の協力は行われたが、日本の総理大臣のソ連訪問は国交回復時の鳩山と1974年の田中角栄の2度、ソ連の最高指導者の訪日は1990年のゴルバチョフ大統領の1度のみに終わった。この田中訪ソとゴルバチョフ訪日のいずれでも、北方領土問題は解決できず、平和条約交渉は進展しなかった。また、日本の権益が消滅した北洋漁業をめぐる交渉は、北方領土海域で日本側が主権主張を棚上げする形で処理しても、オホーツク海やベーリング海での漁獲割当や入漁料などで常に難航し、ソ連国境警備隊による日本漁船の拿捕が多発した。ただし、特にペレストロイカ後は政治的対立・軍事的脅威の緩和もあり、経済協力や軍備縮小など多方面での日ソ協力が進行し、その後のロシアへと引き継がれた。冷戦終結、ソ連崩壊を経た現在でも日本と後継国家ロシア連邦の間には正式な平和条約の締結が成されていないが、ウラジオストク開放やサハリン開発などで極東の経済開放が進み、日本海沿岸都市を中心と両国間の経済関係は徐々にではあるが進展している。