Neskôr koncom 30. rokov Stalin zintenzívnil boj proti svojim vnútorným nepriateľom nielen v strane, ale aj v armáde. Vrcholili stalinské represie, najbrutálnejšie z nich sú označované ako veľký teror. Za obeť týchto čistiek padli mnohé významné osobnosti ako Nikolaj Bucharin. Na krajinu mali veľmi zlý dopad tiež čistky v armáde, ktorým padli za obeť 3 z piatich vtedajších maršalov, ale aj tisíce ďalších generálov a nižších dôstojníkov. Až zimná vojna s Fínskom ukázala, v akom bezútešnom stave sa sovietske ozbrojené sily skutočne nachádzajú. Sovietsky zväz sa v tomto období angažoval vo viacerých ozbrojených konfliktoch s Japonskom, v ktorých však na rozdiel od bojov s Fínskom červená armáda obstála veľmi dobre. Stalin navyše medzitým podpísal zmluvu o priateľstve s nacistickým Nemeckom, ktoré ako dúfal, sa prv než udrie na ZSSR oslabí bojom v západnej Európe. Plánovaná reorganizácia a dozbrojenie armády malo byť ukončené v roku 1942. Od začiatku roka 1941 však bolo evidentné, že ďalším cieľom Hitlerových vojsk bude práve Sovietsky zväz. Stalin však celkom ignoroval všetky varovné informácie, dnes sa všeobecne predpokladá, že tak chcel oddialiť nemecký útok.