Au cours de la Seconde Guerre mondiale, elle occupe une position incontournable pour les troupes d’Adolf Hitler, qui veut s'emparer du Caucase lors de l’invasion de l’URSS. Rostov est prise par les Allemands à la fin 1941, mais ils l’abandonnent peu après face à la contre-offensive soviétique hivernale. Les Allemands reprennent l’initiative à l’été 1942 et s’en emparent de nouveau, toujours dans l’optique d’envahir le Caucase. C'est à ce moment, en , que se produit à Rostov le massacre de Zmievskaïa Balka, qui fait , surtout juives. Les Allemands quittent définitivement la ville et la région au début 1943 après leur défaite à Stalingrad.