さらに、第二次世界大戦（独ソ戦）でロストフ・ナ・ドヌの街全体も廃墟と化した。1941年秋にはドイツ国防軍がロストフを占領し、死守する赤軍との戦闘は7日間続いた。ロストフ・ナ・ドヌは鉄道路線の中枢であり、鉄道と水運の連絡点であり、金属や石油が豊富なカフカースへの玄関でもあるためドイツ軍にとっては非常に重要であった。しかしこの時の攻撃ではドイツ軍は撃退された（ロストフの戦い）。1942年夏にはドイツ軍は再度ロストフ・ナ・ドヌを攻め、赤軍を撤退させた。この時の占領は7カ月続いた。戦後の再建には10年以上の年月が必要であった。