Nach dem deutschen Überfall auf die Sowjetunion am 22. Juni 1941 war die Stadt zwischen dem 8. Oktober 1941 und dem 10. September 1943 von Truppen der Wehrmacht besetzt. Die Stadt erlitt schwere Zerstörungen, ein großer Teil der jüdischen Gemeinde der Stadt, 1926 noch etwa 11 % der Bevölkerung, fiel dem Holocaust zum Opfer. Zu Beginn der Besatzung zählte man etwa 241.000 Einwohner, Ende 1943 lebten nur noch 85.000 Menschen in der Stadt. Viele Mariupoler wurden 1942 zur Zwangsarbeit nach Deutschland verschleppt und kehrten erst 1945 zurück. Ab 1942 war Mariupol ein Hauptoperationsgebiet sowjetischer Partisanen.