Etter det tyske overfall på Sovjetunionen den 22. juni 1941 kom byen under tysk okkupasjon fra 8. oktober 1941 til 10. september 1943. Byen led stor skade, en stor del av den jødiske befolkning (i 1926 utgjorde de ca. 11 %) ble offer for holocaust. Ved begynnelsen av okkupasjonen hadde byen rundt innbyggere; i slutten av 1943 bare , det vil si en reduksjon på 65 prosent. Mange mariupolere ble i 1942 deportert til tvangsarbeid i Tyskland, og kunne ikke vende hjem før i 1945.