Under Den store terroren i 1937-38 ble flere tusen innbyggere i Kherson henrettet eller sendt i arbeidsleir. Etter Nazi-tysklands invasjon av Sovjetunionen i 1941 ble deler av byens skips- og raffineri-industri evakuert østover. I august 1941 ble byen erobret av tyskerne og innlemmet i Reichskommissariat Ukraina. Byen ble gjenerobret av Sovjetunionen i mars 1944.