Toisessa maailmansodassa natsi-Saksa valloitti kaupungin ensimmäisessä Harkovan taistelussa lokakuussa 1941. Toinen Harkovan taistelu oli Puna-armeijan yritys valloittaa se takaisin helmikuussa 1943, mutta saksalaiset ottivat sen jälleen itselleen keväällä (kolmas Harkovan taistelu), kunnes puna-armeija valloitti kaupungin lopullisesti neljännessä Harkovan taistelussa 23. elokuuta 1943. Yhteenotoissa 70 prosenttia kaupungista tuhoutui ja kymmenet tuhannet kuolivat.