Během druhé světové války se Charkov se svým okolím stal jedním z hlavních bojišť. Město bylo nejprve v roce 1941 dobyto německou armádou a jejími spojenci (viz První bitva o Charkov). 15. prosince 1941 bylo německými nacisty zastřeleno v rokli Drobickij Jar u Charkova 15 000 Židů. V květnu 1942 se Rudá armáda pokusila město osvobodit, avšak po Druhé bitvě o Charkov pokračovala německá okupace. V létě 1943 sovětská Rudá armáda po německém ústupu město osvobodila, avšak po Třetí bitvě o Charkov musela sama z města ustoupit a nakrátko se vrátil do města německý Wehrmacht. Dne 23. srpna 1943 byl Charkov definitivně osvobozen Rudou armádou (viz Operace Vojevůdce Rumjancev). Okolo 70 % města bylo při bojích zničeno a během německé okupace v letech 1942 a 1943 zemřelo hlady až 100 000 obyvatel Charkova. V důsledku druhé světové války přišel Charkov o primát největšího města Ukrajiny.