Przed dotarciem wojsk niemieckich podczas wielkiej wojny ojczyźnianej w 1941 roku charkowski przemysł zbrojeniowy został ewakuowany za Ural i stał się jednym z głównych baz produkcji czołgów (zwłaszcza T-34 zaprojektowanego wcześniej w Charkowie) dla Armii Czerwonej. Przedsiębiorstwa te powróciły do Charkowa po wojnie i nadal działają. Miasto zostało zdobyte przez Niemców 24 października 1941 roku. Po przeżyciach podczas wielkich czystek Stalina wielu mieszkańców miasta powitało jednostki Wehrmachtu z chlebem i solą. Armia Czerwona przeszła do nieudanej operacji charkowskiej w maju 1942 roku. Miasto zostało wyzwolone przez Sowietów 16 lutego 1943 r., jednak zostało ono odbite przez Niemców 15 marca 1943 roku podczas trzeciej bitwy. Ostatecznie Charków został odzyskany 23 sierpnia 1943 r. przez Związek Radziecki podczas operacji biełgorodzko-charkowskiej. W sumie miały miejsce cztery bitwy o kontrolę nad Charkowem. Trzecie co do wielkości miasto w Związku Radzieckim podczas wojny, było najludniejszym miastem ZSRR zdobytym przez Niemców (Kijów podczas wojny posiadał mniejszą liczbę mieszkańców). Zostało zniszczone w 70 procentach, a dziesiątki tysięcy mieszkańców zabitych.