Kurz danach begann der Terror an der Zivilbevölkerung. Die meisten in der Stadt verbliebenen Juden wurden beim Massaker von Drobyzkyj Jar ermordet. Zahlreiche Bewohner von Charkiw wurden nach Deutschland als Zwangsarbeiter verschleppt. Im Mai 1942 scheiterte ein sowjetischer Befreiungsversuch (Zweite Schlacht bei Charkow). Im Februar 1943 zog sich die Wehrmacht zurück, um einer Einkesselung zu entgehen. Im März 1943 fiel die Stadt nach schweren Gefechten (Dritte Schlacht bei Charkow) wieder an die Deutschen. Dabei wurden große Teile der Stadt durch die Kämpfe zerstört. Nach der Schlacht bei Kursk wurde die Stadt am 23. August 1943 endgültig durch die Rote Armee eingenommen. Insgesamt sind in der Oblast Charkiw 270.000 Menschen der deutschen Besatzung zum Opfer gefallen.