Im Zweiten Weltkrieg wurde Graiworon am 19. Oktober 1941 von der deutschen Wehrmacht besetzt und am 16. Februar 1943 von Truppen der Woronescher Front der Roten Armee im Rahmen der Schlacht um Charkow vorübergehend zurückerobert. Während einer Gegenoffensive gelang es der Wehrmacht am 13. März 1943, die Stadt erneut zu erobern, bis sie am 7. August 1943 endgültig von Truppen der Woronescher Front im Rahmen der Belgorod-Charkower Operation eingenommen wurde.