A 17. században alapított városnak 1805-től van egyeteme "(Harkovi Állami Egyetem)". Ezután a kevés ipart és a vasutat is fejlesztették; ezek hatására a város virágzásnak indult. A Szovjetunió korai évei alatt Harkov volt az Ukrán Szovjet Szocialista Köztársaság fővárosa (1917–1934 között). Az 1930-as évek elején, az ukrajnai éhínség (holodomor) sok embert hajtott a földekről a városokba (különösen Harkovba) a megélhetésük érdekében, egy részük azonban így is éhen halt, (élelem és pénz hiányában). Halottak hevertek az utcákon, mert nem volt aki eltemesse őket, akit mégis elhantoltak, azt pénz hiányában a város temetőiben titokban tették. 1940 áprilisában és májusában a Sztarobelszk tábor körülbelül 3800 lengyel rabját kivégezték a harkovi NKVD épületében. A kivégzetteket később a Pjatihatki (ma Harkov egyik városrésze) erdeiben ásták el (a katyńi vérengzés részeként).