西元前二千年就有人类活动。当地出土的文物可追溯自青铜器时代与后来的斯基泰人、萨尔马提亚人。西元二世纪至六世纪也是切尔尼亚霍夫文化活跃的地区。17世纪中旬，乌克兰哥萨克在此建立城市，1805年成立大学。苏联时代初期，布尔什维克将卡尔可夫作为乌克兰苏维埃社会主义共和国首都（1917-1934），以对抗位于基辅的乌克兰人民共和国。1920年代，卡尔可夫建造一座150公尺高的广播发射塔，但毁于第二次世界大战。1930年代初期，由于饥荒，民众为了寻找食物纷纷前往城市。许多民众死亡并被秘密埋葬在墓地中。