Die Ortschaft wurde 1142 erstmals unter dem Namen "Gorodets" schriftlich erwähnt. Während der Mongolischen Invasion der Rus wurde die Ortschaft zerstört und im 14. Jahrhundert erneut besiedelt. Während des Deutsch-Sowjetischen Krieges war die Stadt vom 3. August 1941 bis zum 7. Januar 1944 von Truppen der Wehrmacht besetzt. 1956 wurde Kaharlyk eine Siedlung städtischen Typs und am 3. August 1971 erhielt die Ortschaft den Status einer Stadt.