Habár a várost a bizánci időkben alapították, a területe már a vaskorban is lakott hely volt. A II. Philipposz macedón uralkodó idején a területet Eliméia néven emlegették, amely Felső-Macedónia részét képezte. A várost 1392-ben alapították az ottomán hódítások idején Epiruszból kiűzött keresztények. Később a város is az Ottomán Birodalom uralma alá került. 1664-ben elrendelték, hogy törököknek tilos letelepedni a városban. Kozáni ekkor indult fejlődésnek. Megépült a mai város egyik nevezetessége az Agiosz Nikólaosz templom, 1668-ban pedig sok híres iskola és könyvtár nyitotta meg kapuit. Ebben az időben sok külföldi, főleg közép-európai telepedett le a városban. 1770-ben török csapatok fosztogatták a várost, majd később a városba betörő Aszlan bég teljesen megsemmisítette a várost. A görög függetlenségi és polgárháború után a görögök megszerezték a várost, melyet újjáépítettek. Az 1912-es Balkán-háború idején a görög csapatok meg tudták védeni a várost a török támadás elől, így Kozáni mindvégig görög kézen maradt.