Hasta principios de siglo XX era un pequeño pueblo, cuyo topónimo tuvo su origen en el nombre del conquistador otomano del siglo XIV Kırca Ali. En 1878 se incluyó su territorio en Rumelia Oriental pero, cuando esta región se unió en 1885 al principado autónomo de Bulgaria, Kardzhali fue devuelta a los otomanos. Se incorporó definitivamente a Bulgaria en 1912 durante la Primera Guerra Balcánica.