Koncem 18. století se oblast stala součástí Janinského pašaliku. Ještě v polovině 19. století bylo Kardžali nevelkou vsí, jak zaznamenal francouzský cestovatel Auguste Viquesnel. Po rusko-turecké válce a sanstefanském míru se město stalo součástí Bulharska a následně dle Berlínského kongresu součástí autonomní Východní Rumélie. Jenže po faktickém připojení Východní Rumélie k Bulharsku v roce 1885, získalo Turecko podle smlouvy v Tophane oblast okolo města zpět jako kompenzaci.