Tijdens de Ottomaanse tijd vóór 1912 was het grootste deel van de bevolking van de stad moslims (voornamelijk Turken, maar ook islamitische Bulgaren en islamitische Roma). Na de Tweede Balkanoorlog en de Eerste Wereldoorlog vestigden Bulgaarse christelijke vluchtelingen uit Oost- en West-Thracië zich in Kardzhali. Sommige Turken vertrokken onmiddellijk naar de laatste gebieden onder Ottomaanse Rijk in 1913 als reactie op de Bulgaarse terugkeer naar hun land. Tussen 1913 en 1989 vonden er grote emigraties van Turken plaats als gevolg van de verdragen tussen Bulgarije en Turkije. Met name in 1989 vond de grootste emigratie naar Turkije plaats, vanwege de door de staat gesteunde "Revival Proces" waarbij etnische Turken werden gebulgariseerd. De Turken werden verplicht om te assimileren en moesten onder andere hun naam veranderen, zo werden de Slavische uitgangen -ev, -ov achter de achternamen geplakt. Hierdoor kregen de etnische Turken in Bulgarije namen als Hasanov, Ahmetov, Aliyev.