L'originaria popolazione della città discende dai profughi di al-Andalus, giunti nella regione in seguito alla "Reconquista". In città, i musulmani andalusi e gli ebrei sefarditi hanno costituito per secoli una compatta maggioranza, mantenendo peculiarità culturali, linguistiche ed etniche, condivise con gli altri centri urbani della regione, in particolare con Chefchaouen, che distinguevano la città dalle regioni rurali circostanti, di cultura jbala. Ancora oggi, molti dei cognomi tipici della città sono cognomi di origine spagnola, quali Torres, Luqash, Ramiraz, Gharsia, Morarish, Raghun, Probi e Payis. Nei secoli, numerose famiglie notabili dal resto del Marocco si stabilirono in città per andare a costituire il makhzen cittadino, integrandosi con la borghesia locale. Nel XIX secolo, giunsero in città numerose famiglie notabili originarie dell'Algeria ottomana, in particolare dopo l'invasione francese.