Ettersom det var forbudt for muslimer å ha andre muslimer som slaver, kom kvinnene til sultanens harem fra slaveraid i Europa ved slavehandelen på Krim og slavehandelen på Barbareskkysten, og fra det ikkemuslimske Afrika ved den arabiske slavehandelen.