ところが、ハレムの習慣はイスラーム特有の文化というわけではなく、古代の地中海世界において、富裕な階層が倫理的・文化的・経済的な理由において女性の居室を隔離した風習がそもそもの起源であるとも考えられており、必ずしも宗教的な理由にのみ基づく習慣であるとは言い切れない点でも、ヴェールの風習と類似する。
また、ハレムはイスラーム社会における男女隔離の推奨に基づいているとはいえ、下層の人々や農村社会、遊牧民など、男女が屋内外で共働きすることが前提となっている社会階層では経済的合理性を欠くため、このような社会階層に属する家庭やこのような階層が多数を占める地域においては、ハレムの制度は事実上成り立たない。
宮廷のハレム.
ハレムを厳密に運用するには、多くの夫人を抱え女性を労働力とせずに、家庭内に置いておくことが可能な経済力が前提であった。これは、裏返して言えば、イスラム世界で最も富裕な存在である王侯貴族の宮廷においてハレムが厳密かつ大規模に営まれていたということを意味する。確かに、イスラムの教主であるカリフの権威が絶頂に達したアッバース朝においては、『千夜一夜物語』に半ば伝説化して語られたような非常に大規模なハレムが営まれていた。
『クルアーン』は預言者の妻たちが顔を見せてよいのは、同性の女性たちと自分の家族、親族の男性を除くと、彼女らの所有する奴隷のみであると語っているため、ハレムでは奴隷身分の者が労働に召し使われることとなったが、カリフのような富裕な王侯貴族のもとでは、このような奴隷は去勢されて宦官とされていた。宦官が召し使われたという点では古代オリエントや中国の後宮と同じである。また、ハレムに住まう夫人たちの身辺には奴隷身分の侍女たちも置かれたが、イスラム法では女奴隷の生んだ子は父が認知すれば自由人として認められることができると定められていたため、彼女たち女奴隷はハレムの夫人たちの夫の子供を私生児ではなく嫡出子として産む可能性があった。従って、女奴隷とは側室候補でもあり、夫の子を産めば奴隷身分から解放され、一躍王侯貴族の夫人として尊敬される身になることも珍しくなかったことは、江戸城の大奥の侍女とも似ている。
オスマン帝国のハレム.
アッバース朝の衰亡後、アラブ人にかわってイスラム世界屈指の大帝国を築いたオスマン帝国においてもハレムはきわめて大規模なものが存在した。