કહેવામાં આવે છે કે મુસ્લિમ શાસન કાળમાં હિંદુઓ અને બૌદ્ધોના અન્ય સાંસ્કૃતિક કેન્દ્રોની જેમ એને પણ ઘણી વખત મોટી સમસ્યાઓનો સામનો કરવો પડ્યો.