संभवत: उस समय मुस्लिम मालिकों की अनुपस्थिति का नतीजा था, जो कि ज्यादातर मामलों में स्थानीय कज़ाज़ और काणुंगो के आश्रित बने हुए थे जिनके कार्यालय मुस्लिम शासन के दौरान वंशानुगत थे और जो शहर में रहते थे। परंपरा के अनुसार, परगना सिकंदरपुर था मुसलमानों द्वारा उपनिवेशित ऐसा माना जाता है कि कुतुब-उद-दीन ऐबक, मुहम्मद ने बिहार के रास्ते में वाराणसी पर कब्जा कर लिया था और उन्होंने उस स्थान पर एक किला बनाया जिसे अब कुतुबगंज के रूप में जाना जाता है।