À l'origine, une première mosquée est construite à l'intérieur de l'enceinte du kremlin de Kazan au . La mosquée porte le nom de Qolsarif, homme d'État et imam ayant exercé au khanat de Kazan. Qolsharif y meurt avec ses nombreux élèves, en défendant Kazan de l'attaque russe en 1552. Il est supposé que le bâtiment avait des minarets, à la fois sous la forme de coupoles et de tentes de conception traditionnelle du khanat bulgare de la Volga, bien que des éléments du début de la Renaissance et de l'architecture ottomane aient pu également être utilisés. En 1552, la mosquée est détruite par Ivan le Terrible, au cours du siège de Kazan.