Після облоги Казані Іваном Грозним у 1552 році фортеця лежала в руїнах. Для будівництва нового білокам'яного кремля цар закликав псковських зодчих Постника Яковлєва та Івана Ширяя (будівельників Собору Василія Блаженного), як оповідає літопис "«Стіни градные розбиті і горілі государ назидати признач, для чого псковським старостам „та з ними церковним і городовому майстру Постникові Яковлєву та мулярам псковським Іванка Ширяю з товаришами до весни в Казані нове місто Казань делати, прибрати двісті чоловік псковських мулярів, стенщиков та ломцев, скільки людина буде пригоже“". Фортеця була значно розширена, 6 веж (із 13) побудували з каменю (п'ять були проїзними), але в XVI столітті вдалося лише на третину замінити дерев'яні стіни (загальною довжиною 1800 метрів) кам'яними і більшу частину стін та башт кремля звели з дуба. Тільки на початку XVII століття відбувається остаточна заміна дерев'яних оборонних споруд Казанського кремля на кам'яні.