En 1533, el templo fue saqueado casi por completo, despojado de los metales preciosos que lo decoraban y en la repartición del Cusco, el templo fue asignado a Francisco Pizarro.