La construcción del palacio se inició en 1559, designándose a los indígenas del repartimiento de Chucuito, Tiahuanaco y Callapa como constructores que realizarían la labor como yanaconas.