En el mismo emplazamiento han existido diferentes edificios que han cumplido con la misma función durante cerca de cinco siglos, desde que fuera ocupado en 1535 por el gobernador Francisco Pizarro.