Respecto a este palacio de los virreyes el padre jesuita Bernabé Cobo escribió en el primer tercio del siglo XVII: