El palacio del virrey quedó derruido por el terremoto de Lima y Callao de 1586, ocurrido en la época del virrey Fernando Torres y Portugal, Conde de Villardompardo.