Cuando Fernando Ruiz de Castro, conde de Lemos, llegó a la ciudad como virrey junto a su esposa, Catalina de Zúñiga, decidió construir un nuevo palacio.