En 1821, cuando el virrey José de la Serna, Conde de los Andes abandonó Lima, José de San Martín se instaló brevemente en el palacio; luego se mudó a la casa de campo de la Magdalena Vieja (hoy distrito de Pueblo Libre), que los naturales de ese lugar conocían con el sobrenombre de «Palacio», edificación no tan suntuosa como el nombre nos haría pensar, que el virrey Joaquín de la Pezuela, Marqués de Viluma hizo construir, de adobe y de corte más bien sencillo, para descanso y solaz de los virreyes y de su corte, pero que fue ocupada por su hija.