Sin embargo, una vez concluido, el Palacio se destinó a residencia privada de la familia Aguirre-Esquível, decidiendo ésta construir a cambio el convento de Santa Cruz para las Dominicas.