Sin embargo, una vez concluido, el palacio se destinó a residencia privada de la familia Aguirre-Esquível, decidiendo ésta construir a cambio el convento de Santa Cruz para las dominicas.