A finales del siglo XVII este palacio quedó sin habitar, y fue utilizado en tiempos de guerra para acuartelar tropas, hasta que a finales del siglo XIX lo restauró el VI marqués de Chiloeches (1854), Luis de Porras, Zorrilla de San Martín, hijo de Francisco María de Porras y Ortiz (1815), casado con una posible heredera del palacio, Basilisa Zorrilla San Martín.