A finales del XVIII el palacio se encontraba completamente arruinado y fue reedificado por el cuarto marqués de Lozoya.