Siete años más tarde, el 4 de mayo de 1887, Jerónimo López de Ayala y del Hierro, V marqués de Villanueva del Castillo, descendiente de los Ayala, anima a su suegro, el IV barón de las Cuatro Torres, conde del Asalto, a comprarlo para su restauración y segunda vivienda; aquél como especialista en historia del arte y éste como medievalista.