Si hubo rastros del paso del primer marqués por el castillo, don Juan Pacheco, segundo marqués de Villena, se encargó de hacerlos desaparecer.