El duque de Frías, José María Bernardino Fernández de Velasco le vendió el castillo y "cuatro o cinco torreoncitos más" a don Rafael Lázaro Álvarez de Torrijos por 20.000 reales (Madrid, 5 de junio de 1863).