El edificio, junto con la heredad y el palacio que existía en Viloria del Henar, fueron agregados al mayorazgo familiar, pasando de generación en generación, recayendo primeramente en los Condes de Cobatillas, y pasando más tarde a los Marqueses de Vellosillo.