En 1960 el empresario galletero Eugenio Fontaneda Pérez, natural de Aguilar de Campoo, lo adquirió a su penúltima dueña, la condesa de la Granja, y lo acondicionó como museo para su colección de objetos de arte y antigüedades procedentes de la cuenca del Duero.