Tras la muerte del banquero tuvo varios usos, hasta que en el siglo XX pasó a ser sede del Museo de Valladolid, institución destinada a recoger todos los restos arqueológicos y artísticos de la provincia.