Ya a principios del siglo XX, la duquesa de Villahermosa donó el castillo y la basílica a la Compañía de Jesús con la condición de que lo mantuviera tal y como se le entregó.