Más tarde fue sede del colegio de los padres marianistas, por lo que fue conocido popularmente como el Castillo de los Marianistas.