Ante las críticas de la comunidad por su exagerado lujo fue cedido por el obispado a principios del siglo XVIII a los monjes juaninos con el objeto de establecer el "Hospital Real de San José", posteriormente rebautizado como "Real Hospital de San Juan de Dios".