La decadencia del monasterio-hospital comenzó en el siglo XIV en que se producen, de un lado, las disputas entre los miembros de la comunidad religiosa que lo regentaba (cuando la comunidad de canónigos regulares de San Agustín, fue sustituida por la de los Dominicos) y, de otro, la dispersión y reducción de las rentas concedidas.