El 15 de agosto de 1519, a la edad de 57 años, Carlos I lo separó de la Capilla Real por considerarlo mayor, pero mantuvo el sueldo de 45.000 maravedíes anuales.