El monarca le concedió una pensión anual y le mantuvo ocupado con diversos encargos, pero se vio obligado a marcharse debido a sus discusiones con la amante del rey, Madame d'Étampes, a las rivalidades con los artistas locales y a sus propias excentricidades, así que en 1545 regresó a Florencia.