Según Giorgio Vasari, un día, saliendo del jardín de los Médicis —o, según Benvenuto Cellini, de la capilla Brancacci, donde él y otros alumnos aprendían a dibujar delante de los frescos de Masaccio—, fue cuando Pietro Torrigiano le dio un puñetazo y le rompió la nariz; como consecuencia, le quedó la nariz chata toda la vida, tal como se aprecia claramente en todos sus retratos.