La familia provenía del "Pazzo" («el loco»), uno de los primeros soldados que, en 1099, treparon por las murallas en el sitio de Jerusalén durante la Primera cruzada, que se llevó consigo al volver a Florencia una piedra de la Basílica del Santo Sepulcro.