Het traditionele verhaal gaat dat de familie gesticht is door Pazzino dei Pazzi, die in 1099 als eerste een vlag gehesen had op de torens van Jeruzalem tijdens het beleg van Jeruzalem in de Eerste Kruistocht. Bij zijn terugkeer naar Florence nam hij enkele stenen mee van het Heilig Graf, die hij schonk aan de bisschop van Florence. Deze stenen werden bewaard in de Florentijnse Santi Apostolikerk en werden gebruikt op Stille Zaterdag als ontsteker voor het heilige vuur, dat via vuurwerk verspreid werd over de haarden in de stad Florence. Het werd afgestoken door een namaakduif aan een lijn te laten afdalen naar een ossenkar volgeladen met vuurwerk. Een succesvolle voltooiing van dit ritueel zou leiden tot een voorspoedig jaar. De historische basis van deze legende wordt sinds het midden van de 19e eeuw betwijfeld.