שם המשפחה נובע מטענתם כי הם מצאצאי "פאצו" (Pazzo, "המשוגע"), חייל שהיה בין הראשונים לעלות על חומות ירושלים במסגרת המצור על ירושלים ב-1099 במסגרת מסע הצלב הראשון. על פי המסורת, פאצו הביא עמו לפירנצה אבן מכנסיית הקבר. אנשי פירנצה נהגו להעניק לאיש משפחת פאצי את הכבוד בהדלקת אש מאבן זו ביום שבת הקדוש שלפני חג הפסחא, שתועבר לאש מזבח הקתדרלה של פירנצה ומשם תועבר אש לכל פירנצה. ביום למחרת, חג הפסחא, יודלקו זיקוקים מטיל בצורת יונה שיעבירו את האור לכל העיר.