Yazid stammt aus dem Banu Umayya-Clan des Stammes Quraisch ab. Der Großvater von Yazid, Abu Sufyan, und seine Großmutter, Hind bint Utba, gehörten vor der Eroberung von Mekka zu den Erzfeinden der Propheten des Islam. In der Schlacht von Uhud, als Hamza ibn 'Abd al-Muttalib getötet wurde, wurde seine Leber herausgenommen und Hind biss aus Wut und Hass in Hamzas Leber. Nach der Eroberung Mekkas vergab Muhammad seinen Feinden, darunter Abu Sufyan und Hind, und nannte sie Tulaqa '(die Befreite). Dieser Beiname wurde später abfällig auf sie angewendet. In einigen Hadithen gibt Ali ibn Abi Taleb an, dass Mu'awiya und sein Vater niemals an den Islam geglaubt haben, sondern ihn nur aus Angst akzeptiert haben und es daher nicht verdienen, Nachfolger des Propheten zu sein. Nach den Ereignissen von Aschura hielt Enkelin von Muhammad Zaynab bint Ali eine Rede, wo sie Yazid als "Sohn der leberfressenden Frau" bezeichnete.