Yazid era miembro de la tribu Shaybán, que dominaba la región de Diyarbakır, en el norte de la Mesopotamia superior. La primera persona de la familia que destacó fue su tío Ma'n ibn Za'ida al-Shaybani, durante el reinado de los omeyas. A pesar de que Ma'n luchó contra los abasíes, se reconcilió luego con los nuevos señores del califato y tanto él como sus hijos Za'ida y Sharahil desempeñaron cargos militares importantes y fueron gobernadores de territorios.