Han ble født i Nord-Irak og var ifølge forskjellige hypoteser en etterkommer av afrikanske slaver eller kanskje av kurdisk eller persisk opprinnelse. Han flyktet fra Hārūn al-Rashīds Bagdad og dro til Syria, og videre til Ifrikiyak til et opphold i Tunis i aghlabidehoffet under Ziyadat Allah (hersket 816–837). Ziryab kom ikke ut av det med Ziyadat Allahbmen ble invitert til hovedstaden Cordoba i Al-Andalus av umajjadeprinsen Al-Hakam I (hersket 796–822).