Jabarkan Kehidupan awal dari Yusuf bin Abdurrahman al-Fihri

Yusuf lahir pada tahun 691 di Kairouan pada masa kekhalifahan Abdul Malik bin Marwan. Silsilahnya adalah Yusuf bin Abdurrahman bin Habib bin Abi Ubaidah bin Uqbah bin Nafi' al-Fihri. Kakeknya, Uqbah bin Nafi', adalah penakluk Arab Maghrib, pendiri kota Kairouan, dan gubernur Ifriqiyah pada masa kekhalifahan Muawiyah bin Abu Sufyan. Kakeknya, Habib adalah pembunuh Abdul Aziz bin Musa bin Nushair, gubernur Al-Andalus sebelumnya. Ayahnya, Abdurrahman adalah salah satu dari prajurit yang memasuki Al-Andalus bersama pasukan Balj bin Bisyr al-Qusyairi. Abdurrahman mencoba untuk menjadi gubernur Al-Andalus, dan ketika gagal, dia melarikan diri ke Ifriqiyah. Di sana dia bisa melengserkan gubernurnya dan berhasil menjadi pemimpinnya. Lisanuddin bin al-Khatib meriwayatkan dari Isa bin Ahmad bahwa Yusuf melarikan diri dari Ifriqiyah ke Al-Andalus yang membuat ayahnya marah pada masa kekuasaan Bisyr bin Shafwan al-Kalbi sebagai gubernur Ifriqiyah. Ia kemudian jatuh cinta dengan Al-Andalus dan bersekutu dengan penduduknya. Yusuf sendiri menjadi gubernur Narbonne pada masa pemerintahan gubernur Al-Andalus Abdul Malik bin Qathan, dan bersekutu dengan Maurontus, Adipati Provence. Ia bertempur dengan kaum Frank dan merebut Arles dan Avignon.