Jabarkan Keluarga dari Yusuf I dari Granada

Menurut Ibnu al-Khatib, Yusuf mulai "bermain dengan ide memiliki selir" setelah menjadi sultan. Ia memiliki dua selir, bernama Butsayna dan Maryam atau Rim, yang keduanya berasal dari negeri Kristen. Perseliran Butsayna kemungkinan diresmikan pada 737 H ( M), sesuai dengan tanggal puisi yang ditulis Ibnu al-Jayyab untuk memperingati pesta pernikahannya. Disebut bahwa pesta tersebut terjadi pada hari hujan, dan diadakan balapan kuda untuk merayakannya. Butsayna melahirkan putra pertama Yusuf, Muhammad (kelak Sultan Muhammad V), pada tahun 1339 dan seorang putri bernama Aisyah. Maryam/Rim melahirkan tujuh anak: dua laki-laki yaitu Ismail (Ismail II, , lahir sembilan bulan setelah Muhammad), dan Qays, serta lima perempuan yaitu Fathimah, Mu'minah, Khadijah, Syams, dan Zaynab. Putri tertuanya menikahi seorang kerabat, yang kelak menjadi Sultan Muhammad VI (). Catatan sejarah menerangkan bahwa Maryam/Rim memiliki pengaruh lebih besar terhadap Yusuf dibanding Butsayna, dan Yusuf menyayangi Ismail putra Maryam/Rim melebihi anak-anak lainnya. Yusuf juga memiliki seorang putra lain, yaitu Ahmad, tetapi kini tidak diketahui siapa ibunya. Selain itu, Yusuf memiliki seorang istri yang ia nikahi pada 738 H () dan merupakan putri dari seorang kerabatnya dari Banu Nashri juga. Catatan sejarah tidak menyebutkan keterangan lain selain tanggal pernikahannya, sehingga Bárbara Boloix Gallardo berspekulasi bahwa permaisuri ini mungkin meninggal tak lama setelah pernikahan. Awalnya, Yusuf menetapkan Ismail sebagai putra mahkota, tetapi beberapa hari sebelum meninggal, ia memutuskan menggantinya dengan Muhammad yang dianggap lebih bijak. Baik Muhammad maupun Ismail berusia relatif belia (sekitar 15 tahun) saat Yusuf meninggal.

Pendidikan anak-anaknya dipercayakan kepada Abu Nu'aym Ridwan.  ini juga berasal dari negeri Kristen dan sempat mengajari Ismail sedikit bahasa Yunani. Nenek Yusuf, Fathimah, yang telah berpengaruh besar di istana Banu Nashri selama beberapa generasi sultan, meninggal pada tahun 1349 dengan umur 90 (dalam kalender Hijriyah), dan menerima syair penghormatan dari Ibnu al-Khatib. Ibunda Yusuf, Bahar, juga tercatat memiliki peran di istana: saat pengembara Ibnu Batutah tiba di Granada pada 1350 dan hendak bertemu Yusuf, sang sultan sedang sakit dan sebagai gantinya Bahar memberi pengembara tersebut uang untuk keperluannya. Tidak diketahui apakah Bahar sempat bertemu Ibnu Batutah, atau apakah Ibnu Batutah sempat disambut di istana Alhambra. Selir Maryam/Rim memiliki peran politik setelah Yusuf meninggal: pada 1359, ia mendanai sebuah kudeta yang melibatkan 100 orang, melengserkan Muhammad V (anak tirinya) dan mengangkat Ismail (anak kandungnya) sebagai sultan.

Selain Muhammad IV, Yusuf memiliki seorang abang seayah lainnya, yang bernama Faraj dan pindah ke luar negeri saat Yusuf naik takhta. Kelak ia kembali ke Kesultanan Granada, dan kemudian dipenjarakan dan dibunuh atas perintah Yusuf di Almería pada 751 H (1350 atau 1351), kemungkinan dengan alasan politik. Yusuf juga memenjarakan adik seayahnya, Ismail, yang kelak dibebaskan Muhammad V dan pindah ke Afrika Utara. Selain itu, Yusuf memiliki dua saudari seayah, Fathimah dan Maryam, yang ia nikahkan. Salah satunya menikah dengan seorang kerabat dari Banu Nashri yang bernama Abu al-Hasan Ali.