Su hermano, Yahya Khaldun, también fue un historiador que escribió un libro sobre la dinastía Abdalwadid, y que fue asesinado por un rival por ser el historiógrafo oficial de la corte.En su autobiografía, Jaldún remonta sus ancestros a la época de Mahoma a través de una tribu árabe de Yemen, específicamente de Hadhramaut, que llegó a la Península Ibérica en el siglo VIII al comienzo de la conquista islámica.