Après avoir constitué un ensemble territorial autour du comté de Toulouse, son père Raymond de Saint-Gilles laisse sa baronnie à son fils aîné Bertrand et part en croisade avec son épouse Elvire. Après la prise de Jérusalem, Raymond se taille un fief en Orient, le comté de Tripoli, tandis que sa femme accouche en 1103 d’un fils, nommé Alphonse en l’honneur de son aïeul maternel, le roi Alphonse VI de Castille. Selon le chroniqueur espagnol Rodrigo Jiménez de Rada, archevêque de Tolède, écrivant plus de deux cents ans après les faits, Alphonse devait son second prénom, Jourdain, au fait qu'il avait été baptisé dans le fleuve de ce nom.