Han var den eldste sønnen til Jean d'Albret (kong Johan III, død 1516) ved dennes hustru Catherine de Foix, som var søster til og arving etter kong Francisco I de Foix av Navarra.