Han var sønn av Alain I av Albret og hans hustru Françoise de Blois-Bretagne, grevinne av Périgord. Hans eldre bror Jean gidtet seg med Katarina av Navarra. His onkel Louis d'Albret var også kardinal (kreert 1461) og hans svoger var kardinal Cesare Borgia (kreert 1493). Han hadde tre uekte barn, én sønn og to døtre.