Charlotta z Albretu se narodila v roce 1480 jako dcera krále Alana I. z Albretu a Frances hraběnky z Périgold. Jejími prarodiči z otcovy strany byli Jean z Albretu, syn Charlese z Albretu, který byl zabit během velení francouzským oddílům v bitvě u Azincourtu roku 1415, a Charlotte de Rohan, z matčiny vikomt William z Limoges a Isabella de la Tour d'Auvergne, dcera Bertranda V. de la Tour a Jacquette du Peschin. Sama měla šest sourozenců, jejím nejznámějším bratrem byl Jan z Albretu, který se stal navarrským králem díky sňatku s Kateřinou Navarrskou.