Foreldrene til Edmond Albius var begge slaver fra det Afrikanske kontinentet, men moren døde da Edmond var liten og faren hadde han aldri møtt. Da moren døde, ble lille Albus solgt videre til Ferreol Bellier-Beaumont. Beaumont var en anerkjent og respektert botaniker, og siden Albus var for liten til hardt slavearbeid, ble det til at han fulgte sin herre rundt omkring og hjalp til med smått og stort.