Eugène d’Albert var sønn av ballettkomponisten Charles d'Albert (1809–1886), som var født i Tyskland, men var av fransk herkomst, og en engelsk mor. Han nedstammet fra de italienske komponistene Giuseppe Matteo Alberti (1685–1751) og Domenico Alberti (ca. 1710–1740). Sin første musikkundervisning fikk han av faren, og ti år gammel kom han til New Music School i London, hvor han var elev av Ernst Pauer.