Albert Clément byl nejstarším synem podnikatele a konstruktéra Adolphe Clémenta, který od roku 1876 vyráběl jízdní kola, později i motocykly a v roce 1903 založil firmu Clément-Bayard. Albert se poprvé účastnil závodů v roce 1899, kdy s vozem Panhard na trati Champigny-St.Germain dojel sedmý. V roce 1904 začal Albert závodit s vozem z dílny svého otce. Rychle se stal úspěšným jezdcem, při závodě v Bastogne dojel třetí a ve Vanderbiltově poháru na Long Islandu dokonce druhý. V sezóně 1905 se mu ale kvůli nespolehlivosti vozu nedařilo, nepostoupil ani do kvalifikace na Pohár Gordona Bennetta. Následující rok však při Grand Prix Francie dojel třetí za špičkovými závodníky jakými byli Ferenc Szisz a Felice Nazzaro. V tomto roce dojel šestý v závodě v Ardenách a také čtvrtý ve Vanderbilt Cupu.