Clement begynte sin amatørkarriere i 2003 da han ble en del av Van Hemert Groep Cycling-team. I 2004 gikk han over til Rabobank Continental Team og syklet for dem i 2004-2005. Han ble profesjonell da han i 2006 skrev kontrakt med det franske laget Bouygues Télécom. Den største prestasjonen i 2006 var seieren på temporittet under det nederlandske mesterskapet i landeveissykling. Han hadde tidligere samme år tatt en tolvteplass i temporittet på ellevte etappe i Giro d'Italia.