Gilbert ble profesjonell for Française des Jeux i 2003. Han tok sin første seier da han vant en etappe i Tour de l'Avenir. 2004 startet med etappeseier og seier i ungdomskonkurransen i Tour Down Under. Han deltok i landeveisrittet i OL, og ble nr. 49. Han vant også Paris–Corrèze. I 2005 vant han flere ritt i Frankrike, som Trophée des Grimpeurs, Tour du Haut-Var og Polynormande og dermed også den franske cupen. Han vant også etapper i Firedagers i Dunkerque og Tour Méditerranéen.