Профессиональная карьера Жильбера началась в 2003 года, когда он начал выступать за команду «Française des Jeux». В дебютный же год он выиграл этап Тура де л’Авенир. В следующем сезоне Жильберу удалось взять победы на этапе и в зачёте молодых гонщиков Тура Даун Андер, в групповой гонке афинской Олимпиады он стал только 49-м. В 2005 году он выиграл ряд французских гонок, что позволило ему взять Французский велошоссейный кубок. Следующий сезон стал для Жильбера очень успешным. В начале года ему удалось выиграть на престижной Omloop Het Volk, где он неоднократно атаковал и сбросил преследователей за 7 километров до финиша. В 2006 году он также первенствовал на гран-при Валлонии и Фурми, взял победы на этапах Критериум ду Дофине и Энеко Тур.