In der französischen Nationalmannschaft überzeugte er nicht so wie bei Manchester United. Silvestre debütierte am 27. Februar 2001 gegen Deutschland in der französischen A-Nationalmannschaft, konnte sich jedoch bei der Weltmeisterschaft 2002 nicht in die Mannschaft spielen, auch wenn er im Kader stand. In der Qualifikation zur EURO 2004, als „Les Bleus“ die Gruppe 1 dominierten, wurde Silvestre immer stärker und war am Schluss einer der konstantesten Franzosen. Nach längerer Pause wurde er am 1. März 2006 wieder in der französischen Auswahl eingesetzt und nahm auch an der Weltmeisterschaft 2006 teil. Sein einziger dortiger Einsatz in der Vorrundenpartie gegen Togo war zugleich sein bis heute letztes Länderspiel für die "Bleus". Er wurde für das Freundschaftsspiel gegen Uruguay am 19. November 2008 nachnominiert, wurde aber nicht eingewechselt. Dies war seine letzte Nominierung für die Équipe Tricolore.