Ranskan maajoukkueessa Silvestre pelasi ensimmäisen ottelunsa 27. helmikuuta 2001 Saksaa vastaan. Hän voitti joukkueen kanssa Confederations Cupin vuosina 2001 ja 2003. MM-kilpailuissa 2002 hän kuului Ranskan miehistöön mutta ei päässyt pelaamaan. Vuoden 2004 EM-kilpailuissa Silvestre sai runsaasti kritiikkiä muun muassa aiheutettuaan Kroatia-ottelussa vastustajalle rangaistuspotkun. Hän oli mukana myös vuoden 2006 MM-kilpailuissa, jossa Ranska ylsi loppuotteluun.