Dopo qualche partita nell'Under-21 e dopo qualche pre-convocazione, Frey viene incluso nella rosa della nazionale francese per l'incontro amichevole fra Francia e Polonia il 17 novembre 2004, non venendo poi comunque schierato dal commissario tecnico Raymond Domenech. Disputa una partita con la nazionale "B" il 21 agosto 2007, quando gioca da titolare nell'amichevole persa in casa della corrispettiva nazionale slovacca. L'esordio in nazionale maggiore arriva poi il 21 novembre 2007, nell'incontro valevole per le qualificazioni a Euro 2008 in trasferta contro l'Ucraina, terminato poi con il punteggio di 2-2, con il pareggio ucraino determinato da un suo errore. Nel maggio dell'anno successivo verrà poi impiegato per un'amichevole contro l'Ecuador, che rappresenterà la sua seconda e ultima partita con la nazionale maggiore dei "Bleus". Viene, inoltre, convocato per il Campionato europeo di calcio 2008 come terzo portiere.