Penverne giocò per la Nazionale francese dal 1952 al 1959. Disputò la Coppa del Mondo del 1954 e del 1958, quest'ultima fu particolarmente importante per la Francia perché ottenne il terzo posto. La sua ultima partita con i "Blues" fu l'incontro valido per le qualificazioni a Euro 1960 contro l'Austria del 13 dicembre 1959, vinta dai transalpini per 5-2.