Rousseau gewann 1956 den Sprint-"Grand Prix" der Amateure in seiner Heimatstadt, bevor ihm das Double aus Olympiasieg und Weltmeisterschaft gelang: Bei den Olympischen Sommerspielen 1956 in Melbourne schlug er im Finale des Sprint-Turniers den Italiener Guglielmo Pesenti, bei den Bahnrad-Weltmeisterschaften den Argentinier Jorge Bátiz. Rousseau verteidigte seinen Weltmeistertitel 1957 und trat dann zu den Profis über. Bereits 1958 wurde er Profiweltmeister im Bahnsprint, im Finale bezwang er seinen Vorgänger als Olympiasieger, den Italiener Enzo Sacchi. 1959 und 1961 wurde er Vizeweltmeister. Rousseau blieb bis 1967 aktiv, noch in seinem letzten Profijahr errang er seine insgesamt fünfte französische Meisterschaft im Bahnsprint. Bei seinem letzten Start bei einer Weltmeisterschaft in jenem Jahr, wurde er teilweise vom Publikum ausgepfiffen, da er durch seine enorme Körperfülle jegliche Form verloren hatte.