Pierwsze sukcesy w karierze Michel Rousseau osiągnął w 1956 roku, kiedy to zdobył dwa międzynarodowe tytuły. Najpierw zwyciężył w sprincie indywidualnym amatorów podczas mistrzostw świata w Kopenhadze, a następnie powtórzył ten wyczyn na igrzyskach olimpijskich w Melbourne. W rywalizacji amatorów najlepszy był także na rozgrywanych w 1957 roku mistrzostwach świata w Liège, a w 1958 roku przeszedł na zawodowstwo. Już w pierwszym roku startów w nowej kategorii Rousseau zwyciężył w swej koronnej konkurencji podczas mistrzostw świata w Paryżu. W sprincie Francuz zdobył jeszcze dwa srebrne medale: na mistrzostwach w Amsterdamie (1959) oraz na mistrzostwach w Zurychu (1961), w obu przypadkach przegrywając jedynie z Włochem Antonio Maspesem. Wielokrotnie zdobywał medale torowych mistrzostw kraju, w tym pięć złotych.