Während des Bürgerkrieges stieg Rousseau im Heer der Union bis zum Generalmajor der Freiwilligen auf. Dabei war er unter anderem an der Schlacht von Shiloh, der Schlacht am Stones River und der Schlacht am Chickamauga beteiligt. Bei den Kongresswahlen des Jahres 1864 wurde er als Unionist im fünften Wahlbezirk von Kentucky in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1865 die Nachfolge von Robert Mallory antrat. Seine Amtszeit im Kongress verlief außergewöhnlich. Nachdem es wegen politischer Differenzen mit dem Abgeordneten Josiah Bushnell Grinnell aus Iowa zu einem tätlichen Angriff von Rousseau auf Grinnell gekommen war, wurde Rousseau von der Kongressverwaltung abgemahnt. Daraufhin legte er sein Mandat nieder. Gleichzeitig kandidierte er erneut erfolgreich bei der Nachwahl für den von ihm freigemachten Abgeordnetensitz. Nachdem er wiedergewählt worden war, konnte er die unterbrochene Legislaturperiode bis zum 3. März 1867 fortsetzen.