Zwischen 1855 und 1861 vertrat er Wisconsin im US-Repräsentantenhaus. Gleichzeitig mit ihm waren seine zwei älteren Brüder Israel und Elihu ebenfalls in diesem Gremium, die die Staaten Maine bzw. Illinois vertraten. Ursprünglich war Washburn Mitglied der Whig Party. Nach der Gründung der Republikanischen Partei trat er dieser neuen politischen Bewegung bei. Kurz vor Ausbruch des Bürgerkrieges war Washburn Mitglied einer Kommission, die vergeblich den Krieg zu verhindern versuchte. Während des Bürgerkrieges kämpfte er in den Reihen der Unionsarmee und brachte es bei Kriegsende bis zum Generalmajor. Er war an vielen Schlachten, unter anderem auch an der Belagerung von Vicksburg in Mississippi, beteiligt. Nach dem Krieg war er zwischen 1867 und 1871 nochmals Abgeordneter im Kongress. Im Jahr 1871 wurde er als Kandidat seiner Partei zum neuen Gouverneur von Wisconsin gewählt.