Austin wuchs als Sohn einer wohlhabenden Bauernfamilie in Connecticut auf und legte seinen Schulabschluss an einer Privatschule ab. Anschließend absolvierte er ein Studium der Rechtswissenschaften. Im Alter von 25 Jahren zog er nach Minnesota und arbeitete dort als Rechtsanwalt in St. Peter. Sechs Jahre später wurde Austin im Sioux-Aufstands eingesetzt und konnte dort vom Dienstgrad des Private zum Offizier aufsteigen. Nach Abschluss seiner militärischen Laufbahn arbeitete er als Richter im sechsten Gerichtsbezirk und erlangte dort Ansehen, sodass ihn die Führung der Republikanischen Partei als Kandidat für das Amt des Gouverneurs von Minnesota vorschlug. Die anschließende Wahl konnte er gewinnen. Am 9. Januar 1870 wurde er der sechste Gouverneur des Bundesstaates. Unter der Führung Austins wurden eine bundesstaatliche Gesundheitsbehörde geschaffen, siebzehn neue Countys gegründet und die Verfassung von Minnesota überarbeitet. Besonders setzte er sich für eine stärkere Regulierung des Eisenbahnverkehrs ein und beabsichtigte die Macht der Eisenbahngesellschaften zu begrenzen. Nachdem er 1871 wiedergewählt worden war und seine zweite Amtszeit absolviert hatte, arbeitete Austin für das US-Finanzministerium und das U.S. Land Office in Fargo, bevor er von 1887 bis 1891 für die "Railroad and Warehouse Commission" von Minnesota tätig war. 1905 starb Austin im Alter von 74 Jahren in Minneapolis.