Politisch wurde Upson Mitglied der im Jahr 1854 gegründeten Republikanischen Partei. Zwischen 1855 und 1856 saß er im Senat von Michigan. Im Jahr 1856 zog er nach Coldwater, wo er wieder als Anwalt arbeitete. Im Jahr 1857 wurde er Mitglied im Eisenbahnausschuss seines Staates. Von 1861 bis 1862 war Upson Attorney General seines Staates. Bei den Kongresswahlen des Jahres 1862 wurde er im zweiten Wahlbezirk von Michigan in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1863 die Nachfolge von Fernando C. Beaman antrat. Nach zwei Wiederwahlen konnte er bis zum 3. März 1869 drei Legislaturperioden im Kongress absolvieren. Diese waren bis 1865 von den Ereignissen des Bürgerkrieges geprägt. In den folgenden vier Jahren entbrannte ein bitterer Konflikt zwischen Upsons Partei und Präsident Andrew Johnson über die Reconstruction in den im Bürgerkrieg besiegten Südstaaten. Der Streit gipfelte in einem im US-Senat knapp gescheiterten Amtsenthebungsverfahren gegen den Präsidenten. Zwischen 1867 und 1869 war Upson Vorsitzender des Ausschusses zur Kontrolle der Ausgaben des Marineministeriums.