Upton fu nominato sottotenente nel IV Corpo d'artiglieria unionista e fu ferito nella Prima Bull Run. Partecipò alla Campagna peninsulare e alle Battaglie dei Sette Giorni. Comandò una brigata d'artiglieria della 1ª Divisione del VI Corpo durante le battaglie di South Mountain e Antietam. Fu nominato Colonnello nell'ottobre del 1862 e si trasferì al comando del 121º Fanteria volontari di New York che guidò alla battaglia di Fredericksburg. Comandò la 2ª Brigata della 1ª Divisione, VI Corpo, nelle battaglie di Gettysburg e del Wilderness.