I midten av oktober 1841 ble Upshur utnevnt til landets neste marineminister av president John Tyler. Som marineminister la han fokus på å innføre ulike reformer og reorganiseringer, samt utvide og modernisere marinen. Han regulerte også offiserskorpset og sørget for å bygge nye seilskip og dampskip samt etablere United States Naval Observatory. Upshur tjenestegjorde som marineminister frem til slutten av juli 1843, da han av president Tyler ble utnevnt til landets neste utenriksminister som følge av at forgjengeren Daniel Webster hadde gått av.