I 1877 ble han nominert av demokratene som guvernør i New Jersey, en nominasjon som overrasket ham fordi han ikke hadde uttrykt interesse for en slik stilling. Han ble valgt og tjenestegjorde i en termin fra 1878 til 1881. Hans tid som guvernør ble preget av forsiktig konservativ styring og minimalt politisk fiendskap. Slutten på hans politiske karriere var hans sterke støtte i valget av Grover Cleveland i 1884. Han håpet å bli utnevnt til krigsminister i Clevelands regjering, en stilling han kunne ha passet godt til, men politiske rivaler fra New Jersey klarte å blokkere hans nominasjon.