Se desempeñó como Secretario de Guerra durante la presidencia de Rutherford B. Hayes desde el 12 de marzo de 1877 hasta diciembre de 1879, cuando renunció a aceptar su designación como juez federal. Como secretario, retiró las tropas federales de los gobiernos de reconstrucción que aún permanecían en Carolina del Sur y Luisiana, y usó tropas federales en la huelga ferroviaria de 1877 y en los disturbios de la frontera mexicana. También libró batallas con ciertas tribus nativas en Colorado, Nuevo México y otros lugares.