Petit-fils du William Henry Harrison, il passe son enfance dans l'Ohio avant de s'installer à Indianapolis à l'âge de . Durant la guerre de Sécession, il participe aux batailles d'Atlanta et de Nashville en tant que général de brigade dans l'armée du Cumberland. Il entra en politique après la guerre au sein du Parti républicain et brigua sans succès le poste de gouverneur de l'Indiana avant de devenir sénateur fédéral en 1881.