Harrison tjenestegjorde med heder under den amerikanske borgerkrigen, og ble raskt forfremmet til brigadergeneral under Atlanta-felttoget. Da krigen var over dro Harrison tilbake til Indianapolis, men ble raskt rastløs og startet sin politiske karriere. Han ble raskt en av det republikanske partiets fremste frontfigurer, men starten på sin offentlige karriere startet med nederlag. Han tapte nominasjonen som guvernør i Indiana i 1872 og fire år senere tapte han hovedvalget. Likevel opplevde han suksess i 1881 da han ble valgt som delstaten neste senator. Han hadde allerede fått et tilbud om å bli daværende president James Garfield sin rådgiver, men takket nei til det tilbudet.