Taylor studerade juridik och inledde sin karriär som advokat i Tennessee. Guvernörsvalet i Tennessee 1886 blev känt bland delstatens befolkning som Rosornas krig ("War of the Roses") efter händelsen i brittisk medeltida historia. Alfred A. Taylor var republikanernas kandidat, medan brodern Robert var demokraternas kandidat. Den röda rosen var symbolen för Roberts anhängare och den vita rosen för Alfreds anhängare. Alfred förlorade valet men blev två år senare invald i representanthuset. Han omvaldes två gånger.