Taylors familie utvandret til Kentucky da han var barn, og plantasjen deres gjorde dem velstående. Han ble innrullert i hæren i 1808 og gjorde seg bemerket som kaptein i 1812-krigen. Han ledet oppbyggingen av befestninger langs elven Mississippi, og deltok i Black Hawk-krigen i 1832 som oberst. Innsatsen hans i den andre seminolekrigen vakte nasjonal oppmerksomhet og gav ham tilnavnet «Den gamle røffe og beredte», på engelsk "Old Rough and Ready". I 1845 ble Taylor sendt til Rio Grande i påvente av en amerikansk annektering av Texas. Den meksikansk-amerikanske krigen brøt ut i 1846, og Taylor ledet de amerikanske styrkene til seier i en rekke slag som kulminerte med slagene ved Palo Alto og Monterrey. Dette gjorde ham til folkehelt, og en rekke politiske klubber ble dannet med ønske om å få ham til å stille ved presidentvalget i 1848.