Taylor ble født i Virginia, men kom til Kentucky som barn. Familiens plantasje gjorde dem velstående. Han ble innrullert i hæren i 1808 og gjorde seg bemerket som kaptein i 1812-krigen. Han ledet oppbyggingen av befestninger langs elven Mississippi, og deltok i Black Hawk-krigen i 1832 som oberst. Innsatsen hans i den andre seminolekrigen vakte nasjonal oppmerksomhet og gav ham tilnavnet «Den gamle røffe og beredte», på engelsk . I 1845 ble Taylor sendt til Rio Grande i påvente av en amerikansk annektering av Texas. Den meksikansk-amerikanske krigen brøt ut i 1846, og Taylor ledet de amerikanske styrkene til seier i en rekke slag som kulminerte med slagene ved Palo Alto og Monterrey. En rekke politiske klubber ble dannet med ønske om å få ham til å stille ved presidentvalget i 1848.