Taylor được sinh ra trong một gia đình chủ đồn điền có tiếng. Khi ông còn nhỏ, gia đình của ông di cư sang vùng phía tây sinh sống, cụ thể là từ tiểu bang Virginia sang Kentucky. Ông được ủy nhiệm làm sĩ quan trong Lục quân Hoa Kỳ năm 1808 và tạo danh tiếng cho bản thân với chức vụ Đại úy trong cuộc Chiến tranh 1812. Ông dần được thăng cấp trong thời gian thành lập các pháo đài dọc sông Mississippi và tham gia Chiến tranh Diều hâu Đen ("Black Hawk War") với vai trò Đại tá vào năm 1832. Thành công của Taylor trong Chiến tranh Seminole lần 2 đã khiến công chúng chú ý đến ông và được đặt cho biệt danh là "Old Rough and Ready". Năm 1845, trong thời kỳ Sáp nhập Texas, Tổng thống James K. Polk đã phái Taylor đến khu vực sông Rio Grande khi tiên đoán được rằng sẽ có một cuộc chiến nổ ra với México do căng thẳng biên giới giữa Texas-Mexico. Khi Chiến tranh Mexico-Hoa Kỳ diễn ra vào tháng 4 năm 1846, Taylor đã đánh bại quân đội Mexico - do tướng Mariano Arista dẫn dắt - tại trận Palo Alto và trận Resaca de la Palma và khiến cho lực lượng này phải rời khỏi Texas. Sau đó, Taylor đã dẫn quân của mình tiến vào lãnh thổ Mexico và đánh bại lực lượng - do Pedro de Ampudia dẫn dắt - tại trận Monterrey. Bất chấp mệnh lệnh, Taylor đã chỉ huy quân của mình tiến sâu hơn về phía nam của lãnh thổ Mexico. Mặc dù bị áp đảo về quân số, Taylor đã giáng một đòn mạnh vào quân Mexico của Antonio López de Santa Anna tại trận Buena Vista. Quân của Taylor sau này được chuyển đến sự chỉ huy của Thiếu tướng Winfield Scott, nhưng Taylor vẫn giữ được danh tiếng của mình.