En 1837, Taylor fut déployé en Floride dans le cadre de la Seconde guerre séminole et il battit les forces séminoles le jour de Noël au cours de la ; pour cette victoire, il fut promu brigadier-général. En , le brigadier-général Thomas Jesup quitta son poste et plaça Taylor à la tête de toutes les forces américaines en Floride, une fonction qu'il occupa pendant deux ans. Sa réputation de commandant efficace s'affirma et il reçut le surnom de "Old Rough and Ready" (« Vieux Rustique»). Après avoir obtenu une permission de longue durée, Taylor passa une année à faire le tour du pays avec sa famille et il rencontra de nombreux officiers. Durant cette période, il commença à s'intéresser à la politique et il correspondit avec le président William Henry Harrison. Il fut nommé commandant du second département de la division occidentale de l'armée en qui correspondait à un large territoire à l'ouest du Mississippi et au sud du nord. Stationné dans l'Arkansas, Taylor profita de plusieurs années paisibles et consacra autant de temps aux questions militaires qu'à ses affaires privées.