Zachary Taylor ble født den 24. november 1784 på en plantasje i Barboursville i Orange County i Virginia. Familien var plantasjeeiere av engelsk herkomst. Foreldrene var Richard Lee Taylor, som hadde tjenestegjort som oberstløytnant i uavhengighetskrigen, og Sarah Dabney (født Strother). Han hadde seks brødre og tre søstre som vokste opp. Zachary Taylor ble oppdratt som anglikansk kristen. Han var etterkommer av William Brewster og Isaac Allerton, som ankom med «Mayflower» i 1620. Grunnlovsfaderen og presidenten James Madison var tremenningen hans.