Familien var blant de som utvandret vestover fra Virginia. De slo seg ned ved elven Ohio i Kentucky, i området som skulle utvikle seg til Louisville. Taylor vokste opp i en liten tømmerhytte før familien fikk råd til å bygge et murhus. Den store veksten i Louisvilles økonomi og folketall var en fordel for Taylors far, som eide til sammen 40 km² land i Kentucky tidlig på 1800-tallet. Han eide 26 slaver som dyrket opp deler av eiendommen. Faren ble valgt til begge kamrene i Kentuckys delstatsforsamling, og stemte som valgmann mellom 1812 og 1824 på Thomas Jefferson, James Madison, James Monroe og Henry Clay. Det fantes ikke noe skolevesen i nybyggersamfunnet vestpå, og Zachary Taylor fikk derfor bare sporadisk undervisning. En lærer mintes Taylor som lærenem. De første brevene hans viser et svakt grep om rettskrivning og grammatikk, og håndskriften hans ble senere sammenlignet med «en nært analfabet».