Tom Petty ble født og vokste opp i Gainesville, Florida. Han gikk på Gainesville High School. Hans interesse for rock & roll begynte i en alder av 10 da han møtte Elvis Presley. Det var sommeren 1961, onkelen hans jobbet på settet på Presleys film i nærheten av Ocala, Florida og inviterte Petty til å komme ned på settet. Han ble en Elvis Presley-fan og byttet sin Wham-O sprettert mot en boks med Elvis plater. I et intervju fra 2006 på National Public Radio-programmet , fortalte Petty at han visste han ville være i et band da han så The Beatles på . En av hans første gitarlærere var Don Felder, som senere skulle bli med i The Eagles.