Som ung mann jobbet Petty på Universitetet i Florida, men var aldri en student. Et tre som han plantet da han jobbet på universitetet er nå kalt «The Tom Petty tree».