Bassisten Ron Blair sluttet i gruppen og ble erstattet på det femte albumet ( fra 1982) av Howie Epstein; denne daværende oppsetningen varte fram til 1994. I 1985 deltok bandet på Live Aid, der de spilte fire sanger på John F. Kennedy Stadium i Philadelphia. Samme året ga de ut platen , som hadde hitsingelen «Don't Come Around Here No More», som var produsert av Dave Stewart. Videoen hadde Petty utkledt som den gale hattemakeren fra filmen , som ertet og jagde Alice, deretter kuttet de henne opp og spiste henne som om hun var en kake. Den følgende turneen ble til et konsertalbum, og en invitasjon til å turnere med Bob Dylan. Tom Petty & the Heartbreakers ble med Dylan på hans -turne og spilte også noe sammen med Grateful Dead i 1986 og 1987. I 1987 ga gruppen ut albumet Den inneholder sangen «Jammin' Me» hvor Petty sang sammen med Dylan.