Opptakten til bandet skjedde en gang Roy Orbison, George Harrison og Jeff Lynne var på besøk i Bob Dylans hjemmestudio i Malibu, California for å spille inn en låt som skulle bli B-siden på George Harrisons sang «This Is Love». Tom Petty ble med da Harrison fant ut at han hadde glemt gitaren sin hjemme hos ham. Bandet fant til slutt ut at sangen som de hadde produsert, «Handle with Care», var for god for å være kun en singelfyller.