Sangen var opprinnelig ment som B-siden av Harrisons "This Is Love". Harrison hadde ennå ikke skrevet noen sang til B-siden, da en tilfeldig samling av musikerne som ble the Wilburys ble til formell låtskriving og jamming. De prøvde å komme på en idé til en sang mens de slappet av i hagen nær Bob Dylans innspillingsstudio, Harrison ble inspirert da han så en boks i Dylans garasje, som var merket med "Handle with Care". Boksen inspirerte også åpningslinjen: "been beat up and battered around." Resten av sangen kom deretter, med det at forskjellige medlemmer av gruppen bidro med diverse linjer. Gruppen beveget seg så til studioet og la ned de grunnleggende sporene, som senere ble "polert" av Jeff Lynne.