Gary flyttet til Los Angeles i 1978 og slapp platen "The First One/Tomorrow Belongs to You" på Beat Records. Like etter dannet han gruppen The Know, med Joel Turrisi og Richard d'Andrea. I 1980 kom The Know med singelen "I Like Girls/Dreams" på Planet Records. Men bandet fikk ingen platekontrakt og ble oppløst, før Gary i 1981 ble med i Iggy Pop. I 1996, etter at han hadde flyttet til London, ble han spurt om å være med i Blondie sin gjenforening, og i november samme år spilte han inn en av sine sanger "Amor Fati (song)|Amor Fati" for Blondies 'comeback'-album. I 1997 deltok han med Blondie på forskjellige større festivaler i USA, før problemene med gruppen ble for åpenbare. Tilbake i London spilte Gary sammen med den tidligere X-Ray Spex-saxofonisten Lora Logic, og i 1998 dannet han Fire Escape sammen fiolinisten Ruth Jones, og de opptrådte med sanger han hadde skrevet for Blondies reunion-album (men som ikke hadde vært benyttet – fordi han nok en gang ble ekskludert fra plateinnspillingen og resten av turneen). Fire Escape utgav en EP. Han siste utgivelse var som ble sluppet 2003 i England.