Gary døde av et selvpåført skuddsår den 2. desember 1980 i Paris. Han etterlot et skriv hvor han spesifiserte at hans død ikke hadde noen tilknytning til Sebergs selvmord året før. Han spesifiserte samtidig at Émile Ajar var ham selv. Han ble kremert i kirkegården Père Lachaise og hans aske ble spredt over Middelhavet ved Roquebrune-Cap-Martin.