Gary werd op 21 mei 1914 (8 mei volgens de juliaanse kalender) geboren in Vilnius, dat destijds deel uitmaakte van het Keizerrijk Rusland. Na de Russische Revolutie en de Pools-Russische Oorlog ging Vilnius deel uitmaken van de Tweede Poolse Republiek. Gary emigreerde naar Warschau en op elfjarige leeftijd trok hij met zijn moeder naar Nice, in Frankrijk. Hij studeerde rechten in Aix-en-Provence. Vanaf 1933 woonde hij in Parijs. In 1938 nam hij dienst bij de Franse luchtmacht. Na de Duitse inval in Frankrijk in 1940 vloog hij naar Engeland en sloot zich aan bij de Vrije Franse strijdkrachten van Charles de Gaulle. Hij vocht met de geallieerden in Noord-Afrika en Normandië, waarbij hij ook nog een poos krijgsgevangen werd. Na de oorlog werd Gary diplomaat bij internationale ambassades en was hij onder meer secretaris van de Franse delegatie bij de Verenigde Naties en consul–generaal in Los Angeles.