I både intervjuer og i egne bøker har han presentert ulike versjoner av sine foreldre, bakgrunn og oppvekst. Gary var sønn av pelshandleren Arie Leib Kacew og hans hustru. Faren forlot imidlertid kone og sønn for en annen kvinne. I 1928 flyttet Mina Kacew med sønnen til Frankrike, der hun forsørget dem som pensjonatvertinne i Nice. Gary studerte jus, først i Aix-en-Provence og deretter i Paris. Han lærte å fly i det franske flyvåpen i Salon-de-Provence og ved flybasen i Avord i nærheten av Bourges.