André-Gustave ble født i Paris i 1878. Han var det femte og siste barn av sine jødiske foreldre: diamanthandler Levie Citroen fra Nederland, og Masza Amelia Kleinman fra Warszawa, Polen. Han var fetter av den britiske filosofen Sir A. J. Ayer (den eneste sønn til hans tante Reine).