Lustiger var sønn av polske jøder som emigrerte til Frankrike tidlig på 1900-tallet. Under den tyske okkupasjonen under annen verdenskrig ble hans foreldre deportert. Hans mor ble drept i 1943 i konsentrasjonsleiren Auschwitz. Lustiger overlevde idet en familie i Orléans tok ham til seg. I en alder av 14 år konverterte han til katolisismen og ble døpt den 25. august 1940 i kapellet i den biskoppelige residens.