Foreldrene giftet seg i 1934 og bosatte seg i Belleville, en forstad til Paris der de begge hadde sine respektive familier. Etter utbruddet av andre verdenskrig i september 1939 meldte Perecs far seg frivillig til den franske fremmedlegionen, og i juni 1940 døde han av skuddskader. I 1942 sendte Perecs mor Rivke Perec sin sønn Georges over grensen fra det tysk-okkuperte Paris til Villard-de-Lans, som ikke var okkupert. Der ble han tatt i mot av sin faster og hennes mann, som fikk ham anbragt først på et barnehjem, deretter på en katolsk pensjonatskole der han høsten 1943 ble døpt. Moren hadde blitt arrestert i begynnelsen av 1943, og sendt til konsentrasjonsleiren Auschwitz i februar 1943. Hun ble drept i konsentrasjonsleiren. I 1945 ble Georges Perec formelt adoptert av fasteren og hennes mann.