Perec var enebarn; foreldrene Icek Judko og Cyrla (Schulewicz) Peretz var polske jøder som begge emigrerte til Frankrike på 1920-tallet. Moren var syv år da familien hennes utvandret fra Warszawa; faren var fra Lubartów, som ligger 26 km nord for Lublin. Perec er en fjern slektning av den jiddiske forfatteren Isaac Leib Peretz.