Su padre era un comunista que había servido en el ejército francés durante la revolución de octubre, y su madre era música . Se crio en un hogar no religioso, recordando más tarde que tenía siete años antes de darse cuenta de que su familia era judía. En 1940, el régimen francés de Vichy revocó el Decreto Crémieux del siglo XIX, privando a los judíos argelinos de la ciudadanía y provocando la expulsión de Ben del liceo al que había estado asistiendo en Argel. Asistió brevemente a una escuela judía, pero completó su educación en casa debido a la oposición de su padre al sionismo.