Memmi erlebte seine ersten Schuljahre ab 1924 an einer tunesisch-jüdischen Schule und konnte erst im Alter von sieben Jahren zur französisch geführten Grundschule der "Alliance Israélite Universelle" wechseln. Durch ein 1932 erhaltenes Stipendium der jüdischen Gemeinde gelang es ihm, die Schulzeit am "Lycée Carnot" in Tunis fortzusetzen. Im Jahre 1939 beendete er diese Ausbildung mit dem Baccalauréat und einem Abschluss im Fach Philosophie. In seiner Freizeit fand Memmi Anschluss in der zionistischen Jugendorganisation Hashomer Hatzair und in sozialistisch orientierten Gruppierungen. Im Lyzeum hatte man ihm ein schriftliches Bekenntnis zum Vichy-Regime abgefordert, das er jedoch verweigerte. Nach diesem ersten politischen Konflikt schrieb er sich an der Universität Algier im benachbarten Algerien ein. Während seiner Studienzeit begann er zu schreiben und publizierte in tunesischen Zeitungen. Im Jahre 1942 trafen ihn während der deutschen Besetzung Nordafrikas antijüdische Repressionen, in deren Folge er von der Universität verwiesen und in ein Internierungs- und Arbeitslager eingewiesen wurde. Im Bewusstsein des politisch aufmerksamen jungen Mannes entwickelte sich die Erkenntnis, dass sein Lebensweg als Abkömmling einer jüdischen Familie der unteren sozialen Schicht schwierig werden könne, zudem ihm unter den Verhältnissen des Vichy-Regimes kaum Entwicklungschancen offen stehen würden.