Dib nació en Tremecén en el oeste de Argelia, cerca de la frontera con Marruecos, en una familia de clase media que había caído en la pobreza. Después de la muerte de su padre, Dib empezó a escribir poesía a los 15 años. A los 18 años, empezó a trabajar como profesor cerca de Oujda (Marruecos). Posteriormente, trabajó como sastre, contador, intérprete (para los militares británicos y franceses) y periodista (para los periódicos "Alger Républicain" y "Liberté"). Durante este periodo también estudió Literatura en Universidad de Argel. En 1952, dos años antes de la revolución argelina, Dib se casó con una francesa, se unió al Partido Comunista Argelino y visitó Francia. En ese mismo año, publicó su primera novela "La Grande Maison". Dib fue parte de la Generación del 52, un grupo de escritores argelinos que incluía a Albert Camus y a Mouloud Feraoun.