A marokkói határ melletti Tlemcenben született, elszegényedett középosztálybeli családba. Fiatalon elvesztette apját. 15 éves korában kezdett a költészettel foglalkozni, 18 évesen tanár lett a közeli marokkói városban, Oujdában. Huszas és harmincas éveiben dolgozott szövőként, tanárként, tolmácsként (a francia és az angol hadsereg számára), valamit újságíróként az "Alger Républicain" és a "Liberté", az Algériai Kommunista Párt lapjában. 1952-ben, két évvel az Algériai háború előtt feleségül vett egy francia nőt, belépett a kommunista pártba s Franciaországba látogatott. Ugyanebben az évben jelent meg első regénye, a "La Grande Maison". Tagja volt a "Generation of '52"-nek, az algériai írók azon csoportjának, amelybe Albert Camus és Mouloud Feraoun is beletartozott. 1959-ben a francia hatóságok kiutasították Algériából a függetlenség támogatása és regényei sikere miatt (amelyek a legtobb algériai számára a gyarmati élet valóságát ábrázolták). Ahelyett, hogy több algéria nacionalista példáját követve Kairóba ment volna, Franciaországba ment, ahol több író (köztük Camus) közbenjárására megengedték neki, hogy letelepedjen. 1967-től elsősorban a Párizs melletti La Celle-Saint-Cloud-ban élt. 1976 és 1977 közt a Kaliforniai Egyetem tanára volt. A Sorbonne Egyetem-en is tanított. Később több utazást is tett Finnországba, amely több regényének színtere volt. Halála után Jean-Jacques Aillagon, az akkori francia kulturális miniszter így nyilatkozott: Dib "spirituális híd volt Algéria és Franciaország, észak és a Földközi-tenger között".