Ali vivió una vida de delitos menores y cumplía una condena de prisión de dos años cuando estalló la guerra en Argelia en 1954. Reclutado en la famosa prisión de Barberousse por militantes del FLN, se convirtió en uno de los tenientes más confiables y leales del FLN en Argel. El 28 de diciembre de 1956, es sospechoso de matar al alcalde de Boufarik, Amédée Froger.