A los dieciséis años se unió a las filas del Ejército de Liberación Nacional (ALN) para combatir a las fuerzas francesas. Participó en la guerra de liberación entre 1957 y 1962. Tras la independencia de Argelia, Zéroual partió a formarse militarmente en El Cairo (Egipto), después en Moscú y fiinalmente en París (Francia). Diplomado en la escuela militar de Moscú y en la Escuela de Guerra de París, ejerció diferentes funciones en el seno del Ejército Nacional Popular de su país.