Mohamed Ben Brahim Boukharouba ble født som sønn av fattige bønder i Aïn Hesseinia som ligger i nærheten av Guelma. Han ble utdannet ved det islamske instituttet i Constantine, og studerte ved de muslimske lærestedene Zitouna i Tunisia og al-Azhar-universitetet i Kairo. I 1955, under frigjøringskrigen, gikk han med i det antifranske FLN, og tok som sitt nom-de-guèrre. Han hentet navnet fra Sidi Boumédienne, skytshelgen for byen Tlemcen i vest-Algerie, der han tjenestegjorde som offiser under krigen. I 1960 ble han forfremmet til oberst, den høyeste graden i FLNs hær, og dermed til sjef over Armée de Libération Nationale (ALN), FLNs militære gren.