Han var med på å etablere Zimbabwe African National Union (ZANU) i 1963, som en utbrytergruppe fra Zimbabwe African People's Union (ZAPU). I 1964 ble Mugabe dømt for «statsfiendtlig tale» og satt ti år i fengsel. Han var mislikt i Storbritannia. I 1974 ble han leder av ZANU, og med hovedbase i Mosambik førte han geriljakrig mot apartheidstyret til Ian Smith i daværende Rhodesia. Frigjøringskrigen pågikk i perioden 1964–1979. Mugabe – som hørte til majoritetsgruppen shona – ble feiret som en stor frigjøringshelt på grunn av sin innsats under frigjøringskrigen mot Smith-regimet, på samme måte som Joshua Nkomo, som hørte til minoritetsfolkegruppen ndebele og ledet ZAPU, med hovedbase i Zambia.