På grunn av uoverensstemmelser med Nkomo grunnla Sithole i august 1963 utbrytergruppen Zimbabwe African National Union (ZANU). I 1964 ble det holdt partikongress i Gwelo. Der ble Sithole valgt til partiets president og han utpekte Robert Mugabe til å være generalsekretær. Sithole var arkitekten bak partiet, men han hadde også med seg Herbert Chitepo, Edgar Tekere og Enos Nkala. Partiet gikk inn for væpnet kamp mot den hvite regjeringen under Ian Smith.