Organisasjonen ble grunnlagt som reaksjon på Sharpeville-massakren i mars 1960. Grunnleggeren og den første lederen av geriljabevegelsen var Nelson Mandela. Den startet sin kamp med geriljaaksjoner 16. desember 1961 da høyspenningsledninger ble sprengt i luften. Først forsøkte man å lede organisasjonen fra en gård i Riviona, Johannesburg, men man ble etterhvert tvunget ut av landet. Umkhonto we Sizwe hadde treningsleirer i nærmest alle stater i det sørlige Afrika som ikke var styrt av hvite, bl.a. i Angola, Mosambik og Zambia. Den hadde tette forbindelser og til dels samarbeid med frigjøringsgrupper i nabolandene som ZAPU i Rhodesia (dagens Zimbabwe), FRELIMO i Mosambik og SWAPO i Namibia. På 1960-tallet var kampen imot det hvite styre i Rhodesia faktisk sentralt. 1970-tallet var preget av mange problemer, men også viktige aksjoner i Sør-Afrika som et bombeattentat på raffineriet i Sasolburg. På 1980-tallet ble Umkhonto we Sizwe mer aktiv, og bombeattentater tiltok i hyppighet.