ANCs ledelse innså rundt samme tid at ikkevoldslinjen ikke førte frem, og i 1961 ble Mandela leder av ANCs væpnede fløy (= «nasjonens spyd», kortform MK.). Planen var å organisere sabotasjeaksjoner mot regjeringen og forberede geriljakrig om aksjonene ikke førte frem. Mandela reiste rundt til Afrikas nylig frigjorte stater, for å få militær støtte og forberede ANCs liv i eksil. I et år deretter reiste han rundt inkognito i Sør-Afrika for å organisere ANCs nye undergrunnstilværelse. Han fikk da i avisene navnet «Den svarte pimpernell». I august 1962 ble han avslørt, arrestert og fengslet i fem år for ulovlige utenlandsreiser og oppfordring til streik.