Etter å ha bodd sine første leveår i fattige, rurale områder nord for Tugelaelven, flyttet han og moren til Durbans forsteder. Zuma har ingen formell utdannelse utover grunnskolenivå. Han ble medlem av ANC i 1959, og forble medlem også etter at partiet ble forbudt året etter. Han sluttet seg til partiets militære gren Umkhonto we Sizwe («Nasjonens spyd»). I 1963 ble han arrestert da han forsøkte å forlate landet, og fikk en fengselsstraff på ti år, som han sonet på Robben Island sammen med andre sentrale ANC-medlemmer. Under soningen lærte han engelsk og fikk undervisning i politikk av medfanger.