I 2004 ble han dratt inn i rettssaken mot forretningsmannen Schabir Shaik fra Durban, som var en god venn av ham. Shaik ble dømt til 15 års fengsel for korrupsjon og bedrageri i forbindelse med innkjøp av fregatter til den sørafrikanske marinen. President Thabo Mbeki løste deretter Zuma fra sitt embete som landets visepresident (juni 2005). Zuma ble forsøkt tiltalt i saken på grunn av betydelige indisier og sannsynlige bevis for at han hadde mottatt penger fra flere parter i våpenkjøpet. Hans advokater klarte å hale ut tiltalen og gjøre flere bevis utilgjengelig for statsadvokaten. En formell tiltale ble reist mot slutten av 2007. Likevel ble saken henlagt i april 2009 (en måned før valget som gjorde Zuma til president) i en svært omstridt avgjørelse. Begrunnelser var prosedyrefeil og angivelige avtaler mellom påtalemyndighetene og etterforskningsenheter.