Scuffles bröt ut mellan Zumas anhängare och motståndare, vilket ledde till att alla anföranden ställdes in.
Den största arbetarfederationen, Cosatu, uppmanade Zuma att avgå förra månaden efter det att han sparkat sin allmänt respekterade finansminister.
Mr Zumas allierade säger att han kommer att sitta kvar tills hans mandatperiod löper ut 2019.
Han sågs i direktsändning hastigt lämna podiet och fördes bort i en bilkortege från rallyt i Bloemfontein stad, Reuters nyhetsbyrå rapporterar.
Zuma deltog i mötet trots att mäktiga medlemsförbund till Cosatu, den sydafrikanska fackföreningskongressen, motsatte sig hans närvaro.
Cosatu ingår i en formell allians med den styrande afrikanska nationalkongressen (ANC).
Tidigare sjöng delar av folkskaran en sång som, löst översatt, betyder: " Har du hört de goda nyheterna? Zuma är på väg", rapporterar Sydafrikas privatägda News24 webbplats.
Cosatu ledare Sdumo Dlamini sade att rallyt hade fördärvats av "chaos", tvingar sin annullering.
Han sade att protesten krävde "torgfull eftertanke" från landets ledares sida.
De högre ANC-tjänstemännen buades också vid ett majmöte i staden Durban, det politiska hjärtat av Zuma.
Trycket på Zuma att avgå har ökat sedan han avskedade Pravin Gordhan som finansminister i mars.
Det ledde till att globala kreditvärderingsinstitut sänkte Sydafrika till skräpstatus.
Omblandningen fördömdes av fackföreningar, storfinanser, oppositionen och högt uppsatta regeringsmedlemmar, däribland vicepresident Cyril Rampahosa.
Oppositionen har upprepade gånger anklagat Zuma för att vara korrupt, och säger att omblandningen syftade till att ge honom och hans allierade större tillgång till regeringspengar.
Zuma sade att omväxlingen syftade till att främja "radikal ekonomisk omvandling" till förmån för den fattiga svarta majoriteten.
Sydafrikas president har i mer än tio år utsatts för anklagelser om korruption.
Förra året beslutade en domstol att han skulle åtalas för korruption över en vapenaffär från 1999.
Zuma vädjar mot domen.
I ett separat fall förra året fastslog Sydafrikas högsta domstol att han hade brutit sin ämbetsed genom att inte återbetala statliga pengar som användes för att uppgradera hans privata bostad.
Han betalade tillbaka pengarna, men avvisade uppmaningar att avgå.
Zuma ska avgå som ledare för ANC i december och som Sydafrikas president 2019.
Hans ex-fru Nkosazana Dlamini-Zuma och Rampahosa kämpar för att efterträda honom i båda positionerna.
Sydafrikas skandalösa president Jacob Zuma har övergett ett majmöte efter att ha buats av arbetare som kräver hans avgång.