Gordhan kommer att ersättas av Malusi Gigaba, sade ett uttalande som utfärdades sent på torsdag av ordförandens kontor.
Tidigare i veckan påminde president Zuma Gordhan om de planerade händelserna i Storbritannien och USA.
Sfiso Buthelezi blir biträdande finansminister och ersätter Mcebisi Jonas.
"Jag har instruerat de nya ministrarna och biträdande ministrarna att outtröttligt arbeta tillsammans med sina kolleger för att åstadkomma en radikal socioekonomisk omvandling och se till att löftet om ett bättre liv för de fattiga och arbetarklassen blir verklighet", sade president Zumas uttalande.
I oktober förra året anklagades Gordhan för bedrägeri - men anklagelserna lades ner senare.
Han har beskrivit anklagelserna som politiskt motiverade.
Gordhan har ansetts stå upp mot president Zuma i kabinettet och har varnat för att korruptionen blir allt vanligare.
Det sydafrikanska kommunistpartiet, en allierad till den styrande afrikanska nationalkongressen, hade tidigare lämnat in en formell invändning mot planerna på att avskeda Gordhan, som är allmänt respekterad internationellt.
Många högre ANC siffror motsatte sig också finansministerns avlägsnande.
Sydafrikas president Jacob Zuma har avskedat finansminister Pravin Gordhan efter dagar av spekulationer som skakade landets marknader,