Sedan april har dömda brottslingar i England och Wales varit tvungna att betala en avgift på mellan 150 och 1200 pund mot kostnaden för sitt fall.
Men Gove sade: "Även om avsikten bakom politiken i själva verket var hedervärd, har denna avsikt misslyckats".
Parlamentsledamöterna hade krävt att det skulle yxas och Magistrates Association sade att beslutet var "välkommen".
Åtalet betalas utöver böter, skadeståndsbeslut och svarandens egna rättsliga avgifter, och är högre för dem som dömts efter att ha förklarat sig icke skyldiga.
Det fastställs efter typ av mål, med lägsta avgift för domare domstolar och högsta nivå för kronrättsfall.
I mars sade den dåvarande justitieministern Chris Grayling att avgiften skulle se till att brottslingarna "betalar sin väg".
Men parlamentsledamöter i utskottet för rättsliga frågor publicerade en rapport i november där de sade att avgiften, som inte är behovsprövad, skapade "allvarliga problem" och ofta var "oproportionerlig".
Den partiöverskridande gruppens ordförande, konservativ MP Bob Neill, sade att de bevis de hade fått höjde "grundliga betänkligheter" om avgiftens fördelar och om den var "förenlig med principerna om rättvisa".
Han sade att det skapade "perversa incitament - inte bara för svarandena att erkänna sig skyldiga, utan för straffarna att minska ersättningarna och åtalskostnaderna".
Gove, Graylings efterträdare som justitieminister, meddelade att den skulle läggas ned under ett möte i associeringsrådet för magistraterna.
Domareförbundets nationella ordförande Malcolm Richardson sade: " Detta är en enorm framgång för MA (Magistrates' Association) men viktigast för rättvisan i vårt straffrättsliga system.
"Under mina 26 år som domare har jag aldrig sett en så kraftfull reaktion från mina kolleger på bänken och Michael Goves tillkännagivande är därför oerhört välkommet."
Justice Select Committee ordförande Bob Neill sade att det var "bra" Mr Gove var "vilja att svara så snabbt för att ta hänsyn till den undersökning vi genomfört och de bevis som lämnats till oss".
"Vi kommer med intresse att titta på den översyn som Michael Gove har meddelat i hela panoply av finansiella pålagor på lagöverträdarna," tillade han.
Howard League for Penal Reform - som har krävt att avgiftspolitiken ska avbrytas - välkomnade också nyheterna och sade att anklagelsen var "enkelt orättvis".
Dess verkställande direktör, Frances Crook, sade: " Detta är en seger för rättvisan. Det är positivt för förändringar i domstolar och straffrättsliga system, som båda behöver en radikal reform."
Under tiden sade Labour att man redan från början hade varnat för att den "obligatoriska karaktären av avgiften skulle kunna leda till justitiemord" och välkomnade att den "till slut har skrotats".
Gove berättade för parlamentet i november att avgiften genererade intäkter och hjälpte till att "se till att skattebetalaren inte är den första anropshamnen för att stödja våra domstolars sätt att fungera, men det är viktigt att vi balanserar alla kriterier för att göra en bedömning av översynen av avgiften".
Straffdomstolarna kommer att skrotas från och med den 24 december, meddelade justitieminister Michael Gove.