Medborgarrådgivningsbyrån i Skottland sade att avgifterna hade "förändrat maktbalansen" mellan arbetstagare och arbetsgivare sedan de infördes 2013.
Människor drabbas av avgifter på upp till 1.200 pund för sina anspråk på att bli hörda av en domstol.
Förenade kungarikets justitieministerium sade att avgiftsbefrielse var tillgänglig för dem som inte hade råd att betala.
Medborgarrådgivningsbyråns rapport Price of Justice, som publicerades tillsammans med Strathclyde University, visade att antalet mål som anhängiggjorts under det första kvartalet förra året minskade med 81 % jämfört med samma period tolv månader tidigare.
Citizen Advice Scotland (CAS) taleskvinna Lauren Wood sade: "För några veckor sedan publicerade vi CAB-bevis som visade att antalet skottar som utnyttjades på arbetet ökade.
"I dag publicerar vi en ny rapport som visar hur sådana arbetstagare hindras från att få den rättvisa och ersättning de har rätt till.
"Det är två år sedan regeringen införde en avgift för arbetsdomstolar.
"Bevisen visar att människor har avskräckts från att ta sina klagomål till domstol eftersom de helt enkelt inte har råd att betala avgiften."
Hon tillade: " En av de mest oroande aspekterna av den nuvarande situationen är att den har förändrat maktbalansen på arbetsplatsen, och oseriösa arbetsgivare känner nu att de kan utnyttja eller misshandla sina anställda utan att riskera att ställas till svars.
"När vi i dag lyfter fram denna fråga uppmanar vi regeringen - och alla politiska partier - att återigen tänka på priset på rättvisa och att avskaffa dessa avgifter.
"Rättvisa bör vara tillgänglig för alla, inte bara för de rika."
En talesman för justitieministeriet sade: " Vi vill att människor ska lösa dessa frågor med hjälp av snabbare och enklare alternativ som skiljeförfarande och medling och bara gå till domstol som en sista utväg.
"Vi har sett till att avgiftsbefrielser finns tillgängliga för dem som inte har råd att betala, samt för att avleda människor från potentiellt hätska utfrågningar, där så är möjligt, genom ett nytt tidigt förlikningssystem som redan har använts av över 60 000 personer under de första nio månaderna.
"Regeringen har åtagit sig att se över anställningstribunalens avgifter men anser att detta bestäms bättre av den nya administrationen efter valet."
Införandet av avgifter för arbetsdomstolar har hindrat tusentals skottar från att utmana oseriösa arbetsgivare, enligt en välgörenhet.