A.- Par mémoire du 19 mai 1998, les époux D._ ont déposé, devant le Président du Tribunal des baux de l'arrondissement de la Sarine, une demande en paiement dirigée contre leur bailleresse, X._ AG, concluant à ce que cette dernière soit condamnée à leur payer la somme de 71 fr.85 avec intérêts à 5% l'an dès le dépôt de la demande.
Par jugement du 22 mai 2000, le Président du Tribunal des baux de l'arrondissement de la Sarine a fait droit à la demande, avec suite de dépens.
Par arrêt du 4 avril 2001, la IIe Cour d'appel du Tribunal cantonal fribourgeois a rejeté le recours formé par X._ AG contre ce jugement qu'elle a confirmé, avec suite de dépens.
Par arrêt du 15 mai 2001, la IIe Cour d'appel du Tribunal cantonal fribourgeois a fixé les dépens dus aux époux D._, au total, à 4304 fr. pour la première instance et à 1129 fr.80 pour l'instance de recours.
B.- Les époux D._ ont formé un recours de droit public au Tribunal fédéral. Invoquant le droit à l'égalité de traitement et l'interdiction de l'arbitraire, ils concluent, avec suite de frais et dépens, à l'annulation de l'arrêt du 15 mai 2001.
L'intimée propose le rejet du recours et la confirmation de l'arrêt attaqué, avec suite de dépens.

Considérant en droit :
1.- a) Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation des droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ).
Le recours porte exclusivement sur la fixation du montant des dépens selon le droit cantonal. La décision rendue sur ce point, qui revêt un caractère final, n'est susceptible d'aucun autre moyen de droit sur le plan fédéral ou cantonal, de sorte que la règle de la subsidiarité du recours de droit public est respectée (art. 84 al. 2 et 86 al. 1 OJ; cf. également: art. 43 al. 1 OJ).
Les locataires recourants sont personnellement touchés par la décision attaquée, qui fixe le montant des dépens que leur doit la bailleresse; ils ont donc un intérêt personnel, actuel et juridiquement protégé à ce que cette décision n'ait pas été prise en violation de leurs droits constitutionnels; en conséquence, ils ont qualité pour recourir (art. 88 OJ).
Interjeté en temps utile (art. 89 al. 1 OJ), dans la forme prévue par la loi (art. 90 al. 1 OJ), le recours est en principe recevable.
Hormis certaines exceptions qui ne sont pas réalisées en l'espèce, il n'a qu'un caractère cassatoire (<ref-ruling> consid. 2c; <ref-ruling> consid. 1c; <ref-ruling> consid. 4). L'intimée ne peut donc pas demander la confirmation de l'arrêt attaqué.
b) Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (<ref-ruling> consid. 3c; <ref-ruling> consid. 1c, 534 consid. 1b; <ref-ruling> consid. 1b p. 495).
2.- a) L'art. 32 al. 2 de la loi fribourgeoise du 18 mai 1989 instituant le Tribunal des baux (RSF 132. 2) prévoit que des dépens peuvent être alloués conformément à la procédure ordinaire et que les honoraires et débours des avocats sont fixés selon le tarif arrêté par le Conseil d'Etat.
La cour cantonale a donc appliqué le Tarif du 28 juin 1988 des honoraires et débours d'avocat dus à titre de dépens en matière civile (RSF 137. 21). Aucun grief d'ordre constitutionnel n'est soulevé à ce propos (art. 90 al. 1 let. b OJ), de sorte qu'il n'y a pas lieu d'y revenir.
Le tarif cité prévoit deux modes de fixation des honoraires de l'avocat dus à titre de dépens: la fixation de manière globale et la fixation détaillée (art. 2 al. 1 du tarif).
La fixation globale n'intervient que dans les cas prévus à l'art. 3 du tarif (cf art. 3).
Dans tous les autres cas, il faut recourir à la fixation détaillée (art. 4 du tarif).
En l'espèce, la cour cantonale a considéré qu'elle était en présence (en raison de la faible valeur litigieuse) d'une affaire contentieuse de la compétence du Président du Tribunal d'arrondissement au sens de l'art. 3 al. 1 let. b du tarif et d'un recours contre un jugement du Président du Tribunal d'arrondissement au sens de l'art. 3 al. 1 let. g du tarif.
Les recourants contestent que le Président du Tribunal des baux de l'arrondissement de la Sarine puisse être assimilé à un président du tribunal d'arrondissement. Ils font valoir que les décisions rendues par la juridiction des baux ne sont pas mentionnées expressément à l'art. 3 du tarif et qu'il fallait, en conséquence, procéder à une fixation détaillée du montant des honoraires, ce qui devait aboutir à un chiffre sensiblement plus élevé.
b) Dans leur recours de droit public, les recourants se plaignent d'une inégalité de traitement prohibée par l'art. 8 al. 1 Cst.
Ils invoquent un arrêt rendu le 29 octobre 1999 par la Cour de modération du Tribunal cantonal fribourgeois, qui avait tranché le point litigieux dans le sens inverse. Ils estiment que l'arrêt attaqué conduit en conséquence à une inégalité de traitement prohibée par la Constitution.
aa) Le principe de l'égalité contenu à l'art. 8 al. 1 Cst. exige que ce qui est semblable soit traité de la même façon dans la mesure de la similitude et que ce qui est dissemblable soit traité différemment dans la mesure de la dissemblance; il ne peut être fait aucune distinction pour laquelle on ne trouve aucune justification raisonnable dans les circonstances de fait pertinentes; le droit à l'égalité est violé si deux situations de fait semblables sont traitées différemment sans motifs sérieux (<ref-ruling> consid. 2b/aa, 166 consid. 2a, 173 consid. 6b; <ref-ruling> consid. 10b p. 345; <ref-ruling> consid. 2e, 297 consid. 3b; <ref-ruling> consid. 8d/aa, 372 consid. 8c/bb; <ref-ruling> consid. 2a).
Le droit à l'égalité de traitement ne peut cependant être invoqué qu'à l'égard d'une même autorité; un organe étatique ne peut enfreindre le principe de l'égalité que s'il se met en contradiction avec lui-même (Etienne Grisel, Egalité, Les garanties de la Constitution fédérale du 18 avril 1999, Berne 2000, p. 134 n. 285; Arthur Haefliger, Alle Schweizer sind vor dem Gesetze gleich, p. 71 s. ch. 2; cf.
également: <ref-ruling> consid. 2c; <ref-ruling> consid. 4c p. 119 et les arrêts cités).
bb) En l'espèce, les recourants invoquent une décision d'une autre autorité, à savoir la Cour de modération.
Ils ne font donc pas valoir une inégalité de traitement de la part d'une même autorité. Ils ne tentent pas de démontrer qu'en droit cantonal, la Cour d'appel serait liée par la jurisprudence de la Cour de modération ou subordonnée à cette autorité; il n'y a donc pas à examiner la question sous cet angle, faute de motivation répondant aux exigences de l'art. 90 al. 1 let. b OJ. On ne voit donc pas pourquoi la Cour d'appel, pour les affaires relevant de sa compétence, serait obligée de suivre la décision de la Cour de modération si elle estime que celle-ci n'a pas appliqué correctement le droit cantonal.
La question posée ne relève pas de l'égalité de traitement. Il s'agit en réalité de déterminer laquelle des deux autorités interprète correctement le droit cantonal.
Cette question ne peut pas être examinée dans un recours de droit public, lequel n'est pas ouvert pour mauvaise application du droit cantonal (cf art. 84 al. 1 et 85 OJ).
c) Dans leur recours de droit public, les recourants invoquent également l'interdiction de l'arbitraire garantie par l'art. 9 Cst. Ils soutiennent que la cour cantonale a interprété l'art. 3 du tarif d'une manière arbitraire.
aa) Selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité; pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 2b; <ref-ruling> consid. 3a; <ref-ruling> consid. 2a; <ref-ruling> consid. 5 p. 250; <ref-ruling> consid. 2b).
bb) Le tarif du 28 juin 1988 n'a pas été conçu pour la juridiction des baux, puisque celle-ci n'a été créée que par la loi du 18 mai 1989. Le tarif ne mentionne d'ailleurs pas la juridiction des baux dans son champ d'application (cf.
art. 1 du tarif) et il n'est intervenu aucune modification du tarif afin d'introduire une référence à la juridiction des baux. Le tarif n'est applicable que parce que la loi instituant le Tribunal des baux y renvoie (art. 32 al. 2 de la loi). Il faut donc appliquer, aux affaires relevant de la juridiction des baux, un tarif qui n'a pas été conçu pour cette juridiction. Cette technique législative suppose qu'il y a lieu de procéder, le cas échéant, par la voie de l'analogie.
Les recourants ne peuvent donc tirer aucun argument décisif du fait que le Président du Tribunal des baux n'est pas mentionné expressément à l'art. 3 du tarif.
La comparaison qu'ils voudraient faire avec la juridiction des prud'hommes n'est pas convaincante. En effet, la loi fribourgeoise du 22 novembre 1972 sur la juridiction des prud'hommes (RSF 132. 1) prévoit que des affaires (en raison de leur faible valeur litigieuse) sont traitées par le président seul, tandis que d'autres sont soumises à la Chambre des prud'hommes (art. 29 et 30 de la loi); en visant, à l'art. 3 al. 1 let. d du tarif, la "juridiction des prud'hommes", le Conseil d'Etat a manifestement voulu englober les deux hypothèses; il a donc choisi d'adopter une règle qui s'écarte de celle applicable à la juridiction ordinaire (le tribunal d'arrondissement) et qui exigeait donc l'introduction, dans le règlement, de cette règle particulière. Si le Conseil d'Etat n'a pas jugé utile d'adopter la même règle pour la juridiction des baux, cela ne permet pas encore de déduire que l'on ne peut pas appliquer à cette juridiction les règles prévues pour le juge ordinaire (Président du Tribunal d'arrondissement ou Tribunal d'arrondissement).
Il est certes vrai que le législateur cantonal a institué une juridiction des baux indépendante (cf. art. 1 de la loi du 18 mai 1989); il faut toutefois observer qu'il a largement utilisé, pour ce faire, la structure déjà existante des tribunaux d'arrondissement. En effet, l'art. 3 al. 1 de la loi prévoit que les présidents des tribunaux des baux sont choisis parmi les présidents des tribunaux d'arrondissement, l'art. 4 indique qu'un greffier de tribunal d'arrondissement fonctionne comme greffier du tribunal des baux, tandis que l'art. 14 ajoute que le tribunal des baux dispose des services des greffes des tribunaux d'arrondissement. Il existe donc, d'un point de vue organique, un rapport étroit entre les tribunaux des baux et les tribunaux d'arrondissement, qui incite à l'analogie.
Pour les contestations dont la valeur litigieuse est inférieure à 8000 fr., l'art. 22 al. 1 de la loi instituant le Tribunal des baux prévoit que le président statue seul. Cette règle de compétence est également comparable à celle qui existe pour la juridiction ordinaire (art. 139 de la loi d'organisation judiciaire du 22 novembre 1949, RSF 131. 0.1) et incite également à l'analogie.
Les affaires soumises à la juridiction des baux ont souvent un caractère social et il est fréquent que le législateur souhaite limiter le coût de la procédure. Le législateur fribourgeois n'a pas été insensible à cette préoccupation, puisqu'il a prévu, à l'art. 32 al. 1 de la loi, que la procédure devant la juridiction des baux est en principe gratuite.
Il serait absolument contradictoire avec cet objectif de limitation des coûts pour le justiciable, qu'il ait voulu simultanément permettre d'allouer des dépens plus élevés que ce ne serait le cas pour les litiges ordinaires du droit des obligations.
Le législateur cantonal ayant exprimé, à l'art. 32 al. 1 de la loi, la volonté de limiter le coût de la procédure pour les justiciables, la cour cantonale a interprété le tarif d'une manière conforme à la ratio legis en considérant que les dépens alloués pour les affaires traitées par le Président seul (en raison de leur moindre valeur litigieuse) ne pouvaient pas être plus élevés que ceux alloués, pour les autres affaires relevant du droit des obligations, lorsqu'elles sont traitées par le Président du Tribunal d'arrondissement seul (en raison de leur moindre valeur litigieuse). En décidant d'assimiler les décisions rendues par le Président du Tribunal des baux aux décisions rendues par le Président du Tribunal d'arrondissement, la cour cantonale n'a pas interprété arbitrairement l'art. 3 du tarif.
3.- Les frais et dépens doivent être mis solidairement à la charge des recourants qui succombent (art. 156 al. 1 et 7, et art. 159 al. 1 et 5 OJ).

Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours;
2. Met un émolument judiciaire de 2000 fr. à la charge des recourants, solidairement entre eux;
3. Condamne solidairement les recourants à verser à l'intimée une indemnité de 2500 fr. à titre de dépens;
4. Communique le présent arrêt en copie aux mandataires des parties et à la IIe Cour d'appel du Tribunal cantonal de l'Etat de Fribourg.
_
Lausanne, le 18 septembre 2001 ECH
Au nom de la Ie Cour civile
du TRIBUNAL FEDERAL SUISSE:
Le Président,
Le Greffier,