A.- Par mémoire du 19 mai 1998, les époux D._ ont déposé, devant le Président du Tribunal des baux de l'arrondissement de la Sarine, une demande en paiement dirigée contre leur bailleresse, X._ AG, concluant à ce que cette dernière soit condamnée à leur payer la somme de 71 fr.85 avec intérêts à 5% l'an dès le dépôt de la demande. Par jugement du 22 mai 2000, le Président du Tribunal des baux de l'arrondissement de la Sarine a fait droit à la demande, avec suite de dépens. Par arrêt du 4 avril 2001, la IIe Cour d'appel du Tribunal cantonal fribourgeois a rejeté le recours formé par X._ AG contre ce jugement qu'elle a confirmé, avec suite de dépens. Par arrêt du 15 mai 2001, la IIe Cour d'appel du Tribunal cantonal fribourgeois a fixé les dépens dus aux époux D._, au total, à 4304 fr. pour la première instance et à 1129 fr.80 pour l'instance de recours. B.- Les époux D._ ont formé un recours de droit public au Tribunal fédéral. Invoquant le droit à l'égalité de traitement et l'interdiction de l'arbitraire, ils concluent, avec suite de frais et dépens, à l'annulation de l'arrêt du 15 mai 2001. L'intimée propose le rejet du recours et la confirmation de l'arrêt attaqué, avec suite de dépens.