Faits:
A. Z._ SA est propriétaire de plusieurs appartements dans trois immeubles sis à .... 20, 22 et 24 à Fribourg. A._ est locataire de l'un de ces appartements dans l'immeuble n° 22. F.B._ et H.B._ sont locataires d'un autre de ces appartements dans l'immeuble n° 20. F.C._ et H.C._ sont locataires d'un appartement dans l'immeuble n° 22. H.D._ et F.D._ sont locataires d'un appartement dans l'immeuble n° 22.
Le 18 juillet 2008, la bailleresse a établi le décompte des charges par immeuble pour la période du 1er avril 2007 au 31 mars 2008. Elle a ainsi déterminé un solde dû par chacun des locataires mentionnés ci-dessus.
Les locataires cités ont contesté ce décompte et ont considéré au contraire qu'ils étaient créanciers de la bailleresse.
B. Le 6 novembre 2009, les locataires cités ont introduit des actions en paiement auprès du Président du Tribunal des baux de l'arrondissement de la Sarine. Dans sa réponse, la bailleresse a conclu au rejet des actions et a pris, contre chacun des demandeurs, des conclusions reconventionnelles.
Le 8 janvier 2010, le Président du Tribunal des baux a ordonné la jonction des quatre causes.
Avec l'accord des parties, une entreprise a été chargée de calculer la répartition des frais de chauffage sur la base des surfaces, ce qui a amené les locataires à modifier leurs conclusions.
F.D._ est décédée le 15 septembre 2010; ses héritiers, soit H.D._, V.D._ et W.D._, lui ont succédé dans la procédure.
Par jugement du 16 août 2011, le Président du Tribunal des baux a admis partiellement les demandes ainsi que les demandes reconventionnelles et a statué sur les sommes dues entre les parties.
Les locataires ont recouru contre ce jugement. Ils ont conclu à ce que la bailleresse soit condamnée à payer à F.B._ et H.B._ le montant de 518 fr.45 avec intérêts, à A._ le montant de 117 fr.20 avec intérêts, à F.C._ et H.C._ le montant de 318 fr.95 avec intérêts, et à H.D._, V.D._ et W.D._ le montant de 405 fr.20 avec intérêts.
La bailleresse a également recouru. Elle a conclu à ce que A._ soit condamnée à lui verser le montant de 747 fr. avec intérêts, F.B._ et H.B._, avec solidarité entre eux, la somme de 282 fr.45 avec intérêts, H.D._, V.D._ et W.D._ solidairement le montant de 459 fr. avec intérêts, F.C._ et H.C._ solidairement le montant de 258 fr.40 avec intérêts.
Statuant par arrêt du 2 août 2012, la IIe Cour d'appel civil du Tribunal cantonal fribourgeois a admis partiellement les recours. Réformant le jugement attaqué, elle a condamné Z._ SA à verser:
- à F.B._ et H.B._, créanciers solidaires, la somme de 375 fr.25 avec intérêts;
- à F.C._ et H.C._, créanciers solidaires, la somme de 219 fr.95 avec intérêts;
- à H.D._, V.D._ et W.D._, créanciers solidaires, la somme de 281 fr.20 avec intérêts.
Elle a condamné A._ à verser à Z._ SA le montant de 6 fr.80 avec intérêts.
C. Les locataires exercent un recours en matière civile au Tribunal fédéral. Admettant que la valeur litigieuse n'est pas suffisante et renonçant à former un recours constitutionnel subsidiaire, les recourants soutiennent que le recours en matière civile est néanmoins recevable parce qu'il pose la question juridique de principe suivante: une taxe d'épuration fixe est-elle une contribution publique en rapport avec l'usage de la chose au sens des art. 257a al. 1 et 257b al. 1 CO ? Invoquant une violation des art. 257a al. 1 et 257b al. 1 CO (à l'exclusion de tout grief constitutionnel), ils concluent à la réforme de l'arrêt attaqué et prennent des conclusions sur le fond.
L'intimée propose l'irrecevabilité, subsidiairement le rejet du recours.
Les parties ont répliqué et dupliqué.

Considérant en droit:
1. 1.1 Pour une contestation relative au droit du bail à loyer, le recours en matière civile n'est en principe recevable que si la valeur litigieuse atteint le seuil de 15'000 fr. (art. 74 al. 1 let. a LTF).
Lorsque le recours - comme c'est le cas en l'espèce - est dirigé contre une décision finale, la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF). Pour le calcul, il ne faut tenir compte que du montant en capital qui est réclamé, à l'exclusion des intérêts, frais judiciaires ou dépens qui sont demandés à titre accessoire (art. 51 al. 3 LTF). Si des demandes ont été jointes - comme c'est le cas en l'espèce - les diverses conclusions doivent être additionnées, à moins qu'elles ne s'excluent (art. 52 LTF). En revanche, le montant d'une demande reconventionnelle et celui d'une demande principale ne sont en principe pas additionnés (art. 53 LTF).
Il résulte de ces principes que la valeur litigieuse pour les demandes s'élevait à 1'359 fr.80 et pour les conclusions reconventionnelles à 1'746 fr.85. Il n'est donc pas douteux que la valeur litigieuse minimale de 15'000 fr. n'est pas atteinte, ce qui n'est d'ailleurs pas contesté.
1.2 Les locataires soutiennent que le recours en matière civile est néanmoins recevable en application de l'art. 74 al. 2 let. a LTF, parce que la contestation soulèverait une question juridique de principe.
Selon la jurisprudence, on se trouve en présence d'une question juridique de principe au sens de la norme susrappelée lorsqu'il est nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique qui donne lieu à une incertitude caractérisée, laquelle appelle de manière pressante un éclaircissement de la part du Tribunal fédéral, en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (<ref-ruling> consid. 1.1 p. 583; <ref-ruling> consid. 1.2 p. 399).
Le recourant qui soutient que la cause soulève une question juridique de principe doit expliquer en quoi l'affaire remplit la condition exigée (art. 42 al. 2 2ème phrase LTF; <ref-ruling> consid. 1.1 p. 582). Il faut en déduire que le Tribunal fédéral n'a pas à rechercher d'office si la cause pourrait soulever une question juridique de principe. Il incombe à la partie recourante d'expliquer en quoi elle estime que cette condition est réalisée et le Tribunal fédéral doit seulement examiner si la question invoquée peut être qualifiée de question juridique de principe au sens de l'art. 74 al. 2 let. a LTF. En l'espèce, les recourants soutiennent que la cause soulève la question juridique de principe suivante: une taxe d'épuration fixe est-elle une contribution publique en rapport avec l'usage de la chose au sens des art. 257a al. 1 et 257b al. 1 CO ?
En l'espèce, l'arrêt cantonal constate que le décompte des charges établi le 18 juillet 2008 concernant l'immeuble sis ... n° 20 comporte un montant de 62'454 fr.50 pour les frais relatifs à l'eau et l'épuration pour la période du 1er avril 2007 au 31 mars 2008, montant qui est justifié par quatre factures des Services industriels de la Ville de Fribourg. Il est ajouté que ce montant comporte une taxe fixe qui est contestée par les locataires, mais ce passage de l'arrêt cantonal ne permet pas de déterminer quelle est la cause de cette taxe (cf. consid. 2 in initio de l'arrêt attaqué, p. 6). L'explication figure plus loin dans l'arrêt cantonal où il est indiqué que la taxe litigieuse est basée sur le règlement du 5 novembre 1984 sur la fourniture d'eau de la Ville de Fribourg qui fixe les conditions auxquelles le Service des eaux de la Ville de Fribourg fournit l'eau aux abonnés (cf. consid. 2b de l'arrêt attaqué, p. 7). Il est précisé que la taxe concerne la fourniture d'eau nécessaire à la consommation. Il n'est donc absolument pas question d'une taxe se rapportant à l'épuration des eaux usées.
Déterminer quel est le contenu d'une facture (des Services industriels de la Ville de Fribourg) ou d'un décompte établi par la bailleresse (le 18 juillet 2008) relève de l'établissement des faits. Dire ce qui a été contesté durant la procédure cantonale relève de l'établissement des faits procéduraux. Les recourants ne soutiennent pas, sur les points qui viennent d'être cités, que les faits auraient été établis de manière arbitraire (art. 97 al. 1 et 106 al. 2 LTF; <ref-ruling> consid. 4.1.2 p. 62) et l'on cherche vainement en quoi ils l'auraient été (art. 105 al. 2 LTF). Le Tribunal fédéral est donc lié par les constatations cantonales (art. 105 al. 1 LTF). Il en résulte que la question soulevée par les recourants (concernant une taxe d'épuration) n'est pas l'un des objets de la décision attaquée et qu'il n'est pas nécessaire de la résoudre pour trancher la cause, l'arrêt attaqué ne constatant aucune taxe d'épuration.
Cela suffit pour que le recours soit déclaré irrecevable.
1.3 Le recours en matière civile étant irrecevable pour les raisons exposées ci-dessus, il faut ajouter qu'il ne saurait être converti en un recours constitutionnel subsidiaire (art. 113 LTF). En effet, les recourants ont expressément renoncé à interjeter un tel recours et, de toute manière, ils n'ont formulé aucun grief d'ordre constitutionnel (cf. art. 116 et 106 al. 2 LTF, norme applicable par le renvoi de l'art. 117 LTF).
2. Les frais judiciaires et les dépens sont mis solidairement à la charge des recourants qui succombent (art. 66 al. 1 et 5 et 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg IIe Cour d'appel civil.
Lausanne, le 6 mars 2013
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet