Faits :
A.
A.a. La Fondation Z._ (ci-après: la Fondation) est propriétaire, à Fribourg, de plusieurs immeubles comprenant plusieurs logements, qu'elle a remis à bail à des locataires ou des colocataires (ci-après: les locataires).
Depuis le 1er avril 2005, les frais accessoires sont perçus selon le système des coûts effectifs, avec paiement d'acomptes. Des décomptes individuels sont donc adressés aux locataires.
A.b. Les 7 et 20 juillet 2009, 25 locataires de 25 logements ont contesté devant la Commission de conciliation en matière de baux à loyer du district de la Sarine leurs décomptes respectifs de frais accessoires pour la période du 1er avril 2008 au 31 mars 2009.
La conciliation ayant échoué et une autorisation de procéder leur ayant été délivrée, les locataires ont déposé leur demande devant le Tribunal des baux de l'arrondissement de la Sarine le 2 juin 2010.
Les locataires ont conclu à ce que la défenderesse soit condamnée à leur payer les montants figurant sur leurs propres décomptes respectifs de frais accessoires. La bailleresse a pris des conclusions conformes à ses propres décomptes.
Par jugement du 14 août 2013, le Tribunal des baux a déclaré irrecevables les conclusions d'une locataire, très partiellement admis la demande de 2 locataires (les conclusions des autres locataires étant rejetées) et la demande reconventionnelle de la bailleresse concernant 15 locataires.
Les 25 locataires ont recouru au Tribunal cantonal du canton de Fribourg, reprenant leurs conclusions de première instance. La bailleresse a également recouru.
Considérant tout d'abord que la voie de l'appel n'était pas ouverte, faute de valeur litigieuse suffisante, la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg a rejeté le recours des 25 locataires et, sur recours de la Fondation, a modifié 4 postes de décomptes concernant 3 locataires (2 en faveur des locataires et 2 en défaveur de la bailleresse).
B.
Contre cet arrêt, 21 locataires ont interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Dans leur recours en matière civile, ils font valoir que deux postes de frais soulèvent des questions juridiques de principe, reprochant à la cour cantonale d'avoir violé, sur le premier, les art. 257a et 257b CO et, sur le second, les art. 257a, 257b CO, ainsi que les art. 4 al. 1 et 8 al 1 de l'Ordonnance du 9 mai 1990 sur le bail à loyer et le bail à ferme d'habitations et de locaux commerciaux (OBLF; RS 221.213.11); dans leur recours constitutionnel subsidiaire, ils se plaignent de déni de justice (art. 29 al. 2 Cst.) et d'interdiction de l'arbitraire (art. 9 Cst.) en relation avec cinq autres postes.
L'intimée conclut au rejet des recours dans la mesure où ils sont recevables. Elle soutient en particulier que les recourants n'ont pas motivé correctement leur recours, de manière individuelle, se contentant de " faire un melting pot peu compréhensible ". Les parties se sont encore exprimées sur la recevabilité du recours dans leurs observations respectives.

Considérant en droit :
1.
1.1. En tant que le recours est interjeté au nom de 21 locataires de 21 logements (cf. rubrum), mais que le ch.1.I. de ses conclusions prend formellement des conclusions en faveur de 25 locataires de 25 logements, il est irrecevable en ce qui concerne les 4 locataires supplémentaires (A1._, A2._, A3._ et A4._) qui, comme cela ressort des préliminaires du recours, ont formellement renoncé à recourir au Tribunal fédéral (p. 3).
1.2.
1.2.1. Alors que ces 21 locataires recourants admettent qu'ils ne peuvent recourir que contre l'attribution des dépens de la 2e instance cantonale mis solidairement à leur charge (recours p. 4 ch. 7 in fine), ils précisent, dans leur réplique, qu'ils ont la qualité pour soulever tous les griefs car l'admission de ceux-ci aura une influence sur l'attribution des dépens de la 2e instance cantonale. De son côté, la bailleresse intimée soutient que seuls les 7 locataires, qui ont pris des conclusions en réforme sur le fond, ont la qualité pour recourir, les 14 autres locataires ne pouvant se prévaloir des motifs invoqués par les 7 autres pour obtenir, en cas d'admission du recours, une modification des dépens de la 2e instance cantonale.
1.2.2. Ces 21 locataires avaient chacun la qualité pour agir à l'action en contestation de leur décompte respectif de frais accessoires et ont déposé une demande unique comme consorts simples au sens de l'<ref-law>/FR, disposition qui est applicable dès lors que l'action a été introduite avant l'entrée en vigueur du CPC (<ref-law>). Leur recours au Tribunal cantonal (par suite de conversion de leur appel) a été rejeté, dans la mesure où il était recevable, et les dépens de la 2e instance cantonale ont été mis entièrement à leur charge, avec solidarité entre eux.
Or, seuls 7 locataires sur ces 21 qui ont interjeté recours au Tribunal fédéral prennent des conclusions en réforme de l'arrêt attaqué, soit les 7 indiqués en caractères gras dans le ch. 1. III. I.1 des conclusions. Comme cela ressort des préliminaires du recours, seuls F._/G._ qui sont colocataires d'un logement concluent à une réduction du montant de 644 fr. 15 auquel ils ont été condamnés à celui de 399 fr. 65, et les six autres (C._, J._/K._, Q._, T._, W._, X._) concluent au remboursement d'un certain montant par la bailleresse ou à l'augmentation du montant à rembourser qu'avait fixé la cour cantonale.
Les 14 autres locataires ne prennent pas de conclusions sur le fond et ne critiquent pas non plus l'arrêt attaqué en tant que la cour cantonale a, en rejetant leur recours, mis les dépens de 2e instance solidairement à leur charge. Leur recours est donc irrecevable (art. 76 al. 1, 42 al. 2 et 106 al. 2 LTF). En effet, les 14 locataires sont des consorts simples - et non des consorts nécessaires - et, faute de recours de chacun d'eux sur le fond (en ce qui concerne son propre décompte) ou sur l'attribution des dépens, l'arrêt cantonal est entré en force de chose jugée et a acquis autorité de la chose jugée en ce qui les concerne. Une éventuelle admission du recours formé par les 7 locataires qui ont pris des conclusions sur le fond ne saurait donc entraîner une modification de leur condamnation solidaire aux dépens.
Il s'ensuit qu'en tant qu'il est interjeté par les 14 locataires (A.A_/B.A_, B._, D._, E._, H._/I._, L._, M._, N._, O._, P._, R._/S._, U._, V._, Y._), le recours est irrecevable.
1.3. Les 7 locataires qui ont pris des conclusions sur le fond ont conclu à ce que F._ ne soit condamné à payer à la bailleresse que 399 fr. 65 (au lieu de 644 fr. 15) et à ce que la bailleresse soit condamnée à payer 394 fr. 30 à Q._, 307 fr. 20 à X._, 37 fr. 05 à C._, 21 fr. 95 à J._, 37 fr. 05 à T._ et 66 fr. 40 à W._. Ils ont tous soulevé les mêmes griefs, à savoir la mise à leur charge par la cour cantonale de la part fixe de la taxe de fourniture d'eau potable (art. 257a al. 1 et 257b al. 1 CO), le système de répartition des frais neutres (art. 257a, 257b CO et art. 4 al. 1, 8 al. 1 OBLF) - deux questions qu'ils qualifient de questions juridiques de principe (<ref-law>) et demandent au Tribunal fédéral de traiter avec une pleine cognition -, ainsi que la mise à leur charge par la cour cantonale des frais de curage et de nettoyage des canalisations, les frais d'entretien des ascenseurs et les frais de Cablecom - qui serait arbitraire -.
Comme le relève l'intimée, ils n'indiquent pas quel grief est soulevé par quel locataire ni " comment les recourants qui demandent la modification du décompte de frais accessoires arrivent aux conclusions chiffrées qu'ils prennent ". Le recours doit pourtant indiquer quels motifs sont invoqués à l'appui de chacun des chefs de conclusions formés par chacun des consorts simples (<ref-law>; cf. arrêt 4D_99/2014 du 30 mars 2015 consid. 1.2), de sorte qu'en cas d'admission de l'un et/ou l'autre des motifs soulevés, le Tribunal fédéral soit en mesure de calculer et de modifier les chiffres retenus dans l'arrêt attaqué à charge ou en faveur de chacun des consorts. Or, tel n'est pas le cas en l'espèce: en effet, les recourants se limitent à poser des questions théoriques au Tribunal fédéral, sans qu'il soit possible de déterminer l'effet concret de la solution qui serait donnée à chacune sur le décompte (chiffré) respectif de frais accessoires de chacun des 7 locataires.
Il s'ensuit qu'en tant qu'il est interjeté par ces 7 locataires, le recours est également irrecevable.
2.
Les considérations qui précèdent valent aussi bien pour le recours en matière civile que pour le recours constitutionnel subsidiaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Les recours sont irrecevables.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants, en tant que débiteurs solidaires, verseront à l'intimée une indemnité de 1'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, IIe Cour d'appel civil.
Lausanne, le 10 septembre 2015
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget