Faits:
A. Le 16 novembre 2004, Y._ (ci-après: le bailleur) a remis à bail à AX._ et BX._ (ci-après: les locataires) un appartement de trois pièces à O._ (Fribourg) en contrepartie du paiement d'un loyer mensuel de 1'395 fr. (charges comprises). Le contrat a pris effet le 1er décembre 2004 et s'est achevé le 31 mai 2008.
Le contrat de bail, qui se réfère expressément aux "dispositions liées aux subventions", et plus spécifiquement à celles concernant les "HLM - loi de 1965 (contrôle de l'Office cantonal du logement)" et à celles applicables aux immeubles "construits avec l'aide fédérale - loi de 1974 (contrôle de l'Office fédéral du logement)", précise au sujet des frais accessoires que ceux-ci comprennent "le chauffage et l'eau chaude selon l'<ref-law>, frais de conciergerie et charges sociales, consommation et épuration d'eau, électricité des locaux communs, taxe ordure, entretien aménagement extérieur, entretien ascenseur, taxe téléréseau, contributions immobilières, assurance immeuble, frais pour l'établissement des décomptes des frais accessoires".
Les locataires se sont acquittés de l'ensemble des frais accessoires facturés par le bailleur. Ils soutiennent avoir payé à tort les "contributions immobilières" (soit les impôts fonciers) et l' "assurance immeuble" (soit les primes d'assurance du bâtiment) et demandent le remboursement des montants payés pour ces deux postes entre fin 2004 et 2007.
La Commission de conciliation en matière de baux et loyers des districts de la Singine et du Lac saisie par les locataires a constaté l'échec de la conciliation le 12 janvier 2009.
B. Le 10 février 2009, les locataires ont ouvert action devant la juridiction des baux de l'arrondissement du Lac. Ils ont conclu au remboursement de 747 fr. 70, puis, finalement, ramené leur prétention à 148 fr. 06, après compensation avec un solde de frais accessoires non contestés.
Le Président du Tribunal des baux a, par jugement du 23 mars 2009, admis la demande et condamné le bailleur au paiement de 148 fr. 06 avec intérêt à 5% l'an dès le 10 février 2009.
Le bailleur a recouru en appel, demandant l'annulation du jugement de première instance et concluant reconventionnellement à ce que les locataires soient condamnés solidairement à lui verser la somme de 673 fr.97.
Dans un arrêt du 31 août 2010, la IIe Cour d'appel civil du Tribunal cantonal fribourgeois a partiellement admis le recours. Elle a considéré la conclusion reconventionnelle tardive et donc irrecevable. Concernant la question des impôts fonciers et des primes d'assurance du bâtiment, elle a réformé le jugement de première instance, jugeant que ces frais ont été valablement mis à la charge des locataires.

En substance, elle considère que la pratique du bailleur consistant à mettre ces frais à la charge des locataires correspond à la réglementation cantonale applicable aux logements sociaux construits - sans aide fédérale mais avec l'aval de l'autorité cantonale - par des personnes à l'étranger. Selon elle, les règles cantonales en matière d'encouragement de la construction de logements à caractère social sont motivées par un intérêt public pertinent, elles n'éludent pas les règles fédérales protectrices en matière de bail, ni n'en contredisent le sens ou l'esprit. L'autorité précédente rappelle en outre que le bailleur n'est pas maître de la fixation des loyers, le calcul de l'autorité cantonale pour établir le plan des loyers se fondant exclusivement - selon l'art. 38 al. 2 de la loi fédérale du 4 octobre 1974 encourageant la construction et l'accession à la propriété de logements (LCAP; RS 843), auquel renvoie le droit cantonal - sur le coût de revient du logement; le bailleur serait donc tenu d'insérer les frais litigieux dans les frais accessoires. Elle ajoute que le contrat de bail désigne ceux-ci en respectant les exigences strictes de l'<ref-law> (cf. <ref-ruling> consid. 4.3.1 p. 595). Enfin, la cour cantonale souligne que, même à considérer que le mécanisme cantonal contreviendrait au droit privé fédéral, elle ne pourrait confirmer le jugement de première instance, celui-ci heurtant l'équité; le bailleur ne pourrait en effet financer ses dépenses ni par le loyer (fixé par le droit cantonal), ni par les frais accessoires (le droit fédéral l'interdisant); en outre, la pratique cantonale ne serait pas contraire aux intérêts des locataires (l'économie obtenue par ceux-ci sur le loyer étant du même ordre que les "frais accessoires inhabituels" qu'ils voudraient se faire rembourser).
C. Les locataires exercent, dans le même mémoire, un recours en matière civile et un recours constitutionnel subsidiaire. Ils concluent principalement à l'admission du recours en matière civile, à l'annulation de l'arrêt entrepris, et à ce que le bailleur soit condamné à leur rembourser la somme de 148 fr. 06, avec intérêt à 5% l'an dès le 10 février 2009, sous suite de frais et dépens. Subsidiairement, ils formulent les mêmes conclusions sous l'angle du recours constitutionnel subsidiaire. Ils invoquent une violation du principe de la force dérogatoire du droit fédéral (art. 49 al. 1 Cst.), la transgression des art. 257a, 257b CO, de l'<ref-law> et de l'art. 25 de l'ordonnance y relative (OLCAP; RS 843.1). Ils font en outre état d'une application arbitraire de l'<ref-law>.
L'intimé conclut au rejet du recours en matière civile et à l'irrecevabilité du recours constitutionnel subsidiaire, sous suite de frais et dépens, en se limitant à renvoyer, sur le fond, au contenu de son recours en appel cantonal.
Considérant en droit:
1. 1.1 S'agissant d'une affaire pécuniaire portant sur le droit du bail à loyer, le recours n'est recevable que si la valeur litigieuse - déterminée selon le capital réclamé dans les dernières conclusions devant l'autorité précédente (art. 51 al. 1 let. a et al. 3 et 53 LTF) - s'élève au moins à 15'000 fr. (<ref-law>).
La recourante souligne elle-même que la valeur litigieuse n'atteint pas le seuil fixé à l'<ref-law>. Elle soutient que le recours en matière civile est néanmoins recevable, en raison de l'exception formulée à l'<ref-law>, la contestation soulevant une question juridique de principe.
Il incombe à la partie recourante qui se prévaut de cette disposition d'expliquer en quoi la contestation soulèverait une question juridique de principe (art. 42 al. 2 2ème phrase LTF). En l'occurrence, les recourants ont expliqué de manière précise qu'il s'agit de savoir si une loi cantonale relative à la construction de logements à caractère social et régissant les immeubles ne bénéficiant pas de l'aide fédérale au sens de la LCAP peut déroger aux art. 257a et 257b CO et, partant, permettre au bailleur de facturer comme frais accessoires des coûts liés à l'existence de la chose elle-même.
1.1.1 La jurisprudence a souligné qu'il fallait se montrer restrictif dans l'admission d'une dérogation à l'exigence de la valeur litigieuse sur la base de l'<ref-law>; elle s'est efforcée de cerner la notion de contestation soulevant une question juridique de principe (cf. <ref-ruling> consid. 1.3 p. 4 s.; <ref-ruling> consid. 1.2 p. 269, 354 consid. 1.3 p. 357). En résumé, il faut qu'il soit nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique qui donne lieu à une incertitude caractérisée, laquelle appelle de manière pressante un éclaircissement de la part du Tribunal fédéral, en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (<ref-ruling> consid. 1.2 p. 399).
1.1.2 En l'espèce, il n'est pas possible de statuer sur le montant réclamé sans trancher la question juridique posée. On relèvera en particulier qu'il n'est pas contesté que les deux postes litigieux (impôts réels et primes d'assurance du bâtiment) intégrés dans les frais accessoires selon le contrat de bail ne sont pas liés à l'usage de la chose, mais bien à son existence. En raison de l'imbrication des dispositions devant être consultées (art. 257a et 257b CO, <ref-law>, normes cantonales), la question ne trouve pas une réponse évidente à la simple lecture des textes légaux; elle n'a donné lieu à aucune jurisprudence du Tribunal fédéral, celui-ci ayant notamment tranché des questions différentes à l'<ref-ruling> (application de l'<ref-law> aux locaux d'habitation subventionnés au sens de l'<ref-law>) et à l'<ref-ruling> (autorité compétente pour juger la contestation d'une hausse des frais accessoires en matière d'habitations subventionnées) et la doctrine ne s'est pas penchée sur la question. On se trouve dès lors bien en présence d'une incertitude caractérisée. Les circonstances du cas sont susceptibles de se reproduire à tout moment, notamment pour tous les baux similaires du canton de Fribourg. De surcroît, il est peu probable, compte tenu des frais usuels liés à l'existence de la chose louée, que cette question puisse un jour être présentée au Tribunal fédéral avec une valeur litigieuse suffisante, au moins lorsque ces frais sont seuls en cause.
Il se justifie donc de recevoir le recours en matière civile sur la base de l'<ref-law>, ce qui entraîne l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law>).
1.2 Le recours en matière civile peut être interjeté par les recourants qui soutiennent avoir subi, dans un cas concret, la violation du principe de la force dérogatoire du droit fédéral (cf. <ref-ruling> consid. 5a p. 189; arrêt 4C.417/1999 du 18 février 2000 consid. 4b; sous le régime de la LTF: AUER/MALINVERNI/HOTTELIER, Droit constitutionnel suisse, vol. I, 2006, n. 1049 p. 373; PAUL-HENRI STEINAUER, Le Titre préliminaire du Code civil, in TDPS II/1, 2009, n. 247 p. 82). Pour le reste, interjeté par les recourants qui ont succombé dans leurs conclusions visant le remboursement d'un paiement opéré (<ref-law>) et dirigé contre un arrêt final (<ref-law>), rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.3 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. La notion de droit fédéral englobe également les droits constitutionnels (<ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 8.1 p. 153; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées; à défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas contenus (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). En l'espèce, bien qu'ils présentent leur propre état de fait (recours p. 7 à 11), les recourants déclarent expressément (page 7 de leur mémoire), qu'il ne s'agit que d'un rappel des faits servant à une meilleure compréhension de la cause. Les recourants ne contestant pas les faits retenus par la cour cantonale, il n'y a pas lieu de s'en écarter (cf. <ref-law>).
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
S'il admet le recours, le Tribunal fédéral peut réformer la décision attaquée, c'est-à-dire qu'il peut statuer lui-même sur le fond à la place de l'autorité précédente (<ref-law>).
2. 2.1 Les recourants soutiennent que le législateur fédéral a réglementé de manière exhaustive le régime des frais accessoires aux art. 257a et 257b CO (mis à part pour les immeubles ayant bénéficié d'un subventionnement en vertu de la LCAP) et que les cantons ne peuvent plus, par des règles de droit public, intervenir dans les relations entre bailleurs et locataires. Ils font grief à la loi fribourgeoise d'élargir la notion de "frais accessoires", l'art. 25 al. 3 de cette loi y incluant, pour des immeubles ne bénéficiant pas de l'aide de la LCAP, des dépenses relatives à l'existence de la chose louée (primes d'assurance et impôt réels); en mettant ces frais à la charge des locataires, la cour précédente aurait, selon les recourants, transgressé le principe de la force dérogatoire du droit fédéral (art. 49 al. 1 Cst.) et violé les art. 257a, 257b CO, ainsi que les <ref-law> et 25 OLCAP. Enfin, ils reprochent à l'autorité précédente d'avoir fait preuve d'arbitraire dans l'application de l'<ref-law>.
2.2 En l'occurrence, il ne s'agit pas de savoir si la cour cantonale a correctement appliqué le droit cantonal (cette question ne pouvant être revue librement par le Tribunal fédéral), mais uniquement de se demander si l'application qui a été faite par la cour précédente des règles cantonales aboutit à un résultat conforme au principe de la force dérogatoire du droit fédéral (art. 49 al. 1 Cst.).
Le recourant a désigné de façon précise les normes de droit fédéral qui sont, d'après lui, touchées par la disposition cantonale contestée (sur l'exigence: arrêt 1P.705/2000 du 24 septembre 2001 consid. 2a et les références citées). Cela étant, le Tribunal fédéral peut vérifier librement, sous l'angle de l'art. 49 al. 1 Cst., la conformité de la règle de droit cantonal avec le droit fédéral (<ref-ruling> consid. 1 p. 78 et les arrêts cités; arrêt 1P.705/2000 déjà cité consid. 2a).
2.3 L'art. 25 al. 3 de la loi fribourgeoise du 26 septembre 1985 encourageant la construction de logements à caractère social (RSF 87.2) se présente comme suit:
"Les frais accessoires sont fixés conformément à l'art. 38 al. 2 de la loi fédérale du 4 octobre 1974 encourageant la construction et l'accession à la propriété de logements."
Il convient de rechercher, à titre préalable, si cette règle constitue du droit cantonal autonome ou, au contraire, fait partie intégrante de simples mesures d'exécution d'une loi fédérale (notamment de la LCAP à laquelle la disposition cantonale renvoie) (sur ces notions, cf. <ref-ruling> consid. 1b/aa p. 58 et les arrêts cités; ANDRÉ GRISEL, Traité de droit administratif, vol. II, 1984, p. 857 s.). Dans le premier cas, la Cour de céans pourra effectuer son examen sous l'angle de l'art. 49 al. 1 Cst.; dans le deuxième, il s'agira avant tout de confronter deux lois fédérales (le Code des obligations et la loi fédérale à l'origine des mesures d'exécution cantonales).
La disposition litigieuse s'inscrit dans une loi cantonale poursuivant deux objectifs principaux, à savoir de compléter l'aide fédérale octroyée en vertu de la LCAP (art. 1 let. a) et de faciliter la construction et l'acquisition de logements sociaux par des personnes à l'étranger (art. 1 let. b). Les deux objectifs - et donc les règles permettant de poursuivre ceux-ci - sont clairement séparés. Le premier est concrétisé au Chapitre deuxième ("Aide complémentaire destinée à abaisser les loyers"; art. 5-21). Le Chapitre troisième ("Construction de logements sociaux par des personnes à l'étranger"; art. 22-29) de la loi cantonale, applicable en l'espèce, vise le deuxième objectif; il fait référence à l'art. 9 al. 1 let. a de la loi fédérale du 16 décembre 1983 sur l'acquisition d'immeubles par des personnes à l'étranger (LFAIE; RS 211.412.41).
L'<ref-law> donne la faculté aux cantons d'autoriser l'acquisition d'immeuble par des personnes à l'étranger lorsque celui-ci est destiné à la construction, sans aide fédérale, de logements à caractère social au sens de la législation cantonale dans les lieux où sévit la pénurie de logements, ou comprend de tels logements s'ils sont de construction récente.
Le législateur fribourgeois a fait usage de cette faculté, reprenant, à l'art. 22 al. 1 de la loi cantonale, l'essentiel des termes de la disposition fédérale. Il a ensuite fixé les conditions de l'autorisation, notamment en définissant la notion de "pénurie de logements" (art. 23), en désignant le service compétent pour examiner les projets et contrôler les loyers (art. 24 et 26) et en déterminant la base de calcul des loyers et des frais accessoires (art. 25).
La LFAIE se limite à accorder une faculté aux cantons, laissant ceux-ci libres d'adopter la réglementation adéquate. En particulier, la loi fédérale ne contient aucune règle fixant les frais accessoires. Cette question a été tranchée par le législateur fribourgeois à l'art. 25 al. 3; il a choisi de renvoyer à l'<ref-law>, disposition qui, contrairement au Code des obligations, intègre dans la notion de frais accessoires aussi des coûts liés à l'existence de la chose elle-même. Le législateur fribourgeois a donc fait le choix d'appliquer l'<ref-law> à titre de droit cantonal supplétif. Il en résulte que l'art. 25 al. 3 de la loi fribourgeoise - comme d'ailleurs l'ensemble du Chapitre 3 - constitue du droit cantonal autonome, et non une simple mesure d'exécution de la LFAIE.
Dans l'examen du principe de la force dérogatoire du droit fédéral, il s'agit de rappeler la façon dont les frais accessoires sont réglementés aux art. 257a s. CO (cf. infra consid. 2.4), avant d'examiner si le législateur fribourgeois pouvait également se saisir de cette question à l'art. 25 al. 3 de la loi cantonale (cf. infra consid. 2.5 et 2.6).
2.4 Selon l'<ref-law>, les frais accessoires sont dus pour les prestations fournies par le bailleur ou un tiers en rapport avec l'usage de la chose (al. 1); ils ne sont à la charge du locataire que si cela a été convenu spécialement (al. 2). Les prestations en rapport avec l'usage de la chose sont énumérées, de façon non exhaustive, à l'<ref-law>. Il s'agit notamment des dépenses effectives du bailleur pour les frais de chauffage, d'eau chaude, d'autres frais d'exploitation, ainsi que des contributions publiques résultant de l'utilisation de la chose.
Il résulte de l'<ref-law> (a contrario) que les prestations du bailleur sans lien avec l'usage de la chose louée ne peuvent être facturées comme frais accessoires. C'est le cas des dépenses en rapport avec la propriété ou l'existence même de la chose, soit des frais dus indépendamment de l'occupation de l'immeuble ou de la conclusion d'un contrat de bail (ISABELLE BIERI, in Droit du bail à loyer, 2010, no 5 ad <ref-law>, PETER HIGI, Zürcher Kommentar, 1994, no 40 ad art. 256a-256b CO). Entrent dans cette catégorie de frais les impôts fonciers et les primes d'assurance du bâtiment (entre autres auteurs: DAVID LACHAT, Le bail à loyer, nouvelle éd. 2008, p. 332 s.; BIERI, op. cit., no 10 ad art. 257a-257b CO). Sont également visées les dépenses consacrées par le bailleur à l'entretien de la chose louée ou à la rénovation des locaux (<ref-ruling> consid. 4 p. 37 ss; LACHAT, op. cit., p. 332 s. et les références; BIERI, op. cit., no 13 ad art. 257a-257b CO).
Les art. 257a et 257b CO qui définissent les frais accessoires sont impératifs. Le contrat ne peut donc valablement mettre à la charge du locataire, sous la forme de frais accessoires, des dépenses sans relation avec l'usage des locaux (arrêt 4C.82/2000 du 24 mai 2000 consid. 3a; <ref-ruling> consid. 4 p. 37 ss; LACHAT, in Commentaire romand, Code des obligations I, no 3 ad <ref-law>; BIERI, op. cit., no 18 ad <ref-law> et no 10 ad art. 257a-257b CO; ROGER WEBER, in Basler Kommentar, Obligationenrecht I, no 6 ad <ref-law>; THOMAS OBERLE, Nebenkosten, Heizkosten, 2e éd. 2001, p. 33 s.; PHILIPPE RICHARD, Les frais accessoires au loyer dans les baux d'habitations et de locaux commerciaux, in 12e Séminaire sur le droit du bail, 2002, n. 21 p. 6; RICHARD PERMANN, Mietrecht, 2e éd. 2007, no 1 ad <ref-law>; HIGI, op. cit., no 3 ad art. 257a-257b CO; GIACOMO RONCORONI, Zwingende und dispositive Bestimmungen im revidierten Mietrecht, Mietrechtspraxis [mp] 1990, p. 80 et 93 [selon cet auteur, l'<ref-law> est toutefois de droit semi-impératif]). Si le bailleur entend mettre ces frais à la charge du locataire, il doit alors les prendre en compte dans le calcul du loyer (cf. OBERLE, op. cit., p. 18 et 34; LACHAT, op. cit., ch. 6.4 p. 442 s., et en particulier note de pied 112).
2.5 Le problème de la force dérogatoire du droit fédéral (art. 49 al. 1 Cst.; art. 2 Disp. trans. aCst.) se pose différemment selon qu'il s'agit de droit privé ou de droit public cantonal (<ref-ruling> consid. 2a p. 330; <ref-ruling> consid. 3b p. 311 s.).
2.5.1 En principe, la réglementation de droit civil est exclusive et les cantons ne peuvent adopter des règles de droit privé dans les domaines régis par le droit fédéral que si ce dernier leur en réserve la possibilité (<ref-law>; <ref-ruling> consid. 2b p. 331; <ref-ruling> consid. 3b p. 311 et l'arrêt cité; sur l'ensemble de la question: STEINAUER, op. cit., n. 169 ss p. 57 ss). En matière de bail, la réglementation fédérale est exhaustive, sous réserve de la compétence laissée aux cantons d'édicter certaines règles de droit privé complémentaires (art. 257e al. 4, 270 al. 2 CO) (<ref-ruling> consid. 2b p. 331). A défaut d'une telle réserve, il est interdit aux cantons d'intervenir dans les rapports directs entre les parties au contrat de bail (cf. <ref-ruling> consid. 2a et 2b p. 330 s.; <ref-ruling> consid. 4b/aa p. 408 et les arrêts cités).
2.5.2 Une seule et même matière peut toutefois être saisie à la fois par des règles de droit privé fédéral et par des règles de droit public cantonal.
Dans les domaines régis par le droit civil fédéral, les cantons conservent en effet la compétence d'édicter des règles de droit public en vertu de l'<ref-law> à condition toutefois que le législateur fédéral n'ait pas entendu régler une matière de façon exhaustive (en ce sens qu'il n'entendait laisser aucune place pour du droit public cantonal sur la même matière), que les règles cantonales soient motivées par un intérêt public pertinent et qu'elles n'éludent pas le droit civil, ni n'en contredisent le sens ou l'esprit (<ref-ruling> consid. 2.1 p. 108; <ref-ruling> consid. 2.1 p. 336; <ref-ruling> consid. 2.1 p. 170; <ref-ruling> consid. 3.1 p. 334, 402 consid. 2 p. 404 et les arrêts cités).
Les cantons demeurent par exemple libres d'édicter des mesures destinées à combattre la pénurie dans le secteur locatif dans la mesure où leur finalité n'est pas d'intervenir dans les rapports entre bailleur et preneur (<ref-ruling> consid. 3d p. 184). Le Tribunal fédéral n'a ainsi pas jugé contraire au droit fédéral le fait d'assortir l'octroi de l'autorisation de rénover des appartements soumis au régime de la loi vaudoise du 4 mars 1985 concernant la démolition, la transformation et la rénovation de maisons d'habitation (LDTR) à un contrôle des loyers durant une période maximale de dix ans au regard du but d'intérêt public poursuivi par la loi (<ref-ruling> consid. 2d p. 510).
Les cantons demeurent par exemple libres d'édicter des mesures destinées à combattre la pénurie dans le secteur locatif dans la mesure où leur finalité n'est pas d'intervenir dans les rapports entre bailleur et preneur (<ref-ruling> consid. 3d p. 184). Le Tribunal fédéral n'a ainsi pas jugé contraire au droit fédéral le fait d'assortir l'octroi de l'autorisation de rénover des appartements soumis au régime de la loi vaudoise du 4 mars 1985 concernant la démolition, la transformation et la rénovation de maisons d'habitation (LDTR) à un contrôle des loyers durant une période maximale de dix ans au regard du but d'intérêt public poursuivi par la loi (<ref-ruling> consid. 2d p. 510).
2.6 2.6.1 La cour cantonale retient que "les règles cantonales en matière d'encouragement de la construction de logements à caractère social, motivées par un intérêt public pertinent, n'éludent pas les règles fédérales protectrices en matière de bail, ni n'en contredisent le sens ou l'esprit" (arrêt attaqué p. 5). Elle sous-entend par là que les dispositions formant le Chapitre 3 de la loi fribourgeoise constituent du droit public cantonal (cf. supra consid. 2.5.2). La thèse défendue par les recourants est basée sur le même constat (cf. supra consid. 2.1).
Certes, l'objectif général du Chapitre 3 de la loi fribourgeoise vise à encourager la construction de logements à caractère social (cf. supra consid. 2.3); il ne consiste donc pas en soi à réglementer les relations entre bailleur et locataire. La question présentement litigieuse n'est toutefois pas de savoir si l'objectif général de la loi cantonale fait obstacle aux dispositions du droit du bail. Il s'agit de déterminer si un point précis des règles édictées par le législateur fribourgeois (soit la façon de définir les frais accessoires à l'art. 25 al. 3 de la loi cantonale) fait obstacle à la mise en oeuvre des art. 257a s. CO.
Cela étant, plusieurs éléments poussent à conclure que la norme cantonale relèverait plutôt du droit privé, en particulier le fait que le renvoi à la LCAP procède d'un choix du législateur fribourgeois tendant à définir les frais à la charge des locataires qui ne sont pas couverts par le loyer. Or, la question du paiement du loyer et celle des frais accessoires ne vise pas à réaliser un intérêt général, mais touche la relation entre bailleur et locataire (sur la théorie des intérêts: <ref-ruling> consid. 4.3 p. 273; <ref-ruling> consid. 2 p. 253 et les références; HÄFELIN/MÜLLER/UHLMANN, Allgemeines Verwaltungsrecht, 6e éd. 2010, n. 255 ss p. 56 s.). La norme cantonale intervient directement dans cette relation et constituerait dès lors du droit privé cantonal (cf. <ref-ruling> consid. 2a p. 331; s'agissant de la fixation du loyer: <ref-ruling> consid. 9d p. 142).
2.6.2 En l'occurrence, il n'est toutefois pas utile d'approfondir la question et d'apprécier, parmi les différentes théories développées pour délimiter les affaires ressortissant au droit public de celles relevant du droit privé, celle qui est la mieux appropriée pour résoudre la question concrète qui se pose (à ce sujet, cf. récemment: arrêt 4A_503/2010 du 20 décembre 2010 consid. 3.2 et les références).
Dans l'hypothèse où l'on retient que la norme cantonale litigieuse est de droit privé, il suffit de constater que les art. 257a et 257b CO ne contiennent aucune réserve maintenant la compétence législative des cantons pour arriver à la conclusion que le législateur fribourgeois ne pouvait légiférer sur cette question (cf. supra consid. 2.5.1).
Dans l'hypothèse énoncée par la juridiction précédente (la règle cantonale litigieuse est de droit public), même à considérer que les art. 257a et 257b CO ne règleraient pas la question des frais accessoires de façon exhaustive, il est indéniable que la norme cantonale, qui qualifie de frais accessoires certains coûts liés à l'existence de la chose louée, élude purement et simplement les art. 257a s. CO (cf. supra consid. 2.4). En outre, on ne voit pas quel intérêt public pertinent pourrait poursuivre le canton en militant pour introduire certaines charges du bailleur dans les frais accessoires plutôt que dans le loyer. A cet égard, on relèvera que le législateur fribourgeois ne saurait se prévaloir des considérations à la base de l'adoption de l'<ref-law>, norme à laquelle renvoie le droit cantonal. La LCAP a prévu un système dérogeant à celui prévu aux art. 257a s. CO pour les immeubles bénéficiant de l'aide de la Confédération. Le Conseil fédéral a expliqué qu'en intégrant les montants des redevances publiques (notamment impôts réels, taxes d'éclairage et primes d'assurance immobilières) dans le loyer (comme cela est exigé par les art. 257a s. CO), cela pourrait donner l'impression que l'aide des pouvoirs publics "n'est pas toujours la même" puisque les montants des redevances publiques et la façon de les porter en compte varient selon les cas. Il a alors été décidé, pour "rendre plus clair le calcul du loyer", de considérer les redevances publiques comme des frais accessoires que le locataire doit payer séparément, en sus du loyer (Message du 17 septembre 1973 relatif à la loi fédérale encourageant la construction et l'accession à la propriété de logements, FF 1973 II p. 711 ch. 453.34). En l'espèce, l'intimé n'a bénéficié d'aucune aide financière des pouvoirs publics (cf. art. 22 al. 1 de la loi cantonale) et les situations ne sont donc nullement comparables.
Dans les deux hypothèses, la mise à la charge des locataires des postes litigieux mentionnés dans les frais accessoires se heurte au principe de la force dérogatoire du droit fédéral. Il importe donc peu que l'arrêt cantonal rendu par la IIe Cour d'appel civil du Tribunal cantonal fribourgeois l'ait été en application correcte du droit cantonal (cf. <ref-ruling> consid. 3 p. 29).
2.7 L'argumentation alternative de la cour cantonale - également attaquée par les recourants (sur l'exigence de recevabilité posée par la jurisprudence, cf. <ref-ruling> consid. 6.3 p. 120 s.) - tend à rendre une décision en équité obligeant les locataires à prendre en charge des frais accessoires que l'autorité précédente qualifie elle-même d' "inhabituels".
La juridiction cantonale ne désigne pas expressément le fondement juridique de son raisonnement. Il apparaît toutefois qu'elle n'entendait pas indiquer que la décision de première instance heurterait le sentiment de justice et d'équité, soit qu'il serait arbitraire (art. 9 Cst.). On ne voit en effet pas que la décision de première instance, qui vise à régler un litige entre les parties au contrat de bail, serait choquante pour la seule raison que le bailleur a été "trompé" par une disposition cantonale qui se révèle contraire au droit fédéral. Il faut souligner que, de leur côté, les locataires n'en peuvent rien et qu'il n'est pas choquant qu'ils demandent l'application d'une norme impérative de droit fédéral. Par ailleurs, tirer argument de l'art. 9 Cst. reviendrait en l'espèce à empêcher, de façon inadmissible, l'application du principe constitutionnel de la force dérogatoire du droit fédéral (sur lequel repose la décision de première instance).
La cour cantonale semble plutôt placer son raisonnement dans la perspective de la conséquence pour les cocontractants de l'application des art. 257a s. CO. Elle souligne que la décision de première instance lèserait le bailleur et que la pratique dont se plaignent les locataires n'est pas contraire à leurs intérêts. Elle laisse ainsi entendre que la première instance n'a pas entrepris correctement la pesée des intérêts dans le litige qu'elle a dû trancher, ce qui conduit à se poser la question de l'application de l'<ref-law> (cf. STEINAUER, op. cit., n. 410 p. 143). C'est donc à bon droit que les recourants invoque une violation de l'<ref-law>.
Selon l'<ref-law>, le juge applique les règles du droit et de l'équité, lorsque la loi réserve son pouvoir d'appréciation ou qu'elle le charge de prononcer en tenant compte soit des circonstances, soit de justes motifs.
En mentionnant - de façon non exhaustive - trois cas de renvoi au juge, l'<ref-law> vise à donner à celui-ci une certaine liberté d'action lorsqu'il doit rechercher le sens d'une norme déterminée (cf. STEINAUER, op. cit., n. 409 s. p. 143; HAUSHEER/JAUN, op. cit., no 1 ad <ref-law>).
Certes, l'application en l'espèce du principe de la force dérogatoire du droit fédéral a pour conséquence qu'un bailleur est soumis à des règles différentes selon que son immeuble a bénéficié ou non d'un subventionnement public; dans le premier cas, il peut mettre à la charge du locataire, sous la forme de frais accessoires, les dépenses indépendantes de l'usage de la chose; dans le deuxième, cette faculté lui est retirée, alors même que l'on a affaire dans les deux situations à des constructions à caractère social. En ce sens, la remarque de la cour cantonale, qui tend à mettre en évidence que la solution n'est pas satisfaisante, est compréhensible. L'<ref-law> ne permet cependant pas à la juridiction précédente d'y remédier. En effet, les art. 257a et 257b CO, de nature impérative, prévoient que les frais accessoires doivent être en rapport avec l'usage de la chose. On ne voit donc pas que ces dispositions fassent référence aux règles de l'équité. Ayant retenu que les frais litigieux sont totalement indépendants de l'usage de la chose, la juridiction précédente, en passant à la subsomption, n'avait pas d'autre choix que de conclure que ces dépenses ne constituaient pas des frais accessoires. En tirant la conclusion inverse, la cour cantonale a clairement transgressé les art. 257a s. CO et son raisonnement, basé sur l'<ref-law>, ne permet pas de justifier la pratique cantonale ancrée à l'art. 25 al. 3 de la loi fribourgeoise.
2.8 A l'issue de cette analyse, le Tribunal fédéral parvient à la conclusion qu'une loi cantonale relative à la construction de logements à caractère social et régissant des immeubles ne bénéficiant pas de l'aide fédérale au sens de la LCAP ne peut déroger aux art. 257a et 257b CO et permettre au bailleur de facturer comme frais accessoires des coûts liés à l'existence de la chose elle-même.
C'est donc en violation des art. 257a al. 1 et 257b al. 1 CO que les parties ont mis ces frais à la charge des locataires. Ceux-ci sont en droit de réclamer le montant payé à tort pendant la durée de leur bail (cf. <ref-law>). Ce montant a été constaté d'une manière qui lie le Tribunal fédéral (<ref-law>).
Il s'ensuit qu'en considérant que le bailleur pouvait facturer de tels coûts aux locataires, la cour cantonale a violé le droit fédéral. Par conséquent, le recours doit être admis, l'arrêt entrepris annulé et la demande en remboursement des locataires accueillie.
3. La cause doit être renvoyée à la cour cantonale pour fixer à nouveau les frais et dépens de l'instance précédente (art. 67 et 66 al. 5 LTF).
Pour ce qui concerne la procédure fédérale, les frais judiciaires et les dépens sont mis à la charge de l'intimé qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est admis et l'arrêt attaqué est annulé.
3. L'intimé est condamné à rembourser aux recourants, créanciers solidaires, la somme de 148 fr. 06 avec intérêt à 5% l'an dès le 10 février 2009.
4. Pour la procédure fédérale, les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de l'intimé.
L'intimé versera aux recourants, créanciers solidaires, une indemnité de 1'500 fr. à titre de dépens.
5. La cause est renvoyée à l'autorité cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
6. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'État de Fribourg, IIe Cour d'appel civil.
Lausanne, le 17 mars 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget