Faits:
A.
La société coopérative Z._ (ci-après: la coopérative ou la bailleresse), à ..., est propriétaire d'un immeuble locatif situé au chemin ... à xxx. Cet immeuble a été construit en 1957.
Par contrat du 1er août 2002, la coopérative a cédé à X._, moyennant un loyer mensuel de 895 fr., plus 115 fr. d'acompte mensuel sur frais accessoires, l'usage d'un appartement de trois pièces et demie dans l'immeuble précité. La bailleresse lui a également remis à bail une place de stationnement pour un loyer de 25 fr. par mois. Depuis le 1er mai 2005, le loyer, sans les charges, a été augmenté à 943 fr. par mois.
Par contrat du 21 novembre 2006, la coopérative a cédé à Y._, contre paiement d'un loyer mensuel de 1'080 fr., plus 195 fr. d'acompte mensuel sur frais accessoires, l'usage d'un appartement de quatre pièces et demie sis dans le même immeuble. La bailleresse lui a aussi remis l'usage d'une place de stationnement moyennant versement d'un loyer mensuel de 25 fr. Depuis une date indéterminée, le loyer, sans les charges, a été porté à 1'102 fr. par mois, l'acompte sur frais accessoires ayant été réduit à 170 fr. par mois.
Au mois de juin 2006, l'immeuble de la coopérative a été la proie d'un incendie d'origine inconnue. A la suite de ce sinistre, la bailleresse a procédé à des travaux de rénovation et de transformation. Il a été constaté qu'elle en a supporté directement les coûts à concurrence de la somme de 645'746 fr.70.
Par formules officielles du 12 décembre 2008, la bailleresse a notifié à X._ et à Y._ une augmentation de loyer pour le 1er avril 2009 fondée sur les plus-values apportées à l'immeuble en raison des travaux effectués. Selon ces formules, le loyer mensuel, places de parc comprises, a été fixé à 1'316 fr. pour X._ (1'201 fr. de loyer et 115 fr. d'acompte sur frais accessoires) et à 1'635 fr. pour Y._ (1'465 fr. de loyer et 170 fr. d'acompte sur frais accessoires).
Le 22 décembre 2008, les locataires ont contesté ces hausses de loyers devant la Commission de conciliation en matière de baux à loyer du district de la Broye; ils ont par ailleurs requis une réduction correspondant à un mois de loyer du fait des nuisances qu'ils ont subies pendant les travaux, qui se sont déroulés de juillet 2006 à mars 2007 et de juin à décembre 2008. Aucun accord n'a été trouvé entre les parties.
B.
Le 15 mars 2010, la coopérative a ouvert action auprès du Tribunal des baux de l'arrondissement de la Broye, concluant notamment à ce que les loyers des appartements remis à bail à X._ et à Y._ soient arrêtés aux montants figurant sur les formules officielles du 12 décembre 2008.
Le 29 avril 2010, les locataires précités ont conclu au rejet de la demande. Y._ a fait valoir que la bailleresse n'avait pas utilisé la formule officielle prévue par l'<ref-law> lors de la conclusion de son bail.
Au cours d'une séance tenue le 8 septembre 2010 devant le tribunal des baux, A._, représentant de la bailleresse, a admis que la formule officielle n'avait pas été utilisée lors de la conclusion du bail de Y._ et que la coopérative n'avait pas non plus fait usage de la formule officielle lorsqu'elle avait augmenté le loyer initial de X._ dès le 1er mai 2005 et celui de Y._ depuis une date indéterminée.
Le 8 mars 2011, X._ et Y._ ont déposé à leur tour une demande contre la coopérative devant le tribunal des baux. Ils ont requis que la bailleresse soit astreinte à leur restituer des loyers indûment payés (en raison de la nullité des augmentations de loyer notifiées en cours de bail) et à leur accorder une réduction de loyer (en raison des nuisances endurées au cours des travaux de réfection) correspondant à trois mois de loyers, cela après compensation avec le montant que chacun reconnaît devoir à la coopérative en vertu de décomptes de frais accessoires, lequel est de 4'992 fr.90 pour X._ et de 2'174 fr.50 pour Y._.
Toujours le 8 mars 2011, la bailleresse a déposé deux demandes à l'encontre de X._ et Y._, lesquelles tendaient au paiement de frais accessoires résultant de différents décomptes.
Par jugement du 11 novembre 2011, le tribunal des baux a statué tout à la fois sur les demandes de la bailleresse du 15 mars 2010 tendant à des hausses de loyers, les demandes déposées le 8 mars 2011 par X._ et par Y._ en restitution de loyers acquittés à tort et en réduction de loyers ainsi que sur les demandes du 8 mars 2011 de la bailleresse concernant le règlement de frais accessoires. Le tribunal a ainsi fixé le loyer de l'appartement de X._ à 1'020 fr.80 par mois depuis le 1er avril 2009, plus mensuellement 25 fr. pour la place de parc et 115 fr. pour les charges, et condamné X._ à payer à la bailleresse la somme de 125 fr.80 par mois à titre de hausse de loyer depuis le 1er avril 2009 jusqu'à l'entrée en force du jugement, avec intérêts à 5% l'an dès l'échéance moyenne (chiffre I b du dispositif); fixé le loyer de Y._ à 1'241 fr.70 par mois depuis le 1er avril 2009, plus mensuellement 25 fr. pour la place de parc et 170 fr. pour les charges, et condamné Y._ à payer à la bailleresse la somme de 161 fr.70 par mois à titre de majoration de loyer dès le 1er avril 2009 jusqu'à l'entrée en force du jugement, avec intérêts à 5% l'an dès l'échéance moyenne (chiffre I d du dispositif); prononcé que X._ devait verser à la bailleresse le montant de 1'490 fr.90 avec intérêts à 5% dès le 1er juillet 2006 (soit 4'992 fr.90 dû par le locataire à titre de frais accessoires, sous la déduction de 2'352 fr. de loyers indûment payés par celui-ci entre le 1er mai 2005 et le 1er juin 2009 (49 mois) et de 1'150 fr. à titre de réduction de loyer pour nuisances pendant les travaux) (chiffre III a du dispositif); prononcé que Y._ devait verser à la bailleresse le montant de 642 fr.50 avec intérêts à 5% dès le 1er juillet 2008 (soit 2'174 fr.50 dû par ce dernier locataire à titre de frais accessoires, sous la déduction de 132 fr. de loyers indus payés par celui-ci entre le 1er décembre 2008 et le 1er juin 2009 (6 mois) et de 1'400 fr. comme réduction de loyer pour nuisances pendant les travaux) (chiffre III c du dispositif).
Statuant par arrêt du 10 octobre 2013 sur l'appel formé par X._ et par Y._ contre le jugement précité, lesquels concluaient au rejet des actions ouvertes par la bailleresse le 15 mars 2010 et à l'admission partielle des actions ouvertes par les locataires le 8 mars 2011, la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel et modifié les chiffres III a et III c du dispositif du jugement attaqué; X._ a ainsi été condamné à verser à la coopérative le montant de 914 fr.90 plus intérêts à 5% dès le 1er juillet 2006 (soit 4'992 fr.90 dû par le locataire à titre de frais accessoires, sous la déduction de 2'928 fr. de loyers indûment payés par celui-ci entre le 1er mai 2005 et le 31 mai 2010 (61 mois) et de 1'150 fr. à titre de réduction de loyer pour nuisances pendant les travaux) (chiffre III a nouveau); Y._ a été condamné à verser à la coopérative le montant de 378 fr.50 avec intérêts à 5% dès le 1er juillet 2008 (soit 2'174 fr.50 dû par ce dernier locataire à titre de frais accessoires, sous la déduction de 396 fr. de loyers indus payés par celui-ci entre le 1er décembre 2008 et le 31 mai 2010 (18 mois) et de 1'400 fr. comme réduction de loyer pour nuisances pendant les travaux) (chiffre III c nouveau). La cour cantonale a en revanche confirmé les chiffres I b et I d du dispositif du jugement rendu le 11 novembre 2011.
C.
X._ (recourant n° 1) et Y._ (recourant n° 2) exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Ils concluent, sous suite de frais et dépens, à la confirmation de la modification des chiffres III a et III c du dispositif rendu par le tribunal des baux, à ce qu'il soit dit que l'action ouverte le 15 mars 2010 par la bailleresse contre le recourant n° 1 est rejetée (chiffre I b nouveau dudit jugement) et à ce qu'il soit prononcé que l'action ouverte le 15 mars 2010 par la bailleresse contre le recourant n° 2 est rejetée (chiffre I d nouveau dudit jugement).
L'intimée propose le rejet du recours et la confirmation de l'arrêt critiqué.
Par ordonnance présidentielle du 12 mars 2014, la demande d'effet suspensif présentée par les recourants a été rejetée.

Considérant en droit:
1.
1.1. En droit du bail à loyer, le recours en matière civile n'est ouvert en principe que si la valeur litigieuse atteint au moins 15'000 fr. (<ref-law>). Devant la Cour d'appel, s'agissant du recourant n° 1, la hausse de loyer litigieuse s'élevait à 933 fr.60 par an (<ref-law>). Multiplié par vingt (<ref-law>; <ref-ruling> consid. 1.1 p. 582), ce chiffre donne un total de 18'672 fr. Le recours est ainsi recevable ratione valoris compte tenu des seuls chefs de conclusions de ce recourant.
Interjeté pour le reste par les locataires qui ont partiellement succombé dans leurs conclusions en rejet des hausses de loyers ainsi que dans leurs conclusions en restitution de loyers versés indûment et en réduction de loyers, de sorte qu'ils ont qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours en dernière instance cantonale (<ref-law>), le recours est par principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2. Le recours en matière civile peut être interjeté pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique ce droit d'office (<ref-law>). Il n'est pas lié par l'argumentation des parties (<ref-ruling> consid. 1.3 p. 336) et apprécie librement la portée juridique des faits; il s'en tient cependant aux questions juridiques que la partie recourante soulève dans la motivation du recours (<ref-law>; <ref-ruling> consid. 1.3 p. 584). Le Tribunal fédéral n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 1.4 in fine).
1.3. Le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits constatés dans la décision attaquée (<ref-law>). Les allégations de fait et les moyens de preuve nouveaux sont en principe irrecevables (<ref-law>). La juridiction fédérale peut compléter ou rectifier même d'office les constatations de fait qui se révèlent manifestement inexactes, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62), ou établies en violation du droit comme l'entend l'<ref-law> (<ref-law>). La partie recourante est autorisée à attaquer des constatations de fait ainsi irrégulières si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Il lui incombe alors d'indiquer de façon précise en quoi les constatations critiquées sont contraires au droit ou entachées d'une erreur indiscutable, à défaut de quoi le grief est irrecevable (<ref-ruling> ibidem).
2.
Dans leur premier moyen, les recourants invoquent une violation des <ref-law> et 270 al. 2 CO. Ils affirment que la cour cantonale a rejeté l'appel du recourant n° 2 en partant de la conception juridique erronée selon laquelle il incombe au locataire d'apporter la preuve que le loyer initial convenu est abusif au regard des loyers usuels. A les en croire, en cas de nullité du loyer initial faute d'emploi de la formule officielle, le bailleur aurait la charge d'établir que le loyer initial n'est pas abusif. En outre, les constatations de l'autorité cantonale seraient incomplètes sur différents points: le bâtiment propriété de la bailleresse est ancien, mal entretenu et les appartements qu'il contient ont des dimensions réduites. Les recourants en infèrent que l'immeuble n'est pas « fort bien situé ». Du moment qu'ils ont présenté des indices d'un rendement abusif et que l'intimée n'a pas indiqué les loyers payés par les précédents locataires des logements, une comparaison avec des loyers statistiques ou des loyers pratiqués dans le même immeuble ne serait pas acceptable pour arrêter le loyer initial du recourant n° 2.
2.1. Pour la cour cantonale, qui s'est référée à cet égard aux premiers juges, comme il est établi que la bailleresse a omis d'utiliser la formule officielle prévue par l'<ref-law> lors de la conclusion du bail portant sur le logement remis au recourant n° 2, le loyer contractuel de ce locataire était nul, de sorte que le loyer initial équitable devait être déterminé au regard des circonstances d'espèce, soit, s'agissant d'un immeuble ancien, les loyers non abusifs pratiqués dans le quartier et le loyer payé par le précédent locataire. Retenant que l'immeuble bénéficie d'une situation favorable, la Cour d'appel a considéré que si la comparaison avec les loyers d'autres locataires du même immeuble n'est pas suffisante pour établir le caractère non abusif du loyer initial, elle constitue néanmoins un indice que les locataires devaient réfuter. Faute de l'avoir fait, ces derniers ont manqué au devoir qui leur incombait de démontrer le caractère abusif du loyer initial. La cour cantonale en a déduit que le loyer initial du recourant n° 2, fixé par les premiers juges au montant figurant dans le bail conclu le 21 novembre 2006, n'était pas abusif.
2.2.
2.2.1. Dans tout le canton de Fribourg, depuis le 1er janvier 2003, le bailleur, en vertu de l'<ref-law> et de la législation cantonale fondée sur cette norme, a l'obligation de communiquer au locataire, en usant d'une formule agréée par l'autorité (formule officielle), le montant du loyer antérieurement perçu.
In casu, il n'est pas contesté que le loyer initial du recourant n° 2 n'a pas été notifié sur une formule officielle.
Lorsque la formule officielle n'a pas été employée pour un loyer initial alors qu'elle était obligatoire, ce vice entraîne la nullité du contrat de bail en tant qu'il détermine le loyer (<ref-ruling> consid. 2.3 p. 548 et les arrêts cités). En pareille situation, même si aucune des conditions particulières de l'art. 270 al. 1 let. a ou b CO n'est réalisée, le locataire peut saisir d'abord l'autorité de conciliation, puis le juge pour que ce dernier arrête le loyer initial (arrêt 4A_129/2011 du 28 avril 2011 consid. 2, in JdT 2012 II 113).
2.2.2. Quand il doit fixer le loyer initial, le juge dispose d'une grande marge d'appréciation (<ref-ruling> consid. 3.5.1 p. 23). Il doit en principe se fonder sur un calcul de rendement basé sur le prix de revient de l'immeuble, puisqu'un tel calcul a en principe la primauté sur toutes les autres méthodes de détermination du loyer non abusif (<ref-ruling> consid. 2b p. 312; arrêt 4A_250/2012 du 28 août 2012 consid. 2.4, in SJ 2013 I p. 49). Mais lorsque l'immeuble a été construit ou acquis il y a plusieurs décennies, il est dit « ancien » et la hiérarchie des critères absolus est inversée, si bien qu'il convient, selon la jurisprudence, de préférer la détermination du loyer usuel à un calcul de rendement (<ref-ruling> consid. 3.1.2 p. 16 et les arrêts cités).
Le tribunal des baux a retenu que l'immeuble dans lequel se trouvent les appartements des recourants a été construit en 1957 (complètement des faits en vertu de l'<ref-law>). L'intimée n'ayant jamais prétendu avoir acquis récemment ce bâtiment, il s'agit manifestement d'un immeuble ancien dans le sens susrappelé. L'ordre de priorité entre les critères absolus de fixation du loyer est ainsi inversé. Dès lors qu'un calcul de rendement net n'a pas lieu d'être, peu importe que les recourants ait apporté des indices de rendement abusif.
2.2.3. Pour établir les loyers usuels, le juge doit disposer d'au moins cinq éléments de comparaison répondant aux exigences de l'<ref-law> (RS 221.213.11) (<ref-ruling> consid. 3.3 p. 20; <ref-ruling> consid. 3.1 p. 79 s.). En l'espèce, aucun élément de comparaison n'a été apporté au juge, de sorte que celui-ci ne disposait pas des éléments nécessaires pour déterminer le loyer usuel selon la jurisprudence du Tribunal fédéral.
Confronté à une telle situation, le juge, afin de fixer le loyer admissible, doit fonder sa décision sur toutes les circonstances du cas (<ref-ruling> consid. 2b p. 64).
Dans son jugement du 11 novembre 2011, le tribunal des baux a retenu que l'immeuble précité n'avait pas été l'objet d'importantes rénovations avant juin 2006 et qu'il est composé d'appartements de trois pièces et demie, dont la surface est d'environ 70 m2, et de quatre pièces et demie, ayant une surface approximative de 86 m2. Les faits retenus par la cour cantonale peuvent être complétés sur ces points non contestés, conformément à l'<ref-law>.
On peut concéder aux recourants que les appartements remis à bail ne sont pas particulièrement spacieux. En revanche, la Cour d'appel a constaté qu'ils se situaient dans un quartier peu exposé au bruit, à proximité immédiate d'un arrêt de bus, à moins de dix minutes à pied d'un centre commercial et d'une école, ainsi qu'à moins de quinze minutes à pied du centre de la ville, d'un autre centre commercial, de plusieurs banques et d'écoles primaires. Il n'est pas possible de considérer qu'un tel environnement est défavorable, comme les recourants le prétendent.
Il est également vrai que l'intimée n'a pas fourni d'indications relatives au loyer payé par le locataire qui occupait précédemment le logement du recourant n° 2.
Comme l'a relevé le tribunal des baux, l'intimée a produit un extrait de l'annuaire statistique du canton de Fribourg, duquel il ressort qu'en 2003 le loyer mensuel moyen s'élevait à 1'308 fr.40 pour un appartement de quatre pièces et demie. Le recourant n° 2 n'a pas contesté ces chiffres. La bailleresse a aussi déposé une étude publiée en 2009 dans le magazine L'Hebdo, selon laquelle le loyer mensuel moyen à xxx pour un logement de quatre pièces et demie se montait à 1'410 fr.
Ces données ne constituent pas une statistique officielle au sens de l'<ref-law>. Toutefois, la cour cantonale ne saurait être critiquée pour s'être fondée, faute de mieux, en particulier sur de telles indications, alors qu'aucun autre moyen de preuve sérieux ne lui était apporté (cf. arrêt arrêt 4A_250/2012 du 28 août 2012 consid. 2.4 in fine, in SJ 2013 I p. 49).
Compte tenu que l'appartement du recourant n° 2 est situé dans un cadre plutôt agréable (quartier tranquille, proximité de toutes commodités) et que le loyer mensuel convenu, soit 1'080 fr. sans les charges, était inférieur de plus de 15% au loyer mensuel moyen de 2003 d'après l'annuaire statistique cantonal, la Cour d'appel n'a pas abusé de son pouvoir d'appréciation en retenant que le loyer initial dudit recourant devait être arrêté au montant fixé par les parties dans le bail du 21 novembre 2006.
Le moyen, reposant sur une transgression des <ref-law> et 270 al. 2 CO, est infondé.
3.
Les recourants affirment que l'autorité cantonale a enfreint les <ref-law> et 14 al. 1 OBLF lorsqu'elle a examiné s'il fallait considérer comme justifiées les augmentations de loyers que l'intimée leur a notifiées le 12 décembre 2008 pour les travaux à plus-values réalisés à la suite de l'incendie de juin 2006. Ils prétendent que les plus-values apportées par les travaux auraient pu être déterminées poste par poste si la bailleresse avait produit un décompte fiable et détaillé, permettant de distinguer précisément la part des plus-values et celle de l'entretien différé. Or l'impossibilité d'établir précisément le coût net des travaux devait conduire au rejet de toute augmentation de loyer en application des règles sur le fardeau de la preuve.
3.1. D'après l'autorité cantonale, les premiers juges, au terme d'un examen détaillé des pièces produites par la bailleresse, ont considéré que le coût des travaux supportés directement par celle-ci s'élevait à 645'746 fr.70. Vu la difficulté à distinguer, s'agissant d'un immeuble ancien qui n'avait pas été entretenu depuis sa construction en 1957, entre la part des travaux relevant de l'entretien et celle qui procurait des plus-values, ces magistrats ont appliqué la présomption de l'<ref-law> et retenu qu'un pourcentage de 50% du coût des travaux représentait les investissements ayant créé des plus-values. Les augmentations de loyers devaient être calculées à partir des loyers initiaux, étant donné que les hausses de loyers précédentes étaient nulles, faute d'avoir été communiquées par formules officielles. Pour le recourant n° 1, l'augmentation mensuelle autorisée s'élevait à 125 fr.80, pour le recourant n° 2 à 161 fr.70. La cour cantonale a approuvé le raisonnement des premiers juges.
3.2. L'<ref-law> institue un critère relatif de fixation du loyer servant à déterminer si la hausse réclamée au locataire actuel en raison de prestations supplémentaires du bailleur se justifie au regard du loyer convenu antérieurement. L'<ref-law> explicite cette norme en définissant ce qu'il faut entendre par « prestations supplémentaires du bailleur ».
Il n'est fréquemment pas aisé de distinguer les travaux d'entretien de ceux à plus-values. L'art. 14 al. 1, 2e phrase, OBLF énonce qu'en règle générale, les frais causés par d'importantes réparations sont considérés, à raison de 50 à 70 %, comme des investissements créant des plus-values. Le bailleur peut alors se limiter à prouver le montant total investi (Bohnet/Broquet, Droit du bail à loyer, Commentaire pratique, 2010, Bohnet/Montini [éd.], n° 92 ad <ref-law>, p. 875).
La présomption posée par l'art. 14 al. 1 in fine OBLF, qui a pour fin de faciliter la preuve, peut être renversée si la part exacte de l'investissement entraînant une plus-value est déterminable (<ref-ruling> consid. 3a).
Les recourants reprochent à la bailleresse de n'avoir pas produit un décompte précis distinguant les travaux d'entretien de ceux à plus-values. Pourtant, ils ne contestent pas que du moment que la bailleresse n'a pas établi avoir réalisé des travaux d'entretien entre 1957 et le second semestre 2006, les travaux réalisés à la suite de l'incendie correspondaient en grande partie à de l'entretien différé, si bien qu'il s'avérait délicat d'évaluer poste par poste la part créant des plus-values. Compte tenu de la difficulté à faire le départ entre les travaux d'entretien et les améliorations ayant apporté des plus-values, il n'est pas possible de discerner le montant réel des plus-values.
Le décompte produit en procédure - lequel mentionnait un coût de travaux à charge de l'intimée s'élevant au total de 645'746 fr. 70 - ne contenait ainsi aucun élément qui justifiait de s'écarter du pourcentage forfaitaire de 50 à 70 % ancré à l'<ref-law>. La cour cantonale a choisi de tenir compte de la valeur la plus basse de la fourchette, ce qui est favorable aux recourants. Il n'y a en la matière pas l'ombre d'une violation des règles régissant le fardeau de la preuve. Et la Cour d'appel n'a pas non plus abusé de son pouvoir d'appréciation.
Les magistrats fribourgeois ont retenu, à bon droit, que les majorations de loyers signifiées aux deux recourants avant le 12 décembre 2008 étaient nulles, car elles n'avaient pas été effectuées au moyen de formules officielles (cf. <ref-law>). Ils ont donc calculé les hausses de loyer justifiées à partir des loyers initiaux des deux recourants. Ces points ne font l'objet d'aucune critique, tout comme d'ailleurs la détermination du montant des augmentations de loyers admissibles opérée soigneusement par le tribunal des baux, à laquelle la cour cantonale s'est implicitement ralliée.
Le moyen est privé de fondement.
4.
Se prévalant d'une transgression des <ref-law>, 29 al. 2 Cst. et 6 par. 1 CEDH, les recourants prétendent que l'autorité cantonale, au mépris de leur droit d'être entendus et de leur droit à un procès équitable, n'a pas examiné leurs arguments par lesquels ils ont tenté de démontrer que l'intimée avait négligé son devoir de produire les pièces comptables permettant de déterminer les fonds propres investis dans l'immeuble. Ils relatent avoir donné des indices d'un rendement abusif et répètent qu'un calcul de rendement était possible.
4.1. La cour cantonale a jugé, au considérant 2d in fine de l'arrêt déféré, p. 6, que n'étaient pas pertinents les arguments des recourants relatifs à l'insuffisance des documents produits par la bailleresse pour établir le rendement admissible selon la méthode absolue, dès l'instant où, s'agissant des immeubles anciens, la jurisprudence renonce au calcul de rendement si le loyer initial ne dépasse pas les limites des loyers usuels.
4.2.
4.2.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique notamment l'obligation pour le juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Il suffit cependant, selon la jurisprudence, que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il n'est toutefois pas tenu d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties. Il n'y a violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner et de traiter les problèmes pertinents (<ref-ruling> consid. 4.1; <ref-ruling> consid. 3.3).
En vertu de l'art. 6 par. 1 CEDH, toute personne a droit à ce que sa cause soit entendue équitablement, publiquement et dans un délai raisonnable, par un tribunal indépendant et impartial, établi par la loi, qui décidera des contestations sur ses droits et obligations de caractère civil.
4.2.2. Le grief des recourants selon lequel ils n'ont pas eu droit à un procès équitable ne répond manifestement pas aux exigences strictes de motivation posées par l'<ref-law> lorsque la violation de droits fondamentaux est invoquée.
Concernant le droit d'être entendu, il est de jurisprudence que l'art. 6 par. 1 CEDH n'a pas une portée plus large que celle qui découle de l'art. 29 al. 2 Cst. (<ref-ruling> consid. 2.1 p. 485 s. et les références).
En l'espèce, il n'y a pas trace d'une violation par l'autorité cantonale de son devoir de se saisir des questions pertinentes. Elle a rappelé à juste titre que la hiérarchie des critères absolus est inversée lorsque l'immeuble est ancien, le critère (fondé sur les coûts) du rendement de la chose louée au sens de l'<ref-law> devant s'effacer au profit du critère des loyers du marché de l'<ref-law> (cf. <ref-ruling> consid. 3.1.2 p. 16).
A propos de l'impossibilité de connaître les fonds propres investis, le tribunal des baux avait retenu, en p. 9 et 10 de son jugement, que l'intimée ne détenait plus aucune pièce susceptible d'établir le montant investi pour la construction du bâtiment et que le représentant de la coopérative avait déclaré ignorer si celle-ci avait dû contracter un emprunt bancaire au moment de la construction de l'immeuble. Quoi qu'en disent les recourants, un calcul de rendement était impossible pour l'immeuble en question.
Le moyen est infondé dans la mesure de sa recevabilité.
5.
5.1. A suivre les recourants, la cour cantonale aurait méconnu le fait que c'est la bailleresse qui a invoqué le critère des loyers comparatifs, de sorte qu'incombait à celle-ci le fardeau de la preuve dans l'application de ce critère, non seulement pour fixer le loyer initial du recourant n° 2 mais aussi pour justifier les augmentations de loyers contestées. Ils y voient une violation des <ref-law> et 269a let. b CO.
5.2. Comme on l'a vu ci-dessus au considérant 2.2.3, le loyer initial du recourant n° 2 n'a pas été fixé au regard des loyers du marché, car aucun élément de comparaison présentant des caractéristiques semblables à la chose louée n'a été apporté au juge. Le loyer initial a été arrêté en fonction de toutes les circonstances du cas.
Quant aux hausses de loyers signifiées par formules officielles du 12 décembre 2008, elles ont été contrôlées à la lumière du critère relatif de l'<ref-law> autorisant une majoration de loyer si le bailleur fournit au locataire des prestations supplémentaires créant des plus-values (cf. considérant 3.2 supra).
Le dernier moyen des recourants manque totalement sa cible.
6.
En définitive, le recours doit être rejeté dans la mesure de sa recevabilité.
Les recourants, qui succombent, paieront solidairement les frais judiciaires (art. 66 al. 1 et 5 LTF) et verseront à l'intimée, avec solidarité entre eux, une indemnité à titre de dépens (art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants verseront solidairement à l'intimée une indemnité de 3'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, IIe Cour d'appel civil.
Lausanne, le 11 avril 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet