Faits: A. La société coopérative Z._ (ci-après: la coopérative ou la bailleresse), à ..., est propriétaire d'un immeuble locatif situé au chemin ... à xxx. Cet immeuble a été construit en 1957. Par contrat du 1er août 2002, la coopérative a cédé à X._, moyennant un loyer mensuel de 895 fr., plus 115 fr. d'acompte mensuel sur frais accessoires, l'usage d'un appartement de trois pièces et demie dans l'immeuble précité. La bailleresse lui a également remis à bail une place de stationnement pour un loyer de 25 fr. par mois. Depuis le 1er mai 2005, le loyer, sans les charges, a été augmenté à 943 fr. par mois. Par contrat du 21 novembre 2006, la coopérative a cédé à Y._, contre paiement d'un loyer mensuel de 1'080 fr., plus 195 fr. d'acompte mensuel sur frais accessoires, l'usage d'un appartement de quatre pièces et demie sis dans le même immeuble. La bailleresse lui a aussi remis l'usage d'une place de stationnement moyennant versement d'un loyer mensuel de 25 fr. Depuis une date indéterminée, le loyer, sans les charges, a été porté à 1'102 fr. par mois, l'acompte sur frais accessoires ayant été réduit à 170 fr. par mois. Au mois de juin 2006, l'immeuble de la coopérative a été la proie d'un incendie d'origine inconnue. A la suite de ce sinistre, la bailleresse a procédé à des travaux de rénovation et de transformation. Il a été constaté qu'elle en a supporté directement les coûts à concurrence de la somme de 645'746 fr.70. Par formules officielles du 12 décembre 2008, la bailleresse a notifié à X._ et à Y._ une augmentation de loyer pour le 1er avril 2009 fondée sur les plus-values apportées à l'immeuble en raison des travaux effectués. Selon ces formules, le loyer mensuel, places de parc comprises, a été fixé à 1'316 fr. pour X._ (1'201 fr. de loyer et 115 fr. d'acompte sur frais accessoires) et à 1'635 fr. pour Y._ (1'465 fr. de loyer et 170 fr. d'acompte sur frais accessoires). Le 22 décembre 2008, les locataires ont contesté ces hausses de loyers devant la Commission de conciliation en matière de baux à loyer du district de la Broye; ils ont par ailleurs requis une réduction correspondant à un mois de loyer du fait des nuisances qu'ils ont subies pendant les travaux, qui se sont déroulés de juillet 2006 à mars 2007 et de juin à décembre 2008. Aucun accord n'a été trouvé entre les parties. B. Le 15 mars 2010, la coopérative a ouvert action auprès du Tribunal des baux de l'arrondissement de la Broye, concluant notamment à ce que les loyers des appartements remis à bail à X._ et à Y._ soient arrêtés aux montants figurant sur les formules officielles du 12 décembre 2008. Le 29 avril 2010, les locataires précités ont conclu au rejet de la demande. Y._ a fait valoir que la bailleresse n'avait pas utilisé la formule officielle prévue par l'art. 270 al. 2 CO lors de la conclusion de son bail. Au cours d'une séance tenue le 8 septembre 2010 devant le tribunal des baux, A._, représentant de la bailleresse, a admis que la formule officielle n'avait pas été utilisée lors de la conclusion du bail de Y._ et que la coopérative n'avait pas non plus fait usage de la formule officielle lorsqu'elle avait augmenté le loyer initial de X._ dès le 1er mai 2005 et celui de Y._ depuis une date indéterminée. Le 8 mars 2011, X._ et Y._ ont déposé à leur tour une demande contre la coopérative devant le tribunal des baux. Ils ont requis que la bailleresse soit astreinte à leur restituer des loyers indûment payés (en raison de la nullité des augmentations de loyer notifiées en cours de bail) et à leur accorder une réduction de loyer (en raison des nuisances endurées au cours des travaux de réfection) correspondant à trois mois de loyers, cela après compensation avec le montant que chacun reconnaît devoir à la coopérative en vertu de décomptes de frais accessoires, lequel est de 4'992 fr.90 pour X._ et de 2'174 fr.50 pour Y._. Toujours le 8 mars 2011, la bailleresse a déposé deux demandes à l'encontre de X._ et Y._, lesquelles tendaient au paiement de frais accessoires résultant de différents décomptes. Par jugement du 11 novembre 2011, le tribunal des baux a statué tout à la fois sur les demandes de la bailleresse du 15 mars 2010 tendant à des hausses de loyers, les demandes déposées le 8 mars 2011 par X._ et par Y._ en restitution de loyers acquittés à tort et en réduction de loyers ainsi que sur les demandes du 8 mars 2011 de la bailleresse concernant le règlement de frais accessoires. Le tribunal a ainsi fixé le loyer de l'appartement de X._ à 1'020 fr.80 par mois depuis le 1er avril 2009, plus mensuellement 25 fr. pour la place de parc et 115 fr. pour les charges, et condamné X._ à payer à la bailleresse la somme de 125 fr.80 par mois à titre de hausse de loyer depuis le 1er avril 2009 jusqu'à l'entrée en force du jugement, avec intérêts à 5% l'an dès l'échéance moyenne (chiffre I b du dispositif); fixé le loyer de Y._ à 1'241 fr.70 par mois depuis le 1er avril 2009, plus mensuellement 25 fr. pour la place de parc et 170 fr. pour les charges, et condamné Y._ à payer à la bailleresse la somme de 161 fr.70 par mois à titre de majoration de loyer dès le 1er avril 2009 jusqu'à l'entrée en force du jugement, avec intérêts à 5% l'an dès l'échéance moyenne (chiffre I d du dispositif); prononcé que X._ devait verser à la bailleresse le montant de 1'490 fr.90 avec intérêts à 5% dès le 1er juillet 2006 (soit 4'992 fr.90 dû par le locataire à titre de frais accessoires, sous la déduction de 2'352 fr. de loyers indûment payés par celui-ci entre le 1er mai 2005 et le 1er juin 2009 (49 mois) et de 1'150 fr. à titre de réduction de loyer pour nuisances pendant les travaux) (chiffre III a du dispositif); prononcé que Y._ devait verser à la bailleresse le montant de 642 fr.50 avec intérêts à 5% dès le 1er juillet 2008 (soit 2'174 fr.50 dû par ce dernier locataire à titre de frais accessoires, sous la déduction de 132 fr. de loyers indus payés par celui-ci entre le 1er décembre 2008 et le 1er juin 2009 (6 mois) et de 1'400 fr. comme réduction de loyer pour nuisances pendant les travaux) (chiffre III c du dispositif). Statuant par arrêt du 10 octobre 2013 sur l'appel formé par X._ et par Y._ contre le jugement précité, lesquels concluaient au rejet des actions ouvertes par la bailleresse le 15 mars 2010 et à l'admission partielle des actions ouvertes par les locataires le 8 mars 2011, la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg a partiellement admis l'appel et modifié les chiffres III a et III c du dispositif du jugement attaqué; X._ a ainsi été condamné à verser à la coopérative le montant de 914 fr.90 plus intérêts à 5% dès le 1er juillet 2006 (soit 4'992 fr.90 dû par le locataire à titre de frais accessoires, sous la déduction de 2'928 fr. de loyers indûment payés par celui-ci entre le 1er mai 2005 et le 31 mai 2010 (61 mois) et de 1'150 fr. à titre de réduction de loyer pour nuisances pendant les travaux) (chiffre III a nouveau); Y._ a été condamné à verser à la coopérative le montant de 378 fr.50 avec intérêts à 5% dès le 1er juillet 2008 (soit 2'174 fr.50 dû par ce dernier locataire à titre de frais accessoires, sous la déduction de 396 fr. de loyers indus payés par celui-ci entre le 1er décembre 2008 et le 31 mai 2010 (18 mois) et de 1'400 fr. comme réduction de loyer pour nuisances pendant les travaux) (chiffre III c nouveau). La cour cantonale a en revanche confirmé les chiffres I b et I d du dispositif du jugement rendu le 11 novembre 2011. C. X._ (recourant n° 1) et Y._ (recourant n° 2) exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Ils concluent, sous suite de frais et dépens, à la confirmation de la modification des chiffres III a et III c du dispositif rendu par le tribunal des baux, à ce qu'il soit dit que l'action ouverte le 15 mars 2010 par la bailleresse contre le recourant n° 1 est rejetée (chiffre I b nouveau dudit jugement) et à ce qu'il soit prononcé que l'action ouverte le 15 mars 2010 par la bailleresse contre le recourant n° 2 est rejetée (chiffre I d nouveau dudit jugement). L'intimée propose le rejet du recours et la confirmation de l'arrêt critiqué. Par ordonnance présidentielle du 12 mars 2014, la demande d'effet suspensif présentée par les recourants a été rejetée.