Faits:
A. A.a X._, né le 20 février 1929, a été engagé en qualité de prêtre, à partir du 1er avril 1995, par la Fédération T._ (ci-après: la Fédération), laquelle assure le lien entre la collectivité catholique et l'Etat de Vaud, notamment en rétribuant les ecclésiastiques et permanents laïcs qui exercent dans le canton de Vaud. X._ venait alors de prendre la retraite de sa précédente activité professionnelle de rédacteur en chef d'un périodique.
Par lettre du 11 avril 1995, le secrétaire général de la Fédération a écrit à X._ qu'à considérer le fait que celui-ci soutenait financièrement ses quatre enfants tous aux études, le prêtre allait continuer à toucher directement ses rentes des premier et deuxième piliers, que ces rentes ne seraient imputées sur le « salaire Fédération » qu'à concurrence de 700 fr. par mois, qu'une indemnité mensuelle supplémentaire de 500 fr. lui serait allouée au titre des frais professionnels et que le coût de son logement serait assumé par la Fédération.
Il a été constaté que, par la suite et à titre exceptionnel, l'imputation des rentes précitées sur le salaire du prêtre a été réduite à 150 fr. par mois.
A.b Depuis le 1er janvier 2004, le statut financier des ecclésiastiques dans le canton de Vaud est régi par le nouveau Statut financier pour les prêtres du diocèse de Lausanne, Genève et Fribourg. Une copie de ce document a été adressée à l'abbé X._ le 2 juin 2003 avec une notice explicative, puis une nouvelle fois le 20 avril 2005.
Au début 2004, à une date indéterminée, le secrétaire général de la Fédération a eu un entretien avec X._, lors duquel il l'a informé que son statut financier particulier ne pouvait plus être maintenu et qu'après son 75ème anniversaire il serait automatiquement à la retraite.
Il résulte de l'art. 4.1 dudit statut financier que l'âge de la retraite des prêtres est fixé sur le plan administratif à 68 ans. La mise à la retraite s'effectue toutefois de façon progressive: à partir de 65 ans, le prêtre a un entretien avec l'évêque diocésain pour envisager la suite de son ministère; à 68 ans, le prêtre peut être déchargé des lourdes responsabilités et assumer son ministère avec un taux d'occupation réduit; à partir de 75 ans, le prêtre est complètement à la retraite même s'il peut rendre des services, qui ne sont plus rémunérés par les instances cantonales.
L'art. 4.2.2 du même statut fixe la composition du revenu du prêtre retraité selon son âge; cette norme dispose en particulier ce qui suit:
« ...
de 68 à 75 ans
Le revenu du prêtre entre 68 et 75 ans est formé des rentes de l'AVS et de la Caisse de prévoyance V._, ainsi que de la rémunération de son travail; le revenu total n'excède toutefois pas le salaire de référence net. La RMG (i. e. rente minimale garantie équivalant à 60% du salaire de référence brut) est garantie sous condition d'un ministère d'au moins 30 ans au service du diocèse.
dès 75 ans
Le revenu du prêtre à partir de 75 ans est formé des rentes AVS + V._ ainsi que, sous condition d'un ministère d'au moins 30 ans au service du diocèse, du complément nécessaire pour atteindre la RMG ».
En raison de l'entrée en vigueur dudit statut financier, le paiement du salaire de X._ aurait dû cesser à ses 75 ans, soit en février 2004, voire à la fin de l'année pastorale, le 31 août 2004. Le prénommé n'a toutefois été retiré de la liste des prêtres de l'Etat de Vaud qu'à la fin décembre 2004.
A.c Par courrier du 1er mars 2005, X._ a demandé au Conseil épiscopal du diocèse l'autorisation de poursuivre son ministère jusqu'en été 2007 tout en continuant à recevoir son salaire de prêtre au-delà de 75 ans. Comme raisons personnelles, le prêtre a exposé que lorsqu'il avait fait donation en 2003 de sa maison sise à ... à sa fille B.X._, il n'avait pas eu l'intention de défavoriser ses trois autres enfants; n'ayant pas d'autre fortune, il s'était ainsi vu contraint de contracter auprès de la banque W._ un emprunt de 50'000 fr. à rembourser dans les cinq ans; en plus de ce prêt bancaire, il avait pris auprès de l'organisme U._, pour venir en aide à des requérants d'asile africains, des engagements financiers, lesquels le liaient pour plusieurs années.
Par pli du 15 mars 2005, le secrétaire général de la Fédération lui a fait savoir qu'à 75 ans au plus tard la rente de la caisse de pension est fixée définitivement et que le prêtre bénéficie alors du statut de rentier, même s'il peut encore exercer à titre bénévole un ministère d'appoint; le secrétaire général a ajouté qu'il serait procédé à un « réexamen de (sa) situation financière de retraité à la lumière de la décision que prendra le Conseil épiscopal ».
Le 12 avril 2005, le Vicaire épiscopal, sous la plume de l'Abbé A._, a déclaré à X._, dans une écriture en langue allemande, que le Conseil épiscopal (Bischofsrat) avait accepté sa requête de continuer à exercer son activité de prêtre pour la paroisse « ... » jusqu'en été 2007, que le conseil avait décidé qu'il percevrait de nouveau le salaire normal d'un prêtre à 100% et que le conseil faisait cette exception d'après l'art. 9 du règlement de la Caisse de prévoyance V._ pour tenir compte de sa situation de père de famille.
Le lendemain 13 avril 2005, le secrétaire général de la Fédération a écrit au Vicaire A._ que l'interprétation de l'art. 9 du règlement de la Caisse de prévoyance V._ était en contradiction avec l'engagement pris par le Conseil épiscopal et a sollicité que la situation soit clarifiée.
Il a été établi que X._ a continué à exercer son activité de prêtre au sein de la paroisse ..., lors même que son salaire ne lui a plus été versé depuis le 1er janvier 2005. Dès cette date, le précité a reçu une rente mensuelle AVS de 2'150 fr. et une rente mensuelle du deuxième pilier de 1'737 fr.30, plus une seconde rente mensuelle du même pilier de 213 fr. versée par la Fédération.
Le 22 juin 2005, à l'occasion d'une rencontre tenue entre le secrétaire général de la Fédération et l'avocat mandaté par X._ pour faire valoir ses prétentions de salaire, le premier a soumis au second une offre transactionnelle consistant à ce que la Fédération finance le remboursement de l'emprunt de 50'000 fr. contracté par le prêtre auprès de la banque W._ par une contribution à fonds perdu de 25'000 fr. et par un prêt sans intérêt de 25'000 fr., remboursable en dix annuités, en contrepartie de quoi le prêtre déclarait renoncer à ses exigences salariales.
Le 2 juillet 2005, le prêtre a écrit au secrétaire général qu'il se déclarait prêt à un compromis lui permettant d'assurer ses obligations familiales. Par lettre du même jour, le prêtre a informé son avocat qu'il était toujours prêt à un compromis, qu'il appréciait donc « le propos de la Fédération de (lui) avancer la totalité du montant ... emprunté, par CHF 50'000.-, dont la moitié à fonds perdus » et qu'il acceptait la proposition en question qui le déchargeait de sa dette.
Le 7 juillet 2005, le conseil du prêtre a confirmé au secrétaire général que son client acceptait l'offre de la Fédération du 22 juin 2005.
Le 31 août 2005, X._ et la Fédération ont signé un document intitulé « convention de prêt » ayant la teneur suivante:
« 1. La Fédération prête à X._ la somme de CHF 50'000.-, versée dans les dix jours dès la signature de la présente convention.
2. Le présent prêt est convenu sans intérêt.
3. L'abbé X._ remboursera le prêt par des acomptes mensuel de CHF 200.- payables dès le mois suivant le versement du montant de CHF 50'000.-.
4. En cas de décès de X._ avant le remboursement intégral du prêt, la Fédération renoncera au découvert éventuel, à l'entière libération des héritiers de X._.
5. En application de l'article 243 CO, la Fédération renoncera au remboursement des montants suivants:
a) CHF 9'950.- à la signature de la présente convention
b) CHF 9'950.- au 1er janvier 2006
c) CHF 5'100.- au 1er janvier 2007.».
A.d Par lettre du 20 octobre 2006, X._, après avoir obtenu un avis de droit au sujet de ses prétentions salariales, a demandé au Vicaire A._ que sa situation financière soit réexaminée et s'est prévalu de sa compréhension de bonne foi de l'écriture que lui avait adressée le Vicaire le 12 avril 2005.
Le 6 novembre 2006, le Vicaire a répondu au prêtre que sa requête allait être discutée au Conseil épiscopal.
A.e La Fédération a été transformée en institution de droit public à la suite de l'entrée en vigueur, le 1er janvier 2007, de la loi vaudoise sur la Fédération ecclésiastique catholique romaine du 9 janvier 2007.
X._ est décédé le 12 juillet 2007 à Lausanne, laissant pour héritiers légaux ses quatre enfants soit A.X._, B.X._, C.X._ et F.X._; ce dernier est décédé le 17 mai 2009, ses héritiers étant D.X._, E.X._ et G.X._.
Le 19 juillet 2007, la Fédération a fait savoir aux héritiers du prêtre X._ qu'elle renonçait au « découvert éventuel » résultant de la convention de prêt du 31 août 2005, conformément aux termes de cet accord.
B. Par demande du 11 septembre 2008 déposée devant le Tribunal civil de l'arrondissement de Lausanne, les hoirs de X._, soit actuellement A.X._, B.X._, C.X._, D.X._, E.X._ et G.X._ (ci-après: les demandeurs), ont conclu à ce que la Fédération et Monseigneur C._, Evêque du diocèse de Lausanne, Genève et Fribourg, soient reconnus leurs débiteurs solidaires de la somme de 100'000 fr.
Les défendeurs ont conclu à leur libération.
Par jugement du 8 mars 2010, le Tribunal d'arrondissement a entièrement débouté les demandeurs.
Le 22 juillet 2010, les demandeurs ont déféré ce jugement devant la Chambre des recours du Tribunal cantonal vaudois en reprenant leurs conclusions de première instance.
En cours d'instance devant cette autorité, Monseigneur C._ est décédé.
Par décision du 21 octobre 2010, les héritiers de feu Monseigneur C._ ont été déclarés hors de cause et de procès.
Par arrêt du 19 janvier 2011, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours des demandeurs et confirmé le jugement du 8 mars 2010. Les motifs de cette décision seront exposés ci-après dans la mesure utile.
C. Les demandeurs exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Ils concluent à l'annulation de cet arrêt et à ce que la Fédération soit condamnée à leur payer la somme de 100'000 fr.
La Fédération propose le rejet du recours.
Les recourants ont déposé des observations à propos de la réponse de l'intimée.
L'intimée a formulé des remarques sur ces observations.

Considérant en droit:
1. 1.1 Interjeté par les demandeurs qui ont entièrement succombé dans leurs conclusions en paiement et qui ont ainsi la qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire de droit du travail dont la valeur litigieuse atteint le seuil de 15'000 fr. prévu à l'art. 74 al. 1 let. a LTF, le recours est par principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 et l'arrêt cité). Toutefois, compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations factuelles de l'autorité cantonale ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire telle que l'entend l'art. 9 Cst. (ATF <ref-ruling> consid. 2.4; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. Dans l'arrêt critiqué, les magistrats vaudois ont tout d'abord retenu que la cause devait être examinée, pour la période courant de janvier 2005 à fin 2006, au regard du code des obligations et, pour les sept premiers mois de l'année 2007, à la lumière de la loi vaudoise sur la Fédération ecclésiastique catholique romaine, entrée en vigueur le 1er janvier 2007, laquelle a consacré l'intimée comme personne morale de droit public vaudois. Les juges cantonaux ont nié que les recourants aient pu déduire de la lettre écrite le 12 avril 2005 au défunt par le Vicaire épiscopal, communiquant la position du Conseil épiscopal, que le contrat de travail conclu en 1995 entre feu X._ et l'intimée fût prolongé jusqu'en été 2007 aux conditions salariales indiquées dans ledit courrier. Ils ont estimé à cet égard que le Conseil épiscopal était un organe de l'Eglise, mais non directement de l'intimée.
Dans une seconde motivation, ces magistrats ont confirmé l'interprétation opérée par les premiers juges de la convention du 31 août 2005, selon laquelle les parties contractantes avaient la volonté réelle de régler, par un accord global, singulièrement le différend issu des prétentions salariales du défunt prêtre et ainsi d'inclure dans cet accord la renonciation de ce dernier à son salaire depuis le 1er janvier 2005. Il était dans cette optique sans importance que le texte de la convention ne comportât pas de quittance pour solde de tout compte et qu'elle fût intitulée « convention de prêt » et non convention transactionnelle. Enfin, un tel accord était admissible sous l'angle de l'art. 341 CO, puisqu'il mettait fin par des concessions réciproques au litige ou à l'incertitude dans laquelle se trouvaient les parties au sujet du rapport de droit litigieux.
3. Lorsque, comme c'est le cas en l'espèce, la décision attaquée comporte plusieurs motivations indépendantes dont chacune suffit à sceller le sort de la cause, il appartient à la partie recourante, sous peine d'irrecevabilité, de démontrer que chacune d'entre elles est contraire au droit (<ref-ruling> consid. 6.3; <ref-ruling> consid. 2.2 p. 598).
Les recourants ont attaqué chacune des deux motivations retenues par la Chambres des recours, de sorte que leur recours est recevable sous cet angle.
4. Les recourants prétendent que la cour cantonale a erré en estimant que le caractère global de la transaction du 31 août 2005 démontrait la renonciation du prêtre défunt à ses exigences de salaire. Ils lui reprochent d'avoir interprété cet acte en introduisant des éléments étrangers à son contenu. L'autorité cantonale aurait ainsi apprécié arbitrairement l'offre transactionnelle du 22 juin 2005, les deux courriers écrits par le défunt prêtre le 2 juillet 2005 et l'écriture adressée par le conseil de ce dernier au secrétaire général de l'intimée le 7 juillet 2005 (pièces 132 à 135 du dossier). Les recourants font valoir que, sans aucuns éléments probants, la Chambre des recours aurait créé ex nihilo, à savoir de manière insoutenable, une convention parallèle à la convention de prêt, laquelle réglerait le point crucial du litige en ce sens que le prêtre aurait renoncé à ses prétentions salariales.
Invoquant la violation de l'art. 341 CO, les recourants allèguent encore que la convention du 31 août 2005 ne comporterait aucune concession de l'intimée. Pour avoir retenu que la moitié du prêt octroyé par la Fédération ne devait plus être remboursée après la passation de l'accord en cause, la cour cantonale serait tombée dans l'arbitraire.
4.1 Lorsqu'il est amené à qualifier ou interpréter un contrat, le juge doit tout d'abord s'efforcer de déterminer la commune et réelle intention des parties, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la nature véritable de la convention (art. 18 al. 1 CO). S'il y parvient, il pose une constatation de fait qui lie en principe le Tribunal fédéral conformément à l'art. 105 LTF (<ref-ruling> consid. 5.2).
Le sens d'un texte, apparemment clair, n'est pas forcément déterminant, de sorte que l'interprétation purement littérale est prohibée. Même si la teneur d'une clause contractuelle paraît limpide à première vue, il peut résulter d'autres conditions du contrat, du but poursuivi par les parties ou d'autres circonstances que le texte de ladite clause ne restitue pas exactement le sens de l'accord conclu. Il n'y a cependant pas lieu de s'écarter du sens littéral du texte adopté par les intéressés lorsqu'il n'existe aucune raison sérieuse de penser qu'il ne correspond pas à leur volonté (<ref-ruling> consid. 3.2.1 p. 188; <ref-ruling> consid. 5.2 p. 302; <ref-ruling> consid. 2.2.1, 675 consid. 3.3 p. 681 s.).
Les circonstances retenues par l'autorité cantonale relatives à ce que les parties avaient en vue lors des pourparlers et au moment de la conclusion du contrat relèvent du fait (<ref-ruling> consid. 4.1 p. 611; <ref-ruling> consid.2.2 p. 422).
Les circonstances retenues par l'autorité cantonale relatives à ce que les parties avaient en vue lors des pourparlers et au moment de la conclusion du contrat relèvent du fait (<ref-ruling> consid. 4.1 p. 611; <ref-ruling> consid.2.2 p. 422).
4.2 4.2.1 In casu, la cour cantonale a retenu en fait que lorsque le prêtre défunt et l'intimée ont signé la convention du 31 août 2005, ils avaient l'intention, ainsi que le démontrent des déclarations faites avant la conclusion de cet accord, de mettre fin au différend né des prétentions de salaire du premier à l'endroit de la seconde. Il faut donc vérifier si c'est arbitrairement que l'autorité cantonale est parvenue à ce constat, comme le prétendent les recourants en se référant aux pièces 132 à 135 du dossier.
La proposition transactionnelle émise le 22 juin 2005 par le secrétaire général de l'intimée à l'adresse du conseil du prêtre défunt (pièce 132) - document dont les recourants ne soutiennent pas que le contenu a été retranscrit arbitrairement dans l'arrêt attaqué - faisait clairement état de la renonciation de ce dernier à ses exigences salariales si la Fédération s'engageait à financer le remboursement de l'emprunt que le prêtre avait dû contracter auprès de la banque W._ à la suite de la donation à une de ses filles de sa maison de .... Dans ses deux écritures du 2 juillet 2005, adressées la première au secrétaire général de l'intimée, la seconde à son propre conseil (pièces 133 et 134), le prêtre se déclarait expressément disposé à un compromis. Et dans l'écriture envoyée par l'avocat du prêtre au secrétaire général le 7 juillet 2005 (pièce 135), ce conseil a écrit que son client acceptait l'offre de l'intimée du 22 juin 2005, sans formuler aucune réserve; or cette offre mentionnait la renonciation du prêtre à ses exigences salariales.
C'est ainsi sans le moindre arbitraire que la cour cantonale a déduit de l'ensemble de ces circonstances ayant précédé la passation de l'accord du 31 août 2005 que la volonté réelle des parties contractantes à cet acte, bien que celui-ci ne fît pas allusion aux prétentions de salaire du prêtre, était d'y inclure la renonciation de ce dernier au versement d'un salaire après le 1er janvier 2005.
Ainsi qu'on l'a rappelé, la jurisprudence a posé le principe que l'interprétation littérale d'un accord doit s'effacer s'il existe d'autres éléments significatifs démontrant que son texte ne reflète pas le sens voulu par les parties qui l'ont signé (cf. <ref-ruling> consid. 3.2.1 p. 188). C'est précisément le cas en l'espèce.
Enfin, il est dénué d'importance que la convention en cause portât en titre « convention de prêt » et non pas, par exemple, « transaction », dès l'instant où l'art. 18 al. 1 CO commande de rechercher la réelle et commune intention des parties, sans s'arrêter aux dénominations inexactes dont elles ont pu se servir, notamment par mégarde.
La première branche du grief est sans fondement.
4.2.2 A teneur de l'art. 341 al. 1 CO, le travailleur ne peut pas renoncer, pendant la durée du contrat et durant le mois qui suit la fin de celui-ci, aux créances résultant de dispositions impératives de la loi ou d'une convention collective. Cette norme repose sur la considération que le travailleur se trouve dans une situation de dépendance aiguë à l'égard de l'employeur et que celle-ci est susceptible de l'entraîner à accepter une réduction de ses prétentions, en particulier s'il redoute de perdre son emploi (<ref-ruling> consid. 4.5 p. 473).
Il n'est cependant pas possible de se prévaloir de l'art. 341 al. 1 CO lorsque le travailleur et l'employeur sont parvenus à un arrangement impliquant des concessions de part et d'autre (<ref-ruling> ibidem et les arrêts cités). Une renonciation au paiement de prétentions en salaire ne peut être admise que si l'on se trouve manifestement en présence de concessions réciproques (<ref-ruling> consid. 2b p. 61; <ref-ruling> consid. 3b p. 171).
Il résulte du chiffre 1 de la convention du 31 août 2005 que l'intimée a prêté au défunt prêtre la somme de 50'000 fr. Cette avance a permis à ce dernier de rembourser à la banque W._ le prêt du même montant qu'il avait sollicité auprès de cette banque après la donation effectuée au profit d'une de ses filles (cf. l'offre transactionnelle du 22 juin 2005). Il est stipulé, au chiffre 5 de l'accord, que l'intimée renoncera au remboursement de 9'950 fr. à la signature de la convention, de 9'950 fr. au 1er janvier 2006 et de 5'100 fr. au 1er janvier 2007. Partant, lors du décès du prêtre survenu le 12 juillet 2007, la Fédération avait remis le prêt à hauteur de 25'000 fr. (9'950 fr. + 9'950 fr. + 5'100 fr.), soit à concurrence de sa moitié. Cette constatation n'est en rien insoutenable. Il apparaît donc d'emblée que cette concession de l'intimée n'était pas négligeable.
De plus, le chiffre 4 de la convention précise que si l'emprunteur décède avant le remboursement intégral du prêt (hypothèse qui s'est réalisée le 12 juillet 2007), l'intimée renoncera « au découvert éventuel, à l'entière libération des héritiers de X._ ».
Il s'ensuit que l'intimée a accepté de ne pas rechercher les recourants - successeurs à titre universel du défunt prêtre et, partant, tenus solidairement de ses dettes (art. 560 et 603 al. 1 CC) - en remboursement de la part du prêt, non déjà remise au de cujus de son vivant et non remboursée par les acomptes de ce dernier. La Fédération a confirmé aux héritiers la teneur de cet engagement par courrier du 19 juillet 2007.
Il s'agit à nouveau là d'une concession qui n'est en rien insignifiante.
On voit donc que l'art. 341 al. 1 CO ne fait pas obstacle à la validité de l'accord signé le 31 août 2005.
La seconde branche du grief doit être rejetée.
4.3 L'argumentation subsidiaire développée par la cour cantonale au considérant 6 de l'arrêt attaqué suffit ainsi à elle seule à fonder la solution retenue.
5. Dans ces conditions, le recours doit être rejeté. Les recourants, qui succombent, paieront, avec solidarité entre eux, les frais judiciaires et verseront, toujours solidairement, des dépens à l'intimée (art. 66 al. 1 et 5 et art. 68 al. 1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement à l'intimée une indemnité de 6'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 octobre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet