Faits:
A. A.a Le 3 juillet 2000, H.X._ et F.X._, propriétaire d'une parcelle sise sur la Commune de ... (Vaud), ont conclu avec Y._ SA un contrat d'entreprise générale portant sur la construction sur leur bien-fonds d'une villa individuelle de six pièces et demie, avec garage et piscine extérieure, pour le prix forfaitaire de 1'350'000 fr. A teneur de l'art. 35.4 de cet accord, les droits du maître en cas de défaut se prescrivaient par cinq ans à partir de la réception de l'ouvrage.
Le même jour, les parties ont conclu un second contrat ayant trait à la construction d'un jacuzzi à l'extérieur, pour le montant de 38'500 fr.; Y._ SA en a sous-traité l'installation à A._ SA.
A.b En octobre 2000, H.X._ et F.X._ se sont installés dans leur villa. Il n'a pas été dressé procès-verbal de la réception de l'ouvrage.
Dès la prise de possession de la villa, H.X._ et F.X._ ont reproché à Y._ SA des manquements dans l'exécution des deux contrats du 3 juillet 2000, lesquels se rapportaient au jacuzzi, au portail d'entrée et à des finitions à l'intérieur du bâtiment. Il en est résulté des échanges nourris de courriers entre parties, ainsi que diverses rencontres entre celles-ci pour discuter de la situation.
A.b.a A propos du jacuzzi, informée par pli du 25 mars 2002 des maîtres de l'ouvrage de la présence de défauts techniques, A._ SA leur a expliqué qu'il y avait un problème de ventilation et leur a proposé de remplacer le couvercle existant par une grille afin d'éliminer la condensation.
Le 30 avril 2002, Y._ SA, ayant eu connaissance desdits défauts, a demandé à A._ SA d'y remédier à ses frais.
Par courrier du 8 octobre 2002, les maîtres de l'ouvrage ont requis Y._ SA de résoudre le problème persistant de ventilation dans le local technique du jacuzzi; celle-ci leur a alors fait savoir que le problème était réglé après la pose d'un couvercle en caillebotis, ce que les maîtres de l'ouvrage ont contesté.
Il résulte d'un constat opéré les 23 mai et 2 juin 2003 par Y._ SA que la ventilation dans le local technique du jacuzzi n'était pas satisfaisante.
Le 20 juin 2005, les maîtres de l'ouvrage ont écrit à A._ SA que le jacuzzi posait problème à chaque utilisation; le 8 novembre 2005, ils ont précisé que le jacuzzi n'avait pas fonctionné un seul jour de l'année.
Par pli du 28 avril 2006, les maîtres de l'ouvrage ont fixé à Y._ SA un délai échéant le 31 mai 2006 pour réparer le jacuzzi, ajoutant que si ce n'était pas fait, ils en demanderaient l'enlèvement et le remboursement. Par lettre du 1er mai 2006, Y._ SA a déclaré aux maîtres qu'elle allait s'assurer auprès de A._ SA que les réparations seraient effectuées.
A la suite d'une réunion entre les parties en présence d'un professionnel du domaine des jacuzzis, survenue le 15 mai 2006, Y._ SA a indiqué aux maîtres de l'ouvrage, le 2 juin 2006, qu'elle avait mandaté ce dernier pour effectuer une mise en conformité et une remise en marche du bassin.
Des travaux de réparation, consistant notamment à l'ajout de matériel, ont été exécutés pour le prix de 6'000 fr. sous la direction dudit spécialiste. Les maîtres de l'ouvrage n'en ayant pas été satisfaits, ce matériel a été retiré le 6 septembre 2006.
A.b.b En ce qui concerne le portail qu'ils partagent avec leurs voisins, les maîtres de l'ouvrage ont constaté qu'il était branché exclusivement sur leur propre compteur d'électricité, de sorte que, par courriers des 26 juin et 8 juillet 2002, ils ont requis de Y._ SA la pose de deux compteurs distincts. Une entreprise tierce, mandatée par les maîtres de l'ouvrage, a devisé à 1'694 fr.95 la pose de compteurs individuels par villa. Y._ SA a fait savoir à ces derniers, par lettre du 10 octobre 2002, que cette solution n'était pas adéquate.
A.b.c A propos des finitions dans leur villa, les maîtres de l'ouvrage ont remis le 2 mai 2003 à Y._ SA une liste de travaux à effectuer sous garantie, qu'ils avaient établie le 5 octobre 2002. Y._ SA a mandaté des sous-traitants pour effectuer lesdits travaux; les maîtres de l'ouvrage ont toutefois estimé que certains de ces travaux n'avaient pas été réalisés.
Le 4 septembre 2005, les maîtres de l'ouvrage ont adressé une lettre à Y._ SA, mentionnant comme en-tête le mot « Garantie », qui précisait notamment que « la date anniversaire des 5 ans à partir de la réception de l'ouvrage » était proche. Par télécopie du 25 septembre 2005, intitulée « Garantie pour votre villa », Y._ SA a répondu qu'elle savait que le délai de garantie de cinq ans approchait, qu'elle demandait aux maîtres de l'ouvrage d'établir une liste de travaux tombant selon eux sous la garantie quinquennale couvrant les défauts cachés et qu'elle s'occuperait de « dresser cette liste et de l'adresser aux entreprises concernées afin qu'elles remédient aux défauts ».
Par lettre du 31 octobre 2005, les maîtres de l'ouvrage ont remis à Y._ SA une nouvelle liste des travaux de finition à opérer sous garantie.
Le 30 mars 2006 (recte: 31 mars 2006), Y._ SA a envoyé une télécopie aux maîtres de l'ouvrage, indiquant qu'elle ne les avait pas oubliés, mais qu'elle devait faire le « tri avec (ceux-ci) des travaux concernant véritablement la garantie et ceux qui seraient des retouches ».
B. Après avoir requis une poursuite contre Y._ SA le 7 décembre 2006, H.X._ et F.X._ ont ouvert action contre cette société devant le Tribunal d'arrondissement de l'Est vaudois, par demande du 19 juillet 2007, concluant à ce que la défenderesse leur doive paiement de 52'000 fr. plus intérêts à 5% l'an dès le 13 septembre 2006.
La défenderesse a conclu à libération. Elle a invoqué la prescription au sens de l'art. 371 al. 2 CO.
Une expertise a été ordonnée en cours d'instance. Il en est ressorti que le jacuzzi n'avait pas été installé conformément aux règles de l'art et que sa mise en conformité s'élèverait à 10'000 fr., voire à 28'000 fr. si sa cuve était défectueuse; le coût d'une remise en état du terrain, si le jacuzzi était retiré, serait de 5'800 fr. S'agissant du portail, l'indépendance entre les deux voisins entraînerait un coût d'installation électrique de 1'800 fr. Les différents travaux de garantie à effectuer étaient estimés à 11'800 fr.
Par jugement du 10 mai 2010, le Tribunal d'arrondissement a admis partiellement la demande et dit que la défenderesse devait verser aux demandeurs un montant de 35'600 fr. avec intérêts à 5% dès le 13 décembre 2006. Considérant que la défenderesse avait renoncé à invoquer la prescription par actes concluants, cette autorité a alloué aux demandeurs 33'800 fr. pour l'enlèvement du jacuzzi et la remise en état du terrain et 1'800 fr. pour la pose d'une dérivation sur le fusible du portail.
Statuant sur recours de la défenderesse, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 30 mars 2011, a rejeté entièrement la demande en raison de la prescription qui est intervenue au plus tard à la fin novembre 2005. La cour cantonale a retenu que la défenderesse n'avait pas renoncé à la prescription par actes concluants et qu'elle n'avait pas abusé de son droit en invoquant cette exception de droit matériel.
C. Les demandeurs exercent un recours en matière civile au Tribunal fédéral contre cet arrêt. Ils concluent principalement à ce que la défenderesse soit reconnue leur débitrice solidaire de la somme de 47'400 fr. avec intérêts à 5% l'an dès le 13 décembre 2006. Subsidiairement, ils requièrent l'annulation de l'arrêt attaqué et le renvoi de la cause à la cour cantonale pour nouveau jugement.
L'intimée propose le rejet du recours en tant qu'il est recevable.
La requête d'effet suspensif déposée par les recourants a été rejetée par ordonnance présidentielle du 12 septembre 2011.

Considérant en droit:
1. 1.1 Interjeté par les demandeurs qui ont entièrement succombé dans leurs conclusions en paiement et qui ont ainsi la qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité de dernière instance statuant sur recours (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. de l'art. 74 al. 1 let. b LTF, le recours est par principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF; <ref-ruling> consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations factuelles de l'autorité cantonale ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire telle que l'entend l'art. 9 Cst. (ATF <ref-ruling> consid. 2.4; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
In casu, les recourants ne s'en prennent pas aux faits retenus par la cour cantonale. Il n'apparaît en outre pas que l'état de fait a été arrêté de manière arbitraire ou en violation du droit. L'analyse des moyens soulevés se fera ainsi sur la base des faits constatés par la Chambre des recours.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Il n'est pas contesté que l'intimée, par convention du 3 juillet 2000, s'est engagée à l'égard des recourants à réaliser la totalité d'une villa en prenant la place des différents entrepreneurs partiels qui étaient chargés de prestations spécifiques. Les parties ont ainsi conclu un contrat d'entreprise générale, qui se qualifie comme un contrat d'entreprise au sens de l'art. 363 CO (cf. <ref-ruling> consid. 2.3 p. 19).
Le même jour, les parties ont conclu un second contrat d'entreprise ayant pour objet la construction d'un bassin extérieur équipé d'un dispositif provoquant des remous dans l'eau (jacuzzi).
Il n'a pas été constaté que les parties contractantes à ces deux accords aient entendu déroger au régime légal de la prescription de la garantie pour les défauts de l'ouvrage. Ainsi l'art. 35.4 du contrat d'entreprise générale ne fait que reprendre la teneur de l'art. 371 al. 2 CO. S'agissant de contrats portant sur des constructions immobilières, la disposition précitée prescrit que l'action du maître en raison des défauts de telles constructions se prescrit en particulier contre l'entrepreneur par cinq ans à compter de la réception.
2.2 Au sujet du point de départ du délai de prescription, la cour cantonale a jugé qu'il devait correspondre au 30 novembre 2000, soit un mois à partir de la livraison de l'ouvrage faute de vérification commune de la villa à la réception. Les recourants ne remettent pas en cause ce raisonnement, si bien qu'il n'y a pas lieu d'y revenir (art. 42 al. 1 et 2 LTF).
Les recourants ne contestent pas davantage, à bon droit, que, dans ces conditions, la prescription quinquennale de l'action des maîtres de l'ouvrage en garantie des défauts de celui-ci est intervenue le 30 novembre 2005, à défaut d'actes interruptifs avant ce terme (cf. art. 135 et 138 CO).
2.3 Les recourants font cependant valoir que l'intimée a renoncé, par actes concluants, à invoquer la prescription au sens de l'art. 141 CO. Pour le jacuzzi, ils se réfèrent aux écritures que leur a envoyées l'intimée les 1er mai et 2 juin 2006. A propos des finitions internes de la villa, ils renvoient à la télécopie expédiée par l'intimée aux maîtres de l'ouvrage le 31 mars 2006. Ils allèguent qu'ils ne pouvaient pas déduire de ces écrits que l'intimée exciperait plus tard de la prescription.
2.3.1 A teneur de l'art. 141 al. 1 CO, est nulle toute renonciation anticipée à la prescription. Dans l'arrêt de principe publié in <ref-ruling> consid. 3.3.7, le Tribunal fédéral a jugé qu'après la passation du contrat par les parties contractantes, le débiteur peut renoncer à se prévaloir de la prescription tant que court ledit délai. Lorsque le délai de prescription est écoulé, il est également possible de renoncer à soulever l'exception de prescription.
Une déclaration unilatérale de renonciation à se prévaloir de la prescription doit être interprétée selon le principe de la confiance et a donc le sens que son destinataire pouvait raisonnablement lui attribuer dans les circonstances concrètes où elle a été faite (arrêt 4A_210/2010 du 1er octobre 2010 consid. 7.2.1, non publié in <ref-ruling>; arrêt 5C.42/2005 du 21 avril 2005 consid. 2.3 et les arrêts cités).
La renonciation à la prescription peut résulter d'actes concluants. Mais il faut des indices clairs de la volonté univoque du débiteur, comme par exemple la constitution d'une sûreté (cf. ROBERT K. DÄPPEN, Basler Kommentar, Obligationenrecht I, 5e éd., 2011, n° 5 ad art. 141 CO; PASCAL PICHONNAZ, Commentaire romand, Code des obligations I, 2003, n. 7 ad art. 141 CO).
2.3.2 Dans la lettre du 1er mai 2006 qu'elle a adressée aux recourants, l'intimée leur a indiqué qu'elle allait intervenir auprès de l'entreprise à laquelle elle avait sous-traité l'installation du jacuzzi pour que les réparations demandées par les premiers soient réalisées. Quant à l'écriture envoyée par l'intimée aux maîtres de l'ouvrage le 2 juin 2006, elle signale qu'un mandat a été conféré à un professionnel du domaine des jacuzzis pour qu'il effectue divers réglages et remette en marche le bassin en question.
Il est exclu que les recourants aient pu interpréter ces deux plis comme des déclarations de renonciation à la prescription émanant de l'entrepreneur avec qui ils étaient liés par deux contrats. Ces deux écritures ne font même pas allusion à l'institution de la prescription, terme qui n'y est d'ailleurs pas mentionné, pas plus que le verbe « renoncer » ou l'un de ses synonymes.
La télécopie du 31 mars 2006, expédiée par l'intimée aux recourants, montre seulement que l'entrepreneur général entendait faire le départ entre les travaux qui pourraient relever de la garantie pour les défauts et ceux qui devraient être qualifiés de retouches On ne peut raisonnablement pas y voir l'expression de la volonté de l'entrepreneur général de renoncer à la prescription quinquennale de l'art. 371 al. 2 CO.
Le moyen est sans fondement.
2.4 Les recourants soutiennent que l'intimée a commis un abus de droit en se prévalant de la prescription. Ils se rapportent essentiellement à la télécopie que l'intimée leur a fait parvenir le 25 septembre 2005, qui constituerait un aveu tacite de responsabilité. Ils allèguent à cet égard que le fait que l'intimée ait invité une sous-traitante à corriger à ses frais les défauts de finition constatés ne peut être interprété comme un refus de voir sa responsabilité contractuelle d'entrepreneur général engagée à l'égard des maîtres de l'ouvrage.
2.4.1 A teneur de l'art. 2 al. 2 CC, l'abus manifeste d'un droit n'est pas protégé par la loi. La règle prohibant l'abus de droit permet au juge de corriger les effets de la loi dans certains cas où l'exercice d'un droit allégué créerait une injustice manifeste. L'existence d'un abus de droit se détermine selon les circonstances concrètes de l'espèce, en s'inspirant des diverses catégories mises en évidence par la jurisprudence et la doctrine. Les cas typiques en sont l'absence d'intérêt à l'exercice d'un droit, l'utilisation d'une institution juridique contrairement à son but, la disproportion manifeste des intérêts en présence, l'exercice d'un droit sans ménagement ou l'attitude contradictoire (<ref-ruling> consid. 3.3.1 p. 169 et les arrêts cités). Le recours à la règle prohibant l'abus de droit doit se concilier avec la finalité voulue par le législateur de la norme matérielle applicable au cas concret (<ref-ruling> consid. 3b p. 211), en l'espèce la prescription de cinq ans de l'art. 371 al. 2 CO.
Selon la jurisprudence, le débiteur commet un abus de droit s'il se prévaut de la prescription, non seulement lorsqu'il amène astucieusement le créancier à ne pas agir en temps utile, mais encore lorsque, sans mauvaise intention, il a un comportement qui incite le créancier à renoncer à entreprendre des démarches juridiques pendant le délai de prescription et que, selon une appréciation raisonnable, fondée sur des critères objectifs, ce retard apparaît compréhensible (<ref-ruling> consid. 2 p. 437; <ref-ruling> consid. 4a p. 241). Pour admettre un abus de droit, il faut toutefois que le comportement du débiteur soit en relation de causalité avec le retard à agir du créancier (ATF <ref-ruling> consid. 4a p. 241).
2.4.2 Par la télécopie du 25 septembre 2005, intitulée « Garantie pour votre villa », l'intimée a tout d'abord fait savoir aux recourants qu'elle n'ignorait pas que l'échéance du délai de prescription de l'art. 371 al. 2 CO approchait; elle a pour le reste requis leur concours afin d'obtenir de leur part une liste de travaux qui, selon eux, seraient couverts par la garantie pour les défauts, liste qu'elle s'engageait à vérifier et à transmettre aux entreprises sous-traitantes concernées si la garantie devait être mise en jeu.
Examiné objectivement, il n'est pas possible de considérer ce courrier comme une invitation faite aux recourants à ne pas entreprendre de démarches pour interrompre le délai de prescription. Au contraire, l'intimée a rendu les recourants attentifs à la prochaine expiration du délai de prescription, ce qui n'était à l'évidence pas propre à les conforter dans une absence de réaction.
Partant, c'est sans violer le droit fédéral que la cour cantonale a conclu qu'en l'occurrence l'intimée n'avait pas abusé de son droit en excipant de la prescription.
Le grief doit être rejeté.
3. En définitive, le recours doit être rejeté. Les recourants, qui succombent, paieront, avec solidarité entre eux, les frais judiciaires et verseront, toujours solidairement, des dépens à l'intimée (art. 66 al. 1 et 5 et art. 68 al. 1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement à l'intimée une indemnité de 3'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 15 novembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet