Faits:
A. A.a Selon un contrat du 3 juillet 2001, A._ et B._ ont remis à H.X._ et F.X._ l'exploitation de l'hôtel-restaurant Z._, à ... (Vaud), dont les premiers étaient locataires.
Par contrat de bail du 26 juillet 2001, C._ et D._ ont cédé à H.X._ et F.X._ (ci-après: les locataires) l'usage de la parcelle n° 304, à ..., sur laquelle se trouve l'hôtel-restaurant précité, qui comprend notamment 24 chambres, un restaurant, et trois appartements de trois pièces situés aux premier, deuxième et troisième étages du bâtiment. Conclu pour une durée de 10 ans, à savoir du 1er septembre 2001 au 1er septembre 2011, le bail devait se renouveler de cinq ans en cinq ans, sauf avis de résiliation donné par courrier recommandé une année à l'avance pour la prochaine échéance. Le loyer, indexé à l'évolution de l'indice suisse des prix à la consommation, se montait initialement à 14'167 fr. par mois, plus 1'300 fr. de charges. Sur le loyer, le Tribunal fédéral ajoute un élément de fait, non relevé dans l'arrêt attaqué, qui ressort du contrat de bail produit au dossier (art. 105 al. 2 LTF).
Il a été retenu que les 8 juin 2005 et 11 août 2006, les locataires ont ouvert action devant le Tribunal des baux du canton de Vaud contre C._ et D._ en requérant que le « loyer net des locaux commerciaux » soit réduit de 30% dès le 1er mars 2003 et que divers travaux de réfection soient entrepris dans l'immeuble. Selon les deux requêtes adressées audit tribunal, H.X._ était alors domicilié à Lonay (Vaud), tandis que F.X._ était domicilié à Vufflens-la-Ville (Vaud) (complètement d'office au sens de l'art. 105 al. 2 LTF).
A une date indéterminée après la conclusion du bail, deux des trois appartements situés dans l'hôtel-restaurant susrappelé ont été occupés par H.X._, son épouse et ses enfants.
A la suite de la faillite de C._ et D._, la vente aux enchères forcées de la parcelle n° 304 précitée a été organisée le 15 février 2008; les conditions d'enchères précisaient que l'immeuble ferait l'objet d'une double mise à prix, soit avec et sans la charge de tous les baux à loyer portant sur le bien-fonds.
La société Y._ SA (ci-après: la bailleresse), qui a pour but l'acquisition et l'exploitation d'hôtels, restaurants et établissements publics en tout genre, a acquis la parcelle n° 304 lors des enchères du 15 février 2008, sans la charge des baux à loyer grevant le bien-fonds.
A.b Dans un courrier du 18 février 2008, le représentant d'alors des locataires a exposé à la bailleresse que le bail de ceux-ci portait sur une partie de l'immeuble qu'elle venait d'acquérir, qu'il y avait un procès pendant devant le Tribunal des baux en rapport avec l'exécution de travaux dans les locaux pris à bail, selon les demandes déposées auprès du Tribunal des baux les 8 juin 2005 et 11 août 2006, et que l'adjudicataire était en demeure de les effectuer. Ce mandataire a alors imparti à la bailleresse un délai de cinq jours pour accomplir ou, à tout le moins, commencer lesdits travaux, à défaut de quoi le loyer serait consigné.
Selon avis du 26 février 2008, les locataires ont consigné auprès de l'office compétent le loyer échéant le 29 février 2008 relatif à l'hôtel-restaurant Z._.
A.c Par un pli du 20 mars 2008 envoyé à H.X._ et F.X._ en courrier simple et en courrier recommandé, à l'adresse de l'hôtel-restaurant Z._, la bailleresse a résilié le bail commercial relatif à cet établissement pour le 1er octobre 2008; la formule officielle était jointe audit pli. Il a été retenu que l'envoi recommandé était à disposition des locataires pour être retiré au guichet postal à partir du mercredi 26 mars 2008, mais qu'il ne l'a été effectivement que le mardi 1er avril 2008.
B. B.a Le 27 mars 2008, les locataires ont saisi la Commission de conciliation en matière de baux à loyer du district de l'Ouest lausannois en requérant de la bailleresse une réduction de loyer de 30% dès le 1er mars 2008, la restitution de montants versés en trop à partir de cette date et qu'ordre soit donné à celle-ci de procéder à divers travaux, la consignation des loyers étant déclarée valable.
Le 18 avril 2008, les locataires ont saisi derechef la même autorité des conclusions suivantes contre la bailleresse:
« A Principalement:
I Que le congé notifié le 1er avril 2008 aux locataires pour le 1er octobre 2008 est nul au sens des dispositions de l'article 266o CO.
B Subsidiairement:
II Que prédite résiliation est annulée, puisqu'elle contrevient aux dispositions de l'article 271a let. a CO, les locataires ayant fait valoir de bonne foi des prétentions découlant du bail.
C Plus subsidiairement:
III Que prédit congé est inefficace, puisque notifié tardivement aux locataires au sens de l'article 261 al. 2 let. a CO.
D) Encore plus subsidiairement:
IV Pour le cas bien improbable où le congé serait déclaré valable, prolongation de six ans est accordée aux locataires en vertu des dispositions de l'article 272b CO ».
Après échec de la conciliation, les locataires ont ouvert action le 29 octobre 2008 contre la bailleresse devant le Tribunal des baux du canton de Vaud. A titre principal, ils ont conclu à la nullité du congé au sens de l'art. 266o CO du fait de l'absence de notification séparée à l'épouse de H.X._, à l'inefficacité du congé pour notification tardive au sens de l'art. 261 CO, à une baisse de loyer de 30% dès le 1er mars 2008, à la restitution des sommes payées en trop à partir de cette date, à ce qu'ordre soit donné à la défenderesse, sous menace des peines prévues par l'art. 292 CP, de procéder à divers travaux et à ce que la consignation des loyers soit déclarée valable; subsidiairement, ils ont requis l'annulation du congé en raison de son caractère abusif au regard de l'art. 271a al. 1 let. a CO; plus subsidiairement, ils ont sollicité une prolongation de six ans de leur bail.
La défenderesse a conclu au rejet des conclusions des demandeurs; reconventionnellement, elle a requis que le congé soit déclaré valable, qu'aucune prolongation de bail ne soit accordée aux locataires et à ce que les loyers et acomptes de charges consignés soient intégralement libérés en sa faveur.
Les demandeurs ont notamment sollicité la mise en oeuvre d'une expertise comptable pour établir leur intérêt financier au maintien du bail et le dommage qui résulterait d'un congé anticipé, ainsi que l'audition du témoin E._, lequel avait occupé avant 2005 l'appartement du premier étage, afin d'établir que la résiliation portait en partie sur des logements familiaux.
Lors d'une audience tenue le 11 novembre 2009, le Tribunal des baux a disjoint la question de la validité du congé de celles liées à la réduction de loyer et à la réparation de défauts, l'instruction et les débats sur ces deux derniers points étant renvoyés. Si le tribunal a entendu plusieurs témoins, il a refusé de réassigner le témoin E._, qui, bien que convoqué, ne s'était pas présenté à l'audience; il a encore refusé d'ordonner l'expertise comptable sollicitée.
B.b Par jugement disjoint du 11 novembre 2009, le Tribunal des baux a reconnu la validité du congé adressé le 20 mars 2008 par la défenderesse aux locataires et accordé à ceux-ci une unique prolongation de bail au 1er septembre 2011.
B.c Saisie d'un recours des locataires, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 21 juillet 2010, l'a rejeté, le jugement du 11 novembre 2009 étant confirmé.
En substance, la cour cantonale a nié que les locaux loués aient le caractère d'un logement familial, tel que l'entendent les art. 266m et 266n CO, même s'il n'a pas été contesté que deux des appartements de l'hôtel-restaurant sont occupés par le locataire H.X._ et sa famille. Elle a ainsi retenu que le témoignage de E._ ne pouvait apporter aucun élément supplémentaire à ce sujet, si bien que son audition pouvait être refusée.
S'il fallait pourtant qualifier les locaux de mixtes (locaux commerciaux comprenant un logement familial), les locataires n'ont pas démontré avoir informé la défenderesse que le demandeur H.X._ et sa famille occupaient deux des appartements de l'hôtel-restaurant. L'autorité cantonale en a déduit qu'était valable la résiliation envoyée le 20 mars 2008 aux deux exploitants de l'établissement et titulaires du bail.
S'agissant de l'examen du respect du délai de congé, les magistrats vaudois ont retenu que le pli recommandé contenant la résiliation du bail est arrivé à l'Office postal de ... le 26 mars 2008 et qu'il pouvait être retiré par les locataires en tout cas le lendemain. Ayant attendu cinq jours pour retirer le courrier, les locataires ne peuvent se prévaloir du retrait effectif le 1er avril 2008, de sorte que le congé est intervenu à temps pour déployer ses effets au plus prochain terme légal, soit le 1er octobre 2008.
La cour cantonale a encore reconnu que le congé litigieux ne constituait pas un congé de représailles, faute d'existence d'un lien de causalité entre les prétentions émises par les locataires à propos de l'exécution de travaux dans l'immeuble et la résiliation du bail.
Enfin, la Chambre des recours, à l'issue d'une pesée appréciative, a jugé que la prolongation de bail accordée, qui équivaut à près de trois ans, ne prêtait pas le flanc à la critique.
C. H.X._ et F.X._, par un seul mémoire, exercent au Tribunal fédéral un recours en matière civile et un recours constitutionnel subsidiaire contre l'arrêt précité. Ils concluent, dans chacune des voies de droit, à la réforme de l'arrêt déféré, en ce sens, principalement, que le congé est nul « au sens des dispositions de l'art. 266o CO », qu'il est inefficace « puisque notifié tardivement aux locataires au sens de l'art. 261 lettre a CO »; subsidiairement, ils requièrent l'annulation du congé, qui serait abusif au regard de l'art. 271a al. 1 let. a CO; plus subsidiairement, ils demandent que leur bail soit prolongé de six ans; encore plus subsidiairement, ils sollicitent l'annulation de l'arrêt attaqué et le renvoi de la cause à la cour cantonale pour nouveau jugement au sens des considérants.
L'intimée propose le rejet tant du recours en matière civile que du recours constitutionnel.
Les recourants ont formé une demande d'effet suspensif, qui a été rejetée par ordonnance présidentielle du 13 janvier 2011.
Considérant en droit:
1. 1.1 Les contestations portant sur l'usage d'une chose louée sont de nature pécuniaire; elles ne peuvent donc être soumises au Tribunal fédéral, par un recours en matière civile, que si elles atteignent la valeur litigieuse prescrite par la loi. En matière de droit du bail à loyer, cette valeur s'élève à 15'000 fr. (art. 74 al. 1 let. a LTF).
En cas de litige portant sur la résiliation d'un bail, la valeur litigieuse se détermine selon le loyer dû pour la période durant laquelle le contrat subsiste nécessairement, en supposant que l'on admette la contestation, et qui s'étend jusqu'au moment pour lequel un nouveau congé aurait pu être donné ou l'a été effectivement. Pour arrêter la prochaine échéance de bail possible en l'occurrence, il faut ainsi présupposer que les recourants obtiennent gain de cause, c'est-à-dire que le congé litigieux ne soit pas valable. Il est constant que l'intimée a acquis l'immeuble aux enchères le 15 février 2008 et qu'elle a signifié aux recourants, en sa qualité de nouvel acquéreur, la résiliation anticipée de leur bail (non annoté au registre foncier) pour le prochain terme légal en application de l'art. 261 al. 2 let. a CO. Si ce congé extraordinaire n'était pas valable, le bail courrait jusqu'à l'échéance contractuelle du 1er septembre 2011. Le loyer annuel initial payé par les recourants se montant à 170'004 fr. (12 x 14'167 fr.), sans tenir compte de l'indexation convenue et des charges, la valeur litigieuse minimale de 15'000 fr. requise en matière de droit du bail (art. 74 al. 1 let. a LTF) est largement dépassée.
Interjeté pour le reste par les demandeurs, qui ont succombé dans leur contestation de la validité du congé et qui ont ainsi la qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), le recours en matière civile est par principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
La recevabilité du recours en matière civile rend irrecevable le recours constitutionnel exercé parallèlement par les recourants contre l'arrêt critiqué (art. 113 LTF). Il sied toutefois de préciser à ces derniers que les griefs d'ordre constitutionnel qu'ils ont soulevés dans cette voie de droit, à supposer qu'ils répondent aux exigences de motivation renforcées de l'art. 106 al. 2 LTF, pourront être examinés dans le recours ordinaire en matière civile, l'intitulé erroné d'un recours ne devant pas nuire à son auteur (ATF 134 III 379 consid. 1.1 p. 382); de fait, la notion de droit fédéral de l'art. 95 let. a LTF englobe le droit constitutionnel (ATF 135 III 670 consid. 1. 4 p. 674).
1.2 Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise et détaillée par la partie recourante (art. 106 al. 2 LTF; ATF 135 III 397 consid. 1.4 in fine).
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations factuelles de l'autorité cantonale ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire telle que l'entend l'art. 9 Cst. (ATF 136 II 304 consid. 2.4; 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 136 I 184 consid. 1.2 p. 187; 133 IV 286 consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si celle-ci est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. Invoquant une violation de l'art. 266n CO, les recourants, dans un premier moyen, prétendent que le congé du 20 mars 2008 est nul, à défaut d'avoir été notifié à l'épouse de H.X._. Ils font valoir que l'objet du bail litigieux a essentiellement un caractère familial, en ce sens que les familles qui exploitent l'établissement sont installées dans deux des appartements qui s'y trouvent. De toute manière, poursuivent-ils, si le bail a trait à la fois à des objets commerciaux et à des logements de famille, la protection conférée par les art. 266m à 266o CO doit entrer en jeu. Les recourants soutiennent avoir informé les anciennes propriétaires de l'hôtel-restaurant de cette situation et en infèrent qu'ils n'avaient à effectuer aucunes démarches envers l'adjudicataire. Ils ajoutent, pour parer à un reproche de la Chambre des recours, que ce n'est qu'à titre subsidiaire qu'ils se sont prévalus des règles relatives au bail commercial, de sorte qu'il serait incongru de tirer profit de cette tactique judiciaire pour dénier à l'objet loué son caractère de logement familial. Les recourants font enfin grief à la cour cantonale d'être tombée dans l'arbitraire et d'avoir attenté à leur droit d'être entendus en écartant l'audition du témoin E._, qui avait occupé lui-même avec sa famille avant 2005 un des appartements de l'établissement public.
2.1 Il est constant que C._ et D._ ont cédé l'usage de locaux à usage d'hôtel-restaurant aux recourants par convention du 26 juillet 2001, laquelle se définit comme un contrat de bail à loyer (art. 253 CO). Un peu plus de trois semaines auparavant, les anciens exploitants (qui n'étaient pas les propriétaires) avaient remis aux recourants les installations et équipements de l'établissement par un contrat du 3 juillet 2001; cet accord doit se qualifier de contrat de remise de commerce, lequel constitue un contrat sui generis (ATF 129 III 18 consid. 2.1).
Ces éléments montrent clairement que les locaux loués étaient destinés de manière prépondérante à l'exploitation d'un commerce, de sorte que le contrat du 26 juillet 2001 doit être assimilé à un bail commercial.
2.2 Il a été constaté (art. 105 al. 1 LTF) que les locaux pris à bail comprenaient en particulier 24 chambres, un restaurant, et trois appartements de trois pièces.
L'autorité cantonale a retenu qu'après la conclusion du bail commercial, le locataire H.X._ a occupé, avec sa femme et ses enfants, deux des trois appartements en cause. Etant parvenue à une conviction à ce propos sur la base des preuves administrées, la Chambre des recours pouvait renoncer à entendre le témoin E._, dont la déposition ne pouvait l'amener à modifier son opinion (ATF 130 II 425 consid. 2.1). En effet, le précité avait apparemment occupé, antérieurement à 2005, un des trois appartements en tant que locaux de fonction; or la notion de local de fonction n'a rien à voir avec celle du logement de famille valant en droit du bail (cf. DAVID LACHAT, Le bail à loyer, 2008, p. 121). Le grief de violation du droit d'être entendu, fondé sur le refus d'audition dudit témoin, n'a aucune consistance. Et les recourants ne désignent pas la norme du droit de la procédure cantonale qui aurait été appliquée arbitrairement dans ce cadre par les magistrats vaudois, ce qui rend ce pan de la critique irrecevable (art. 106 al. 2 LTF).
2.3 On ne sait à quelle date H.X._ et sa famille se sont installés dans les deux appartements de l'établissement. Mais, dès l'instant où le précité, dans les requêtes en réduction de loyer et en demande de travaux qu'il a envoyées au Tribunal des baux vaudois les 8 juin 2005 et 11 août 2006, s'est dit lui-même encore domicilié à Lonay, il y a de forts indices qu'il n'est venu habiter dans l'immeuble abritant l'hôtel-restaurant qu'après août 2006.
Il n'en demeure pas moins qu'à partir de septembre 2006 au plus tôt, la destination de l'immeuble loué était mixte, en ce sens qu'il comprenait tout à la fois des locaux commerciaux et un logement familial (i.e. celui du locataire H.X._).
Or, selon la doctrine, les locaux commerciaux, qui servent également à l'hébergement d'époux dont l'un d'eux au moins est titulaire du bail (ce qui est le cas en l'espèce), doivent bénéficier de la protection accordée par les art. 266m à 266n CO (BOHNET/MONTINI, Droit du bail à loyer, 2010, n° 4 ad art. 266m CO p. 717; LACHAT ET AL., Das Mietrecht für die Praxis, 8e éd. 2009, ch. 4/4.2.9 p. 60; PETER HIGI, Commentaire zurichois, 1994, n° 42 ad art. 253a-253b CO; ROGER WEBER, Commentaire bâlois, Obligationenrecht I, 4e éd. 2007, n° 14 ad art. 253a/253b CO; LACHAT, op. cit., p. 121). Ces opinions sont convaincantes, car une famille ne saurait être privée de la possibilité d'invoquer les normes protectrices susmentionnées sous le seul prétexte qu'elle habite, peut-être par nécessités économiques, dans les locaux qu'elle a pris à bail afin de mener une activité économique.
2.4 D'après l'art. 266n CO, le congé donné par le bailleur doit être communiqué séparément au locataire et à son conjoint ou à son partenaire enregistré. Le congé qui ne satisfait pas notamment à la condition prévue à l'art. 266n CO est nul (art. 266o CO).
Il n'est pas contesté que l'intimée n'a pas envoyé le congé à l'épouse du locataire H.X._.
A considérer les circonstances particulières de l'espèce, la nullité du congé ne doit toutefois pas être admise.
2.5 L'intimée est entrée dans le rapport de bail, en vertu de l'art. 261 al. 1 CO, après que la parcelle n° 304 lui a été adjugée au cours d'une vente aux enchères le 15 février 2008. Elle a acquis cet immeuble lors d'une seconde mise à prix, sans les baux qui le grevaient (cf. art. 812 CC et 142 LP). Elle a ensuite fait usage de son droit de résilier de manière anticipée le contrat litigieux (non annoté au registre foncier) pour le prochain terme légal en application de l'art. 261 al. 2 let. a CO (cf. ATF 128 III 82 consid. 2d/dd), prérogative qui n'exige pas de l'acquéreur la preuve d'un besoin urgent pour lui-même ou ses proches parents ou alliés (ATF 125 III 123 consid. 1e).
Il est admis que si, en cours de bail, le locataire déplace le logement de la famille, il est tenu d'en faire part au bailleur; il s'agit là d'une obligation accessoire du locataire (PETER HIGI, Commentaire zurichois, 1995, n° 26-27 ad art. 266m-266n CO; LACHAT, op. cit., ch. 4.7 p. 634; WEBER, op. cit., n° 2 in fine ad art. 266m/266n CO).
Le principe de la bonne foi, ancré à l'art. 2 al. 1 CC, s'applique à l'ensemble des domaines du droit. L'abus manifeste d'un droit n'est pas protégé par la loi (art. 2 al. 2 CC). Il peut y avoir abus de droit lorsqu'une personne adopte un comportement contradictoire ("venire contra factum proprium": cf. ATF 125 III 257 consid. 2a; 123 III 70 consid. 3c p. 75, 220 consid. 4d p. 228).
Dans le cas présent, les recourants n'ont pas prétendu avoir informé l'adjudicataire de la parcelle n° 304 que H.X._ et sa famille s'étaient installés dans deux des appartements de l'hôtel-restaurant qui y est bâti. Du moment que l'intimée a acquis l'immeuble dans une vente forcée lors de la seconde mise à prix, en particulier sans le bail conclu par les recourants avec les anciennes propriétaires, et que le bien-fonds contenait essentiellement des locaux commerciaux à usage d'hôtel-restaurant, il incombait aux demandeurs de faire part à l'adjudicataire qu'une partie des locaux pris à bail servait également de logement de famille. Les recourants étaient parfaitement à même d'atteindre la bailleresse, puisque trois jours seulement après la vente forcée, soit le 18 février 2008, leur conseil d'alors a écrit à l'intimée que les locataires étaient titulaires d'un bail portant sur une partie de l'immeuble acquis aux enchères par celle-ci et que la bailleresse était mise en demeure d'opérer dans les cinq jours divers travaux dans le bâtiment. Les recourants n'ont cependant pas averti l'intimée, dans ce courrier du 18 février 2008, de la constitution en cours de bail (i e. plusieurs années après sa passation avec les anciennes propriétaires de l'immeuble) d'un logement familial dans les locaux à usage d'hôtel-restaurant. En se prévalant, dans ce contexte particulier, de la nullité du congé sur la base de l'art. 266o CO, au motif que cet acte n'aurait pas été notifié à l'épouse de l'un d'eux, laquelle n'est pas titulaire du bail, les recourants commettent une entorse au principe de la bonne foi, qui ne mérite pas d'être protégée judiciairement.
La critique doit être rejetée.
3. A l'appui de leur deuxième moyen, les recourants prétendent que la résiliation est tardive. Ils font grief à la cour cantonale d'avoir admis que le pli recommandé contenant le congé leur est parvenu le 26 mars 2008, voire au plus tard le lendemain, et non à la date où ils en ont pris connaissance effectivement en le retirant à la poste, soit le 1er avril 2008. Ils allèguent que, selon la jurisprudence et la doctrine, la date du retrait effectif à la poste doit prévaloir. Ils sont d'avis que la résiliation communiquée le 1er avril 2008, à défaut d'avoir respecté le préavis de congé légal de six mois valant pour le bail de locaux commerciaux, était tardive et qu'elle ne pouvait ainsi déployer d'effet pour l'échéance invoquée du 1er octobre 2008.
3. A l'appui de leur deuxième moyen, les recourants prétendent que la résiliation est tardive. Ils font grief à la cour cantonale d'avoir admis que le pli recommandé contenant le congé leur est parvenu le 26 mars 2008, voire au plus tard le lendemain, et non à la date où ils en ont pris connaissance effectivement en le retirant à la poste, soit le 1er avril 2008. Ils allèguent que, selon la jurisprudence et la doctrine, la date du retrait effectif à la poste doit prévaloir. Ils sont d'avis que la résiliation communiquée le 1er avril 2008, à défaut d'avoir respecté le préavis de congé légal de six mois valant pour le bail de locaux commerciaux, était tardive et qu'elle ne pouvait ainsi déployer d'effet pour l'échéance invoquée du 1er octobre 2008.
3.1 3.1.1 La résiliation de bail est une déclaration unilatérale de volonté de l'une des parties au contrat soumise à réception (cf. parmi les auteurs récents: LACHAT, op. cit., p. 638 ch. 7.1; BOHNET/MONTINI, op. cit., n° 3 et 4 ad art. 266a CO).
D'après l'art. 261 al. 2 let. a CO, l'acquéreur qui a obtenu la propriété d'habitations ou de locaux commerciaux, après la conclusion du bail, dans le cadre d'une poursuite pour dettes ou d'une faillite peut résilier le contrat de manière anticipée pour le prochain terme légal en observant le délai de congé légal, pour autant qu'il fasse valoir un besoin urgent pour lui-même ou ses proches parents ou alliés. Il est de jurisprudence que l'adjudicataire, qui devient propriétaire d'un bien-fonds dans une vente forcée à la suite d'une double mise à prix, a la faculté de résilier un bail de longue durée pour le prochain terme légal, même s'il ne se prévaut pas d'un besoin urgent (ATF 128 III 82 consid. 2; 125 III 123 consid. 1e). Ce droit de donner le congé, sans avoir à respecter l'échéance et le préavis prévus contractuellement, est un privilège de l'adjudicataire (cf. WEBER, op. cit., n° 6 ad art. 261 CO; LACHAT, op. cit., ch. 4.2.3 p. 690).
L'art. 266d CO dispose que, pour les locaux commerciaux, le délai de congé est de six mois pour le terme fixé par l'usage local; dans le canton de Vaud, les termes usuels sont le 1er avril, le 1er juillet et le 1er octobre à midi (art. 36 des Dispositions paritaires romandes et règles et usages locatifs du canton de Vaud, constituant le Contrat-cadre vaudois déclaré de force obligatoire au 1er décembre 2001; LACHAT, op. cit., p. 650 en haut et p. 104 ch. 4.3).
3.1.2 Il résulte du principe de l'unité de l'ordre juridique que la computation d'un délai doit se faire selon le droit qui fixe ce délai, ce principe valant pour le droit fédéral (ATF 123 III 67 consid. 2a et les références).
Le Code des obligations, comme on l'a vu, fixe à six mois le délai légal de congé des baux de locaux commerciaux. Il s'agit donc d'un délai du droit matériel fédéral.
Lorsque la communication d'une manifestation de volonté constitue le moment à partir duquel court un délai de droit matériel fédéral, il faut appliquer la théorie de la réception dite absolue (ATF 118 II 42 consid. 3; 107 II 189 consid. 2; ERNST A. KRAMER, Commentaire bernois, 1986, n° 88 ad art. 1 CO; PETER GAUCH ET AL., Schweizerisches Obligationenrecht, Allgemeiner Teil, vol. I, 9e éd., 2008, ch. 196/196a p. 37; FABIENNE HOHL, Commentaire romand, Code des obligations I, 2003, n° 5 ad art. 77 CO; LA MÊME, Procédure civile, Tome II, 2e éd., 2010, ch. 916 ss p. 171/172). Le point de départ du délai correspond alors au moment où la manifestation de volonté est parvenue dans la sphère d'influence (Machtbereich) du destinataire ou de son représentant, de telle sorte qu'en organisant normalement ses affaires celui-ci soit à même d'en prendre connaissance.
S'agissant d'un pli ordinaire communiqué par la poste, la manifestation de volonté est reçue lorsqu'elle est déposée dans la boîte aux lettres ou la case postale du destinataire si l'on peut escompter qu'il lève le courrier à ce moment-là; savoir si le destinataire prend effectivement connaissance de l'envoi n'est pas déterminant (ATF 118 II 42 consid. 3b p. 44 et les références doctrinales). Un tel envoi simple ne fait cependant pas preuve de sa réception (ATF 105 III 43 consid. 2a p. 45).
En ce qui concerne une lettre recommandée, si l'agent postal n'a pas pu la remettre effectivement au destinataire ou à un tiers autorisé à prendre livraison de l'envoi et qu'il laisse un avis de retrait dans sa boîte aux lettres ou sa case postale, le pli est reçu dès que le destinataire est en mesure d'en prendre connaissance au bureau de la poste selon l'avis de retrait; il s'agit soit du jour même où l'avis de retrait est déposé dans la boîte aux lettres si l'on peut attendre du destinataire qu'il le retire aussitôt, sinon en règle générale le lendemain de ce jour (ATF 107 II 189 consid. 2 p. 192; cf. KRAMER, op. cit., n° 88 ad art. 1 CO; FABIENNE HOHL, Procédure civile, Tome II, 2e éd., 2010, ch. 920-924 p. 171/172; BOHNET/MONTINI, op. cit., n° 4 ad art. 266a CO).
Cette conception est approuvée par la doctrine majoritaire s'agissant de la notification d'une résiliation de bail à loyer (RAYMOND BISANG ET AL., Das Schweizerische Mietrecht, Kommentar, 3e éd., 2008, n° 5a ad Vorbemerkungen Art. 266-266o CO et n° 28 in fine ad art. 257d CO; WEBER, op. cit., n° 3a ad art. 273 CO et n° 1a ad art. 266a CO; HIGI, Commentaire zurichois, 1995, n° 38 et n° 41 ad Vorbemerkungen zu Art. 266-266o CO; LACHAT ET AL., op. cit., ch. 25/6.3 p. 519; ZIHLMANN/JAKOB, Mietrecht, 3e éd., 1999, p. 185 in fine; FRANÇOIS BOHNET, Les termes et les délais du bail à loyer, p. 26 in fine, in 13e Séminaire sur le droit du bail, Neuchâtel 2004; MARIO MONTINI, Droit du bail 19/2007, p. 38; JEAN-PIERRE MENGE, Kuendigung und Kuendigungsschutz bei der Miete von Wohn- und Geschaeftsraeumlichkeiten, thèse Bâle 1993, p. 21; CLAUDE RAMONI, Demeure du débiteur et contrats de droit suisse, thèse Lausanne 2002, p. 148 ch. 317; TOBIAS BARTELS, Die Fristwahrung im Mietrecht: insbesondere bei empfangsbedürftigen Willenserklärungen, MietRecht Aktuell 1/2002, p. 4-8).
3.1.3 Dans deux cas en matière de bail, la jurisprudence du Tribunal fédéral a dérogé à la théorie de la réception absolue. Il s'agit de la communication, par pli recommandé, de l'avis de majoration de loyer au sens de l'art. 269d CO (ATF 107 II 189 consid. 2) et de celle de la sommation de payer instituée par l'art. 257d al. 1 CO (ATF 119 II 147 consid. 2). Pour ces deux éventualités, à l'instar de ce qui prévaut pour les délais de procédure (cf. art. 138 al. 3 du Code de procédure civile du 19 décembre 2008, RS 272; ATF 130 III 396 consid. 1.2.3; 111 V 99 consid. 2b p. 101), si le courrier recommandé ne peut pas être remis directement au destinataire (ou à une personne autorisée par celui-ci) et qu'un avis de retrait mentionnant le délai de garde postal a été mis dans sa boîte aux lettres ou sa case postale, l'acte est reçu au moment où le destinataire le retire effectivement au guichet de la poste ou, à supposer qu'il ne soit pas retiré dans le délai de garde de sept jours, le septième et dernier jour de ce délai. Cette théorie de la réception est dite relative.
Prenant appui sur cette jurisprudence, certains auteurs préconisent, lorsque la notification de la manifestation de volonté est effectuée au destinataire sous pli recommandé avec dépôt d'un avis de retrait postal, une application de la théorie relative de la réception à d'autres actes du droit du bail que l'avis de majoration de loyer (art. 269d CO) et l'avis comminatoire (art. 257d CO), en particulier à la notification du congé, voire prônent même une application uniforme de cette théorie de la réception pour tous les actes de droit civil (BOHNET/MONTINI, op. cit., n° 21 ad art. 257d CO; LACHAT, op. cit., p. 639/640; LE MÊME, Commentaire romand, Code des obligations I, n° 5 ad art. 266a CO; CARMINE BASELICE, MietRecht Aktuell, 2/1995, p. 103 in fine). Ils invoquent les horaires d'ouverture des guichets postaux, la clarté et la cohérence du droit ainsi que la protection de la partie faible.
Cette opinion minoritaire ne convainc pas. Le Tribunal fédéral a appliqué la théorie relative de la réception lorsque le locataire reçoit un avis de hausse de loyer afin qu'il bénéficie effectivement du délai de réflexion de dix jours de l'art. 269d al. 1 CO et de la possibilité de résilier le contrat s'il n'entend pas accepter la hausse ou la contester. La juridiction fédérale en a fait de même pour la communication de l'avis comminatoire dans l'intention que le locataire de baux d'habitations ou de locaux commerciaux jouisse de l'entier du délai de 30 jours pour réunir les fonds lui permettant de régler son loyer échu. Ces considérations particulières ne sauraient valoir pour d'autres actes, comme la notification du congé.
En outre, le système de la réception absolue tient compte de manière équitable des intérêts antagonistes des deux parties, à savoir ceux de l'émetteur et du destinataire. L'expéditeur supporte le risque de transmission du pli jusqu'au moment où il parvient dans la sphère d'influence du destinataire, alors que celui-ci supporte le risque, à l'intérieur de sa sphère d'influence, de prendre connaissance tardivement, respectivement de ne pas prendre connaissance du support de communication. Cet équilibre serait rompu si la théorie relative de la réception devait s'appliquer sans limite.
Il faut donc admettre qu'il n'y a aucun motif objectif sérieux de changer la jurisprudence, approuvée par de très nombreux auteurs. Autrement dit, la réception du congé obéit toujours en droit du bail au système de la réception absolue.
3.2 Ces considérations conduisent le Tribunal fédéral à retenir que l'intimée a en l'occurrence respecté le délai légal de congé de six mois de l'art. 266d CO pour le terme usuel du 1er octobre 2008.
En effet, il a été constaté (art. 105 al. 1 LTF) que la bailleresse a envoyé aux recourants le congé du 20 mars 2008 par pli simple et par pli recommandé.
Concernant le courrier simple, l'intimée n'a pas apporté la preuve, qui lui incombait (art. 8 CC; LACHAT, op. cit., p. 641; HIGI, Commentaire zurichois, 1995, n° 42 ad Vorbemerkungen zu Art. 266-266o CO), de la réception par les locataires du pli renfermant le congé.
En revanche, il ressort des constatations cantonales, non taxées d'arbitraire, que le congé adressé aux recourants par pli recommandé pouvait être retiré dès le mercredi 26 mars 2008 au guichet de la poste. Les locataires n'ont jamais prétendu qu'un avis de retrait n'a pas été déposé dans leur boîte aux lettres. Les recourants étaient donc à même de prendre connaissance du pli recommandé le jeudi 27 mars 2008. Le congé a donc été notifié, pour le terme usuel vaudois du 1er octobre 2008, dans le respect du préavis légal de six mois instauré par l'art. 266d CO pour les locaux commerciaux.
Le grief doit être rejeté.
4. Dans un troisième moyen, les recourants soutiennent que le congé du 20 mars 2008 est un congé de représailles émis parce qu'ils ont requis de bonne foi la réalisation de travaux dans les locaux pris à bail. Ils y voient une violation de l'art. 271a al. 1 let. a CO.
4.1 A teneur de la norme précitée, le congé est annulable lorsqu'il est donné parce que le locataire fait valoir de bonne foi des prétentions découlant du bail. Cette disposition vise à permettre au locataire d'exprimer librement ses prétentions sans avoir à craindre un congé. Il incombe au locataire de prouver qu'il existe un rapport de cause à effet entre sa prétention et la résiliation (arrêt 4C.155/2000 du 30 août 2000 consid 2a, in SJ 2001 I p. 17; RAYMOND BISANG ET AL., op. cit., n° 14 ad art. 271a CO). Il est toutefois loisible au bailleur, qui assume le fardeau de la contre-preuve, de démontrer que le motif véritable du congé est autre, auquel cas l'art. 271a al. 1 let. a CO ne trouve pas application (arrêt 4C.59/2007 du 25 avril 2007 consid. 3.3; LACHAT, op. cit., ch. 5.2.4 p. 741).
4.2 En l'occurrence, l'intimée, qui a obtenu l'adjudication de l'immeuble dans une vente aux enchères, a résilié de manière anticipée le bail (cf. ATF 128 III 82 consid. 2).
Sur la base des constatations opérées par la cour cantonale, on ne discerne aucun indice suffisant que le congé a été donné pour punir les recourants d'avoir émis dès 2005 des prétentions en relation avec le bail commercial. La justification du congé donné repose bien plutôt, selon la plus grande vraisemblance, sur le privilège conféré à l'adjudicataire, qui acquiert un immeuble à la suite d'une double mise à prix dans une procédure d'exécution forcée, de résilier à titre extraordinaire le bail pour le prochain terme légal. De plus, les recourants n'ont pas mis en doute le besoin de la défenderesse, qui a notamment pour but l'exploitation d'établissements publics en tout genre, d'utiliser les locaux à titre professionnel.
La critique est infondée.
5. Enfin, à titre subsidiaire, les recourants reprochent à la cour cantonale de leur avoir accordé une prolongation de leur bail jusqu'au 1er septembre 2011, et non la prolongation maximale d'une durée de six ans entrant en ligne de compte. Ils font valoir qu'ils ont acheté le fonds de commerce pour une somme de plus de 500'000 fr. et qu'ils subissent, en raison de la résiliation de leur bail, une perte économique qu'il aurait été possible de quantifier par une expertise financière et comptable, laquelle leur a été refusée arbitrairement et au mépris de leur droit d'être entendus.
5.1 Selon l'art. 272 al. 1 CO, le locataire peut demander la prolongation d'un bail de durée déterminée ou indéterminée lorsque la fin du contrat aurait pour lui ou sa famille des conséquences pénibles sans que les intérêts du bailleur le justifient. Selon la jurisprudence, même en cas de résiliation anticipée d'un bail de longue durée après une double mise à prix, le contrat peut être prolongé aux conditions des art. 272 ss CO (ATF 128 III 82 consid. 2).
5.2 Il n'est pas contestable que la résiliation pour le 1er octobre 2008 a des conséquences pénibles pour les locataires, dont la première échéance contractuelle de leur bail était le 1er septembre 2011. Il sied manifestement de leur accorder une prolongation de bail dans le cadre d'une pesée des intérêts prenant en compte les éléments rappelés à l'art. 272 al. 2 CO. La résiliation anticipée du bail résultant d'une adjudication à l'issue d'une double mise à prix, il faut, entre autres critères, prendre en considération les intérêts de l'adjudicataire, particulièrement son besoin des locaux (cf. art. 272 al. 2 let. d CO; LACHAT, op. cit., p. 698 ch. 4.5.8 in fine).
D'après l'art. 272b al. 1 CO, le bail de locaux commerciaux peut être prolongé de six ans au maximum, une ou deux prolongations pouvant être accordée dans cette limite.
Pour déterminer la durée de la prolongation du bail, le juge dispose d'un large pouvoir d'appréciation (ATF 135 III 121 consid. 2; 125 III 226 consid. 4b p. 230). Il doit donc se laisser guider par les règles du droit et de l'équité (art. 4 CC) et prendre en compte tous les éléments du cas particulier.
Le Tribunal fédéral ne revoit qu'avec réserve la décision d'équité prise en dernière instance cantonale. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou, au contraire, lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération; en outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (ATF 135 III 121 consid. 2 p. 123 s. et les arrêts cités).
5.3 Les recourants ne font pas grief à la cour cantonale de leur avoir accordé une unique prolongation, et non une première prolongation réservant la possibilité d'en obtenir une seconde aux conditions strictes de l'art. 272 al. 3 CO. Il n'y a en conséquence pas lieu d'examiner la question sous cet angle (art. 42 al. 1 et 2 LTF).
5.4 Dans le cadre de l'examen de la requête en prolongation de bail, les magistrats vaudois ont tout d'abord expliqué que les premiers juges, après avoir entendu le témoin F._, lequel avait la charge de tenir la comptabilité de l'établissement exploité par les recourants, ont estimé être suffisamment renseignés sur le dommage subi par ces derniers découlant d'une résiliation anticipée du bail, de sorte qu'une expertise comptable était superflue. Ils ont encore ajouté que les preuves par témoins et par expertise s'excluaient. Les recourants ne discutent pas cette motivation, mais se contentent d'affirmer que seule une expertise eût été à même de prouver l'ampleur du préjudice qu'ils subissent. Dès l'instant où ils n'ont pas démontré la pertinence de leur offre de preuve, le grief de violation du droit d'être entendu est sans fondement (ATF 129 II 497 consid. 2.2 p. 504/505). Les recourants n'invoquent en outre aucune application insoutenable du droit de procédure cantonal, d'où l'irrecevabilité du moyen pris de l'arbitraire.
5.5 Pour fixer la durée de la prolongation de bail contestée, l'autorité cantonale a adopté les motifs des premiers juges. Ces derniers ont retenu, d'un côté, que l'hôtel-restaurant constituait la source de revenu du locataire H.X._ et que les recourants avaient consenti de nombreux efforts personnels et économiques pour exploiter l'établissement public. De l'autre, ils ont relevé qu'au fil des années tant le chiffre d'affaires que le bénéfice des locataires avaient tendance à baisser, que le revenu du précité était complété par le salaire obtenu par son épouse, qui se montait à 6'000 fr. brut par mois, et que le responsable de la comptabilité de l'hôtel-restaurant avait déclaré que, selon les usages de la branche, le fonds de commerce devait être amorti sur la durée initiale du bail, soit sur dix ans.
La cour cantonale a ainsi tenu compte de tous les éléments pertinents, sans d'ailleurs mettre particulièrement l'accent sur le besoin de l'adjudicataire d'utiliser les locaux pour y développer ses affaires, lequel n'a pas été nié par les recourants.
La durée de la prolongation accordée équivaut à environ la moitié de la prolongation maximale. Il y a lieu en conséquence d'admettre que la cour cantonale a fait en la matière un usage correct de son pouvoir d'appréciation et respecté le droit fédéral, singulièrement l'art. 272 CO.
Le moyen est infondé.
6. Au vu de ce qui précède, le recours constitutionnel subsidiaire est irrecevable, alors que le recours en matière civile doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires et les dépens seront mis solidairement à la charge des recourants, qui succombent (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 6'000 fr., sont mis solidairement à la charge des recourants.
4. Les recourants verseront solidairement à l'intimée une indemnité de 7'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 février 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet