Faits: A. A.a Les hoirs de feu X._ - A.X._, B.X._, C.X._ et D.X._ - étaient propriétaires d'une maison de maître à .... V._ Sàrl, leur principal locataire, y occupait une surface totale de quelque 600 m2. Au nombre des autres locataires figuraient Z._ et Y._; ces deux personnes y exerçaient leurs activités professionnelles dans des locaux de 14,2 m2 pour la première et de 38,5 m2 pour la seconde moyennant un loyer mensuel fixé, respectivement, à 319 fr. 50 et à 800 fr. Chacun des baux les liant aux hoirs E.X._ courait jusqu'au 31 août 2009, avec possibilité d'une reconduction tacite de cinq ans en cinq ans. Le 24 février 2005, V._ Sàrl a résilié les baux la liant aux membres de l'hoirie X._ avec effet au 31 août 2005. Par courriers du 20 mars 2005, C.X._, agissant pour ceux-ci, a résilié les contrats de bail de Z._ et de Y._ pour le 31 août 2005. Il a fait valoir la nécessité de vendre la maison, eu égard à l'impossibilité de trouver un locataire susceptible de remplacer ladite société. Les locataires ont contesté la validité formelle de la résiliation des baux et soutenu qu'il ne pouvait pas être mis fin à ceux-ci avant l'échéance contractuelle du 31 août 2009. Ils se sont alors vu signifier derechef leur congé, mais, cette fois-ci, au moyen de la formule officielle. A.b Par acte authentique du 29 avril 2005, les hoirs X._ ont vendu la maison précitée à une société immobilière pour le prix de 6'800'000 fr. Le jour de la signature de la réquisition de transfert au Registre foncier était fixé au 30 septembre 2005. Les vendeurs certifiaient que l'immeuble vendu serait libre de bail et de tout occupant à cette date. Une clause particulière de l'acte prévoyait que si l'une des parties ne respectait pas ses engagements, l'autre partie pourrait renoncer à l'exécution du contrat et exiger le paiement de 680'000 fr. à titre de clause pénale. A.c Le 18 mai 2005, Z._ et Y._ ont saisi la Commission de conciliation en matière de baux et loyers du district de ... de requêtes tendant à l'annulation de la résiliation des baux et, subsidiairement, à la prolongation de ceux-ci. Des négociations visant à trouver une solution transactionnelle ont été menées entre les parties. C'est ainsi que, le 1er juin 2005, C.X._ a offert à chacun des prénommés le paiement de 50'000 fr. contre la libération des locaux au 30 août 2005. Devant leur refus, il a porté ces montants à 85'000 fr. pour Y._ et à 120'000 fr. pour Z._. Il a également proposé aux deux locataires de louer des locaux dans un autre immeuble, mais s'est vu répondre par eux que les locaux de remplacement n'avaient rien de comparable avec ceux qu'ils occupaient. La Commission de conciliation a tenu une audience le 8 juillet 2005. A cette occasion, C.X._, assisté d'un avocat, a proposé à chaque locataire une indemnité de 70'000 fr. en échange d'un engagement de quitter les lieux au plus tard à fin septembre. Les locataires ont refusé cette offre et réitéré leur intention de rester dans les locaux. Sur quoi, la Commission de conciliation a rendu, le 12 juillet 2005, une décision constatant que la résiliation de bail adressée à Z._ produirait effet au 30 juin 2006 et celle adressée à Y._ au 31 août 2009. Le 12 août 2005, Z._ a adressé au Tribunal des baux du canton de Vaud une requête tendant à constater que son bail arriverait à échéance le 31 août 2009 et à obtenir une prolongation de celui-ci pour une durée de quatre ans. A.d Le 31 août 2005, C.X._ a relancé les locataires en vue d'une reprise des discussions transactionnelles. Finalement, le 28 septembre 2005, les parties ont signé une convention prévoyant notamment qu'elles mettaient un terme anticipé aux baux litigieux, que les locataires s'engageaient à libérer les locaux le même jour à minuit au plus tard et que Z._ retirerait immédiatement l'action ouverte devant le Tribunal des baux. Pour leur part, les hoirs X._ devaient verser le jour même sur les comptes bancaires des locataires une indemnité de 130'000 fr. pour Y._ et une indemnité de 120'000 fr. pour Z._. Les engagements des locataires étaient en outre conditionnés à la conclusion d'un bail à loyer portant sur les mêmes locaux que ceux que C.X._ avait proposés sans succès aux deux locataires quelques mois plus tôt. Le 10 octobre 2005, les hoirs X._ ont adressé à Z._ et à Y._ un courrier par lequel, alléguant avoir conclu la susdite convention sous l'empire d'une crainte fondée, ils déclaraient l'invalider partiellement et les mettaient en demeure de restituer les montants de 130'000 fr. et de 120'000 fr. précités. B. B.a Le 23 avril 2007, A.X._, B.X._, C.X._ et D.X._ ont assigné Y._ et Z._ devant le Tribunal des baux en paiement des montants respectifs de 130'000 fr. et de 120'000 fr. avec intérêts à 5% dès le 10 octobre 2005. Les demandeurs ont, en outre, requis la mainlevée définitive des oppositions frappant les commandements de payer relatifs à ces montants. Les défendeurs ont conclu à leur libération totale des fins de la demande et, reconventionnellement, à la radiation des poursuites afférentes aux montants litigieux. Par jugement du 2 octobre 2007, le Tribunal des baux a rejeté les conclusions des demandeurs et annulé les poursuites concernant les défendeurs. B.b Saisie par les demandeurs, la Chambre des recours du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance par arrêt du 23 avril 2009. A l'appui de cet arrêt, la cour cantonale souligne que les défendeurs n'ont fait qu'exercer leurs droits de locataires en saisissant les autorités compétentes afin qu'elles constatent que les contrats de bail prendraient fin le 31 août 2009 et non pas le 31 août 2005. Il n'en demeure pas moins, selon elle, que les démarches judiciaires entreprises par les locataires comportaient le risque, pour les demandeurs, de ne pas pouvoir respecter leurs engagements envers l'acheteur de l'immeuble et de devoir payer à ce dernier les 680'000 fr. dus à titre de peine conventionnelle, de sorte que, pour parer à ce risque, les intéressés ont été contraints de signer la convention du 28 septembre 2005, trois jours avant la date à laquelle ils devaient remettre à l'acheteur l'immeuble libre de bail et de tout occupant, convention qu'ils n'auraient pas conclue sans cette "menace". Les juges cantonaux examinent ensuite si la "contrainte" licite exercée par les défendeurs a permis à ceux-ci d'extorquer aux demandeurs des avantages excessifs, au sens de l'art. 30 al. 2 CO. Ils le font en recherchant, conformément aux critères applicables en matière d'usure (art. 157 CP), s'il existe une disproportion évidente, sur le plan économique, entre les prestations fournies de part et d'autre. Tel n'est pas le cas à leur avis. En effet, la prestation des défendeurs, soit le départ séance tenante de locaux qu'ils auraient pu continuer d'occuper pendant quatre ans au moins dans un environnement magnifique en payant des loyers modiques, avec tous les aléas liés à ce départ immédiat, lequel risquait de perturber, voire d'entraver leurs activités professionnelles, était économiquement importante. L'engagement pris par les demandeurs de verser 120'000 fr. à l'un des défendeurs et 130'000 fr. à l'autre l'était certes aussi; il faut cependant le replacer dans son contexte, soit dans la situation créée par les intéressés eux-mêmes: le fait d'éviter de payer une clause pénale de 680'000 fr. et la possibilité de réaliser un gain imposable de 4'481'500 fr. Ainsi, aux yeux des magistrats vaudois, les avantages procurés aux demandeurs par le départ immédiat des défendeurs "valaient" bien une indemnisation de 250'000 fr. Quant aux inconvénients découlant pour ces derniers de leur départ immédiat, ils "valaient" bien 250'000 fr. également. Par conséquent, la convention du 28 septembre 2005 déploie tous ses effets. La cour cantonale soulève enfin, dans un obiter dictum, la question d'un éventuel abus de droit imputable aux demandeurs, tout en laissant cette question indécise. A cet égard, elle note que c'est C.X._, homme d'affaires avisé assisté d'un avocat, qui a mené les négociations et soumis aux défendeurs un projet de convention prévoyant une indemnité de 130'000 fr. pour chacun d'eux. Aussi s'étonne-t-elle de ce que l'intéressé, qui connaissait les avantages que les hoirs X._ pourraient tirer de la convention projetée, ait signé celle-ci pour l'invalider ensuite quelques jours seulement après le départ effectif des locataires et la date prévue pour la signature de la réquisition d'inscription au Registre foncier de l'acheteur comme propriétaire de l'immeuble. C. A.X._, B.X._, C.X._ et D.X._ ont formé un "recours en matière de droit public" au Tribunal fédéral. Ils y reprennent leurs précédentes conclusions et requièrent, à titre subsidiaire, le renvoi de la cause à la cour cantonale pour qu'elle statue à nouveau dans le sens des considérants de l'arrêt fédéral. Les recourants font grief aux juges vaudois d'avoir violé l'art. 30 al. 2 CO et l'art. 8 CC. Les intimés concluent au rejet du recours dans la mesure où il est recevable. Quant à la cour cantonale, elle se réfère aux motifs énoncés dans son arrêt.