Faits:
A. A.a Les hoirs de feu X._ - A.X._, B.X._, C.X._ et D.X._ - étaient propriétaires d'une maison de maître à .... V._ Sàrl, leur principal locataire, y occupait une surface totale de quelque 600 m2. Au nombre des autres locataires figuraient Z._ et Y._; ces deux personnes y exerçaient leurs activités professionnelles dans des locaux de 14,2 m2 pour la première et de 38,5 m2 pour la seconde moyennant un loyer mensuel fixé, respectivement, à 319 fr. 50 et à 800 fr. Chacun des baux les liant aux hoirs E.X._ courait jusqu'au 31 août 2009, avec possibilité d'une reconduction tacite de cinq ans en cinq ans.
Le 24 février 2005, V._ Sàrl a résilié les baux la liant aux membres de l'hoirie X._ avec effet au 31 août 2005.
Par courriers du 20 mars 2005, C.X._, agissant pour ceux-ci, a résilié les contrats de bail de Z._ et de Y._ pour le 31 août 2005. Il a fait valoir la nécessité de vendre la maison, eu égard à l'impossibilité de trouver un locataire susceptible de remplacer ladite société. Les locataires ont contesté la validité formelle de la résiliation des baux et soutenu qu'il ne pouvait pas être mis fin à ceux-ci avant l'échéance contractuelle du 31 août 2009. Ils se sont alors vu signifier derechef leur congé, mais, cette fois-ci, au moyen de la formule officielle.
A.b Par acte authentique du 29 avril 2005, les hoirs X._ ont vendu la maison précitée à une société immobilière pour le prix de 6'800'000 fr. Le jour de la signature de la réquisition de transfert au Registre foncier était fixé au 30 septembre 2005. Les vendeurs certifiaient que l'immeuble vendu serait libre de bail et de tout occupant à cette date. Une clause particulière de l'acte prévoyait que si l'une des parties ne respectait pas ses engagements, l'autre partie pourrait renoncer à l'exécution du contrat et exiger le paiement de 680'000 fr. à titre de clause pénale.
A.c Le 18 mai 2005, Z._ et Y._ ont saisi la Commission de conciliation en matière de baux et loyers du district de ... de requêtes tendant à l'annulation de la résiliation des baux et, subsidiairement, à la prolongation de ceux-ci.
Des négociations visant à trouver une solution transactionnelle ont été menées entre les parties. C'est ainsi que, le 1er juin 2005, C.X._ a offert à chacun des prénommés le paiement de 50'000 fr. contre la libération des locaux au 30 août 2005. Devant leur refus, il a porté ces montants à 85'000 fr. pour Y._ et à 120'000 fr. pour Z._. Il a également proposé aux deux locataires de louer des locaux dans un autre immeuble, mais s'est vu répondre par eux que les locaux de remplacement n'avaient rien de comparable avec ceux qu'ils occupaient.
La Commission de conciliation a tenu une audience le 8 juillet 2005. A cette occasion, C.X._, assisté d'un avocat, a proposé à chaque locataire une indemnité de 70'000 fr. en échange d'un engagement de quitter les lieux au plus tard à fin septembre. Les locataires ont refusé cette offre et réitéré leur intention de rester dans les locaux. Sur quoi, la Commission de conciliation a rendu, le 12 juillet 2005, une décision constatant que la résiliation de bail adressée à Z._ produirait effet au 30 juin 2006 et celle adressée à Y._ au 31 août 2009.
Le 12 août 2005, Z._ a adressé au Tribunal des baux du canton de Vaud une requête tendant à constater que son bail arriverait à échéance le 31 août 2009 et à obtenir une prolongation de celui-ci pour une durée de quatre ans.
A.d Le 31 août 2005, C.X._ a relancé les locataires en vue d'une reprise des discussions transactionnelles.
Finalement, le 28 septembre 2005, les parties ont signé une convention prévoyant notamment qu'elles mettaient un terme anticipé aux baux litigieux, que les locataires s'engageaient à libérer les locaux le même jour à minuit au plus tard et que Z._ retirerait immédiatement l'action ouverte devant le Tribunal des baux. Pour leur part, les hoirs X._ devaient verser le jour même sur les comptes bancaires des locataires une indemnité de 130'000 fr. pour Y._ et une indemnité de 120'000 fr. pour Z._. Les engagements des locataires étaient en outre conditionnés à la conclusion d'un bail à loyer portant sur les mêmes locaux que ceux que C.X._ avait proposés sans succès aux deux locataires quelques mois plus tôt.
Le 10 octobre 2005, les hoirs X._ ont adressé à Z._ et à Y._ un courrier par lequel, alléguant avoir conclu la susdite convention sous l'empire d'une crainte fondée, ils déclaraient l'invalider partiellement et les mettaient en demeure de restituer les montants de 130'000 fr. et de 120'000 fr. précités.
B. B.a Le 23 avril 2007, A.X._, B.X._, C.X._ et D.X._ ont assigné Y._ et Z._ devant le Tribunal des baux en paiement des montants respectifs de 130'000 fr. et de 120'000 fr. avec intérêts à 5% dès le 10 octobre 2005. Les demandeurs ont, en outre, requis la mainlevée définitive des oppositions frappant les commandements de payer relatifs à ces montants.
Les défendeurs ont conclu à leur libération totale des fins de la demande et, reconventionnellement, à la radiation des poursuites afférentes aux montants litigieux.
Par jugement du 2 octobre 2007, le Tribunal des baux a rejeté les conclusions des demandeurs et annulé les poursuites concernant les défendeurs.
B.b Saisie par les demandeurs, la Chambre des recours du Tribunal cantonal du canton de Vaud a confirmé le jugement de première instance par arrêt du 23 avril 2009.
A l'appui de cet arrêt, la cour cantonale souligne que les défendeurs n'ont fait qu'exercer leurs droits de locataires en saisissant les autorités compétentes afin qu'elles constatent que les contrats de bail prendraient fin le 31 août 2009 et non pas le 31 août 2005. Il n'en demeure pas moins, selon elle, que les démarches judiciaires entreprises par les locataires comportaient le risque, pour les demandeurs, de ne pas pouvoir respecter leurs engagements envers l'acheteur de l'immeuble et de devoir payer à ce dernier les 680'000 fr. dus à titre de peine conventionnelle, de sorte que, pour parer à ce risque, les intéressés ont été contraints de signer la convention du 28 septembre 2005, trois jours avant la date à laquelle ils devaient remettre à l'acheteur l'immeuble libre de bail et de tout occupant, convention qu'ils n'auraient pas conclue sans cette "menace".
Les juges cantonaux examinent ensuite si la "contrainte" licite exercée par les défendeurs a permis à ceux-ci d'extorquer aux demandeurs des avantages excessifs, au sens de l'<ref-law>. Ils le font en recherchant, conformément aux critères applicables en matière d'usure (<ref-law>), s'il existe une disproportion évidente, sur le plan économique, entre les prestations fournies de part et d'autre. Tel n'est pas le cas à leur avis. En effet, la prestation des défendeurs, soit le départ séance tenante de locaux qu'ils auraient pu continuer d'occuper pendant quatre ans au moins dans un environnement magnifique en payant des loyers modiques, avec tous les aléas liés à ce départ immédiat, lequel risquait de perturber, voire d'entraver leurs activités professionnelles, était économiquement importante. L'engagement pris par les demandeurs de verser 120'000 fr. à l'un des défendeurs et 130'000 fr. à l'autre l'était certes aussi; il faut cependant le replacer dans son contexte, soit dans la situation créée par les intéressés eux-mêmes: le fait d'éviter de payer une clause pénale de 680'000 fr. et la possibilité de réaliser un gain imposable de 4'481'500 fr. Ainsi, aux yeux des magistrats vaudois, les avantages procurés aux demandeurs par le départ immédiat des défendeurs "valaient" bien une indemnisation de 250'000 fr. Quant aux inconvénients découlant pour ces derniers de leur départ immédiat, ils "valaient" bien 250'000 fr. également. Par conséquent, la convention du 28 septembre 2005 déploie tous ses effets.
La cour cantonale soulève enfin, dans un obiter dictum, la question d'un éventuel abus de droit imputable aux demandeurs, tout en laissant cette question indécise. A cet égard, elle note que c'est C.X._, homme d'affaires avisé assisté d'un avocat, qui a mené les négociations et soumis aux défendeurs un projet de convention prévoyant une indemnité de 130'000 fr. pour chacun d'eux. Aussi s'étonne-t-elle de ce que l'intéressé, qui connaissait les avantages que les hoirs X._ pourraient tirer de la convention projetée, ait signé celle-ci pour l'invalider ensuite quelques jours seulement après le départ effectif des locataires et la date prévue pour la signature de la réquisition d'inscription au Registre foncier de l'acheteur comme propriétaire de l'immeuble.
C. A.X._, B.X._, C.X._ et D.X._ ont formé un "recours en matière de droit public" au Tribunal fédéral. Ils y reprennent leurs précédentes conclusions et requièrent, à titre subsidiaire, le renvoi de la cause à la cour cantonale pour qu'elle statue à nouveau dans le sens des considérants de l'arrêt fédéral. Les recourants font grief aux juges vaudois d'avoir violé l'<ref-law> et l'<ref-law>.
Les intimés concluent au rejet du recours dans la mesure où il est recevable. Quant à la cour cantonale, elle se réfère aux motifs énoncés dans son arrêt.

Considérant en droit:
1. 1.1 En dépit de son intitulé erroné ("recours en matière de droit public"), le présent recours est, en réalité, un recours en matière civile (<ref-law>), comme cela ressort clairement des explications fournies par ses auteurs dans la partie de leur mémoire réservée à la recevabilité du moyen de droit exercé par eux. Formé par la partie qui a succombé dans ses conclusions (<ref-law>), le recours en question est dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil fixé par la loi pour la recevabilité du recours en matière civile (<ref-law>). Pour le surplus, il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Rien ne s'oppose, dès lors, à l'entrée en matière.
1.2 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral n'entre pas en matière sur la violation d'un droit de rang constitutionnel ou sur une question afférente au droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière détaillée par la partie recourante (<ref-law>). Pour le reste, il applique le droit d'office (<ref-law>), sans être limité par les arguments soulevés dans le recours ni par la motivation retenue dans la décision attaquée; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en substituant une nouvelle argumentation à celle de l'autorité précédente. Cependant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sanctionnée par l'irrecevabilité des recours dont la motivation est manifestement insuffisante (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est donc pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.1).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
1.4 La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées; à ce défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (cf. <ref-ruling> consid. 1.4).
Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2. Dans un premier moyen, les recourants font grief à la cour cantonale d'avoir violé l'<ref-law>.
2. Dans un premier moyen, les recourants font grief à la cour cantonale d'avoir violé l'<ref-law>.
2.1 2.1.1 Vice du consentement, la crainte fondée est celle qu'une personne - partie ou tiers - inspire à une autre, intentionnellement et sans droit, pour la déterminer à faire une déclaration de volonté. La cause de la crainte est la menace d'un mal futur dans l'hypothèse d'un refus d'obtempérer; elle vicie la volonté au stade de sa formation (PIERRE ENGEL, Traité des obligations en droit suisse, 2e éd. 1997, p. 363).
Pour qu'un contrat soit invalidé au titre de la crainte fondée, les quatre conditions suivantes doivent être réunies: une menace dirigée sans droit contre une partie ou l'un de ses proches, la crainte fondée qui en résulte, l'intention de l'auteur de la menace de déterminer le destinataire à faire une déclaration de volonté et le lien de causalité entre la crainte et le consentement (<ref-ruling> consid. 2).
Aux termes de l'<ref-law>, la crainte de voir invoquer un droit ne peut être prise en considération que si la gêne de la partie menacée a été exploitée pour extorquer à celle-ci des avantages excessifs. En principe, n'est pas une menace sans droit le fait d'user d'un moyen licite qui cause un mal licite. Il doit toutefois y avoir adéquation entre le moyen et la fin que l'auteur se propose d'atteindre (ENGEL, op. cit., p. 366). L'expression "avantages excessifs" signifie une disproportion quantitative qui doit être évaluée selon les mêmes critères que ceux permettant de déterminer l'existence de l'usure, au sens de l'<ref-law> (BRUNO SCHMIDLIN, in Commentaire romand, Code des obligations I, 2003, n° 19 ad art. 29-30 CO). Ainsi, selon une évaluation objective, l'avantage pécuniaire obtenu doit être en disproportion évidente, sur le plan économique, avec la prestation fournie (<ref-ruling> consid. 7.2 p. 109 et l'auteur cité). La constatation relative à la valeur objective d'une prestation relève du fait; en revanche, dire si les deux prestations se trouvent dans un rapport de disproportion évidente est une question de droit (arrêt 4C.238/2004 du 13 octobre 2005 consid. 2.2 et l'arrêt cité). Les termes "avantages excessifs" englobent aussi tout avantage inadéquat ou disproportionné par lequel celui qui menace d'invoquer un droit poursuit un but étranger à ce droit ou allant bien au-delà de son simple exercice, en violation des règles de la bonne foi (SCHMIDLIN, ibid.; le même, in Commentaire bernois, 1995, n° 56 ad art. 29/30 CO).
Le fardeau de la preuve de l'existence d'une menace et de l'effet causal de celle-ci sur la conclusion du contrat appartient à la partie menacée. C'est à elle aussi qu'il incombe d'établir le caractère excessif des avantages qui lui ont été extorqués par la menace d'invoquer un droit (arrêt 4C.214/2006 du 19 décembre 2006 consid. 4 et l'auteur cité).
2.1.2 Au demeurant, l'invalidation d'une transaction pour cause de crainte fondée ne doit pas être admise trop facilement. En effet, pour dire si un acte de ce type est entaché d'un tel vice du consentement, il y a lieu de tenir compte non seulement de ce que la partie aurait pu obtenir d'un point de vue objectif en cas de procès, mais aussi du souci des parties d'éviter les risques d'un procès, fût-ce au prix de concessions qui peuvent sans doute être excessives, mais qui sont inhérentes à la nature de la transaction (<ref-ruling> consid. 3).
2.2 Sur le vu de ces principes et des arguments avancés dans le recours en matière civile, la solution adoptée par les juges vaudois, telle qu'elle a été résumée plus haut, n'apparaît pas contraire au droit fédéral.
2.2.1 Selon les recourants, pour dire si les intimés ont obtenu des "avantages excessifs", au sens de l'<ref-law>, il conviendrait de faire abstraction du dommage qu'eux-mêmes auraient éprouvé si les locataires avaient refusé de quitter les lieux et que la vente projetée n'eût pas été conclue - i.e. un damnum emergens de 680'000 fr. (clause pénale) et un lucrum cessans de 4'481'500 fr. (gain immobilier manqué) - pour ne considérer que les inconvénients causés aux locataires par la résiliation anticipée du bail et leur départ immédiat. Or, de l'avis des recourants, les intimés n'auraient subi aucun inconvénient, puisqu'ils se sont vu proposer "des locaux de remplacement similaires à des loyers identiques".
Mis à part le fait que cette dernière affirmation s'écarte des constatations souveraines des juges précédents (cf. <ref-law>), la thèse soutenue par les recourants ne convainc pas. Aussi bien, ses auteurs négligent par trop la nature transactionnelle de la convention signée le 28 septembre 2005. En concluant celle-ci, les parties ont, en effet, cherché à concilier, dans la mesure du possible, leurs intérêts économiques antagonistes: les intimés, qui louaient des locaux pour un loyer modique dans une maison de maître prestigieuse et qui étaient en droit d'y demeurer durant plusieurs années encore, n'entendaient pas quitter les lieux de manière anticipée; inversement, les recourants, qui s'étaient engagés envers l'acquéreur de la maison vendue par eux à la libérer de tout occupant à brève échéance, souhaitaient obtenir le départ immédiat des locataires en place. Dans de telles circonstances, il est normal que ces derniers aient cherché à monnayer le sacrifice exigé d'eux, qui avait un prix. Les recourants seraient d'ailleurs malvenus de le leur reprocher, car ce sont eux qui, par le truchement de C.X._, ont proposé, le 1er juin 2005 déjà, de verser à chacun des intimés la somme de 50'000 fr., qu'ils ont portée ensuite à 85'000 fr. pour Y._ et à 120'000 fr. pour Z._, étant précisé que ces propositions ont été formulées avant que les locataires aient eu connaissance des conditions de la vente immobilière. En réclamant aujourd'hui, par le biais d'une invalidation partielle (<ref-law>) de la convention litigieuse, le remboursement des indemnités versées aux intimés, ils préconisent une solution qui, si elle était adoptée, leur procurerait l'avantage d'avoir obtenu le départ immédiat des locataires sans bourse délier, ce qui heurterait le sentiment de la justice et de l'équité. Par ailleurs, contrairement à ce que soutiennent les recourants, sans se soucier des seules constatations des juges cantonaux, il n'est pas du tout établi que les locaux de remplacement proposés par eux et finalement acceptés par les intimés aient été équivalents aux locaux formant l'objet des baux courant jusqu'à fin août 2009.
En tout état de cause, la cour cantonale retient, dans son arrêt, que "les inconvénients découlant pour les intimés de leur départ immédiat [...] valaient bien 250'000 francs". Il s'agit là d'une constatation de fait, qui lie la Cour de céans (<ref-law>). Forts de cette constatation, les juges vaudois pouvaient admettre, sans violer l'<ref-law>, qu'en recevant une indemnité correspondant globalement aux inconvénients générés par leur abandon anticipé des locaux pris à bail, les intimés n'avaient pas extorqué aux recourants des avantages excessifs.
2.2.2 Les recourants se plaignent, en outre, d'une violation de l'<ref-law>. A les suivre, les intimés n'auraient pas prouvé le dommage lié à leur déménagement, alors qu'eux-mêmes avaient expressément sollicité du Tribunal des baux que cette preuve fût rapportée.
Force est de constater que les intéressés n'indiquent pas ni où ni quand ils ont requis des premiers juges l'administration d'une telle preuve. Au demeurant, sur le vu des pièces figurant au dossier cantonal, la Chambre des recours a évalué à 250'000 fr. les inconvénients liés au déménagement en question (cf. consid. 2.2.1 in fine ci-dessus). Elle a posé, ce faisant, une constatation qui rend sans objet la question du fardeau de la preuve (<ref-ruling> consid. 2.1 p. 649 et les arrêts cités). Pour le surplus, on rappellera qu'il appartient à la personne "menacée" - en l'occurrence, les recourants - d'établir le caractère excessif des avantages qui lui ont été extorqués par la menace d'invoquer un droit, et non pas à l'auteur de la menace de prouver que les avantages obtenus par lui ne revêtent pas un tel caractère.
2.3 Comme les recourants soutiennent eux-mêmes que l'<ref-law>, relatif à la lésion, n'est pas applicable en l'espèce, il n'y a pas lieu d'examiner la présente affaire sous cet angle-là (cf. consid. 1.2 in fine ci-dessus).
3. Cela étant, le présent recours doit être rejeté. Ses auteurs, qui succombent, seront, dès lors, condamnés solidairement à payer les frais judiciaires (art. 66 al. 1 et 5 LTF) et à verser aux intimés une indemnité globale pour leurs dépens (art. 68 al. 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Les recourants sont condamnés solidairement à verser aux intimés une indemnité globale de 7'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 août 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Carruzzo