Faits:
A. X._ et Y._ ont été actionnaires de la société A._ SA, laquelle faisait partie d'un groupe de sociétés spécialisées dans le domaine médical, le "Groupe X._", dont X._ était l'actionnaire principal.
Au mois de décembre 1991, Y._ a été suspendu de son droit de pratiquer la médecine en raison de fautes professionnelles graves ayant entraîné l'ouverture d'une procédure pénale à son encontre.
Le 29 septembre 1992, les parties ont passé une convention destinée à régler leurs prétentions pécuniaires réciproques. Selon le ch. 1 de l'accord, Y._ cède irrévocablement toutes ses actions de A._ SA à X._ pour un montant de 305'800 fr. Selon le ch. 3, ce dernier verse la somme de 480'000 fr. au premier pour l'achat des actions et pour diverses autres prétentions (notamment honoraires de Y._ et loyer versé par celui-ci à A._ SA). Le ch. 4 prévoit les modalités de paiement: X._ est tenu de verser un acompte de 20'000 fr. le 17 septembre 1992 (soit avant la signature de l'accord), puis 10'000 fr. par mois depuis le 25 novembre 1992, ce pendant 46 mois. Le ch. 5 de la convention se présente comme suit:
"5. Le paiement est subordonné aux deux conditions suivantes:
"5. Le paiement est subordonné aux deux conditions suivantes:
a. Le Dr. Y._ informe par écrit les assurances concernées qu'il dégage le A._ resp. Clinique B._ SA de toute responsabilité des problèmes qui ont entraîné sa suspension en décembre 1991. Cette information écrite est envoyée aux assurances concernées avec copie au Dr. X._ jusqu'au vendredi 25 septembre 1992.
a. Le Dr. Y._ informe par écrit les assurances concernées qu'il dégage le A._ resp. Clinique B._ SA de toute responsabilité des problèmes qui ont entraîné sa suspension en décembre 1991. Cette information écrite est envoyée aux assurances concernées avec copie au Dr. X._ jusqu'au vendredi 25 septembre 1992.
b. Le Dr. Y._ s'engage à ne pas rester passif face aux attaques qu'il pourrait subir dans le cadre de l'enquête dirigée contre lui depuis sa suspension en décembre 1991."
X._ a procédé au paiement du premier acompte de 20'000 fr. le 17 septembre 1992. Il s'est ensuite acquitté des mensualités convenues pendant 32 mois (soit une somme de 320'000 fr.), puis en a suspendu le paiement, soutenant que Y._ n'avait pas respecté les deux conditions prévues au ch. 5 de l'accord.
Y._ a adressé deux réquisitions de poursuite pour le solde de 140'000 fr. La seconde réquisition, datée du 1er juillet 1997, a fait l'objet d'un commandement de payer qui a été notifié à X._ le 4 juillet 1997. Celui-ci a formé opposition totale.
Le 2 février 2002, Y._ a fait notifier à X._ un commandement de payer (poursuite ordinaire no ...) pour le même montant, lequel a à nouveau été frappé d'opposition totale. Par prononcé du 11 avril 2002, la Présidente du Tribunal d'arrondissement de Lausanne a rejeté la requête de mainlevée déposée par Y._. La Cour des poursuites et faillites du Tribunal cantonal a admis le recours exercé par ce dernier et réformé le prononcé en ce sens que la mainlevée provisoire de l'opposition a été accordée, à concurrence de 140'000 fr.
B. Le 14 octobre 2002, X._ a ouvert une action en libération de dette auprès de la Cour civile du Tribunal cantonal vaudois, concluant à ce que cette autorité dise que le demandeur n'est pas le débiteur du défendeur du montant de 140'000 fr. et qu'elle maintienne définitivement l'opposition formée par le demandeur.
Le défendeur a conclu au rejet de la demande et, reconventionnellement, à ce que le demandeur soit reconnu son débiteur pour un montant de 140'000 fr.
Dans un rapport du 20 mars 2008, l'expert mandaté en cours d'instruction a estimé à 22'290 fr. la valeur de la part des actions de la société A._ SA qui était détenue par le défendeur.
Compte tenu de la valeur arrêtée par l'expert, le demandeur en a déduit qu'il se trouvait dans l'erreur en acceptant le prix global de 480'000 fr. convenu dans l'accord du 29 septembre 1992. Le 14 mai 2008, le conseil du demandeur a alors informé le défendeur qu'il entendait invalider la convention et réclamer le montant d'ores et déjà versé; le même jour, il a en outre notifié au conseil du défendeur une déclaration d'invalidation de la convention au sens de l'<ref-law>.
Dans une réplique complémentaire après réforme du 7 octobre 2008, le demandeur a confirmé ses conclusions du 14 octobre 2002 et en a ajouté une visant à ce que le défendeur lui rembourse le montant de 340'000 fr. déjà versé. Il a expressément soulevé les exceptions de compensation et de prescription.
Par jugement du 19 juin 2009, la Cour civile vaudoise a rejeté les conclusions du demandeur et fait droit à la conclusion reconventionnelle du défendeur en paiement du solde des mensualités dues, soit un total de 140'000 fr., avec intérêt à 5% l'an dès le 25 avril 1996.
La Cour civile a considéré que le demandeur avait échoué à rapporter la preuve qu'il se trouvait dans une erreur essentielle au sens des art. 23 et 24 al. 1 ch. 4 CO lors de la conclusion du contrat. Elle a retenu que la prescription décennale (<ref-law>) n'était pas acquise et ajouté que, à supposer la prescription quinquennale (<ref-law>) applicable, elle aurait été valablement interrompue par la procédure de poursuite initiée le 1er juillet 1997. Quant aux deux conditions inscrites dans la convention (ch. 5), la Cour civile a jugé que le demandeur ne pouvait s'en prévaloir pour invalider l'accord et qu'il ne pouvait se baser sur la deuxième de ces conditions (ch. 5b) pour retenir sa propre prestation (soit le paiement du montant de 140'000 fr.) en invoquant l'<ref-law>.

C. X._ a exercé un recours en matière civile au Tribunal fédéral contre le jugement de la Cour civile du 19 juin 2009. Il a conclu, principalement, à la réforme du jugement de la Cour civile en ce sens que l'action en libération de dette soit admise, qu'en conséquence il soit dit que le demandeur n'est pas le débiteur du défendeur (pour le montant de 140'000 fr.) et que l'opposition formée contre le commandement de payer no ... soit définitivement maintenue. "Principalement toujours et reconventionnellement", le recourant a conclu à ce qu'il soit dit que l'intimé est son débiteur et qu'en conséquence il soit tenu de lui rembourser la somme de 340'000 fr. Subsidiairement, il a demandé l'annulation du jugement attaqué et le renvoi de la cause à la Cour civile. Le recourant considère que la cour cantonale a violé l'<ref-law> en jugeant que la prescription quinquennale n'était pas acquise et transgressé l'<ref-law>, ainsi que l'<ref-law>, en écartant l'exception d'inexécution au motif qu'il n'avait pas démontré que l'intimé avait violé l'une des obligations découlant de la convention (ch. 5b).
Parallèlement, le recourant a interjeté un recours en nullité auprès de la Chambre des recours du Tribunal cantonal, qui l'a rejeté par arrêt du 16 février 2010. Il a alors formé un recours complémentaire en matière civile au Tribunal fédéral, reprenant les conclusions déjà formulées dans son recours contre le jugement de la Cour civile. Le recourant reproche à la Chambre des recours d'avoir apprécié les preuves de manière arbitraire et ainsi violé l'art. 9 Cst.
Dans sa réponse, s'exprimant sur les deux recours, l'intimé conclut "au rejet du recours".
Considérant en droit:
1. 1.1 Vu leur connexité évidente, les deux recours, l'un dirigé contre le jugement de la Cour civile du 19 juin 2009 et l'autre contre l'arrêt de la Chambre des recours du 16 février 2010, doivent être traités dans un seul et même arrêt.
1.2 Les recours sont interjetés par la partie qui a succombé dans ses conclusions libératoires et en paiement (<ref-law>), dans une cause relevant de la matière civile au sens de l'<ref-law>. Ils sont dirigés contre des décisions finales (<ref-law>). Compte tenu des dernières conclusions prises, il s'agit d'une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>). Les recours ont été déposés, dans la forme requise (<ref-law>; cf. cependant infra consid. 3.1) en respectant le délai fixé par la loi, puisqu'ils ont été formés dans les trente jours à compter de la notification complète de la deuxième décision (art. 48 al. 1, 100 al. 1 et 6 LTF).
Les deux recours en matière civile sont donc recevables. L'exigence de l'épuisement des instances cantonales (<ref-law>) implique cependant que le recourant ne peut pas invoquer, à l'encontre du jugement de la Cour civile du 19 juin 2009, des griefs qu'il pouvait encore soumettre à la Chambre des recours par la voie du recours en nullité; pour ces griefs seul l'arrêt de la Chambre des recours du 16 février 2010 est susceptible d'être attaqué dans le cadre du second recours (cf. arrêt 4A_17/2009 du 14 avril 2009 consid. 1.2; <ref-ruling> consid. 3 p. 586; sur l'ensemble de la question: Bernard Corboz, in Commentaire de la LTF, no 16 ad <ref-law>).
1.3 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1. p. 153) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Il incombe à la partie recourante, qui entend s'écarter des constatations de l'autorité précédente, d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 et 6.2).
Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
Recours contre l'arrêt de la Chambre des recours du 16 février 2010
2. 2.1 Ayant rappelé au préalable que, dans la convention du 29 septembre 1992, le paiement du montant de 480'000 fr. est subordonné à deux conditions, le recourant soutient que c'est en établissant les faits et appréciant les preuves de manière arbitraire (art. 9 Cst.) que la Chambre des recours a retenu que les parties avaient renoncé à la première condition (ch. 5a de l'accord). Selon celle-ci, l'intimé doit informer par écrit les assurances concernées qu'il dégage le A._, respectivement la Clinique B._ SA, de toute responsabilité résultant des problèmes ayant entraîné sa suspension en décembre 1991. Le recourant est d'avis qu'il est insoutenable d'inférer du seul paiement des mensualités la renonciation à cette condition, le témoin C._ indiquant au contraire que le recourant a continuellement relancé l'intimé pour le mettre en demeure de se conformer à l'accord.
2.2 En matière d'appréciation des preuves et d'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1). Le grief tiré de l'appréciation arbitraire des preuves ne peut être pris en considération que si son admission est de nature à modifier le sort du litige, ce qui n'est pas le cas lorsqu'il vise une constatation de fait n'ayant aucune incidence sur l'application du droit (<ref-ruling> consid. 2.1 p. 9; arrêt 4P.305/2001 du 18 mars 2002, consid. 2a).
2.3 Il ressort de l'arrêt cantonal (p. 14) que, selon le témoin C._, le recourant est "intervenu à plusieurs reprises auprès de l'intimé pour que celui-ci se conforme aux exigences de la convention". Le témoin fait donc référence de façon générale "aux exigences de la convention"; il n'indique toutefois pas si le recourant est intervenu à plusieurs reprises spécifiquement en rapport avec la condition 5a de la convention. Concernant précisément cette condition, le comportement du recourant semble plutôt infirmer sa thèse. Les juges cantonaux, renvoyant parfois au jugement de la Cour civile, ont en effet mis en évidence que le délai imparti à l'intimé pour informer les assurances concernées est arrivé à échéance le 25 septembre 1992 (ch. 5a de la convention) et que les parties ont malgré tout signé l'accord le 29 septembre 1992. La Chambre des recours a en outre souligné que le recourant a procédé ensuite au paiement pendant près de trois ans, à savoir 32 mois (32 acomptes de 10'000 fr.). Cela étant, on ne saurait dire que la cour cantonale a apprécié les preuves de façon insoutenable en confirmant que les parties ont implicitement renoncé à la condition 5a de l'accord, respectivement qu'elles ont considéré que celle-ci était remplie.
Le recours dirigé contre l'arrêt rendu le 16 février 2010 par la Chambre des recours ne peut donc qu'être rejeté.
Recours contre le jugement de la Cour civile du 19 juin 2009
3. 3.1 Sous l'angle de la prescription, la Cour civile a retenu que le paiement des acomptes ne pouvait en l'espèce être considéré comme celui de redevances périodiques au sens de l'<ref-law> et que la prescription décennale de l'<ref-law>, alors applicable, n'était pas acquise au moment de la notification du commandement de payer no ... et de l'ouverture de l'action en libération de dette. Elle a ajouté que, à supposer la prescription quinquennale applicable, elle aurait de toute façon été valablement interrompue par la procédure de poursuite initiée le 1er juillet 1997 ayant abouti à la notification du commandement de payer le 4 juillet 1997.
Le recourant ne conteste pas que la prescription décennale (<ref-law>) n'est pas acquise. Son argumentation vise uniquement l'<ref-law> qui est, selon lui, seul applicable en l'espèce. Il estime que la Cour civile aurait dû considérer les paiements réguliers effectués comme des redevances au sens de cette dernière disposition et qu'elle l'a donc transgressée en appliquant de façon erronée l'<ref-law>.
Examinant le cas d'espèce sous l'angle de l'<ref-law>, le recourant se limite toutefois à affirmer que la prescription quinquennale, n'ayant pas été valablement interrompue, est acquise. Pour appuyer sa thèse, il n'offre aucune motivation qui permettrait de comprendre, sur la base des faits constatés par la Cour civile, en quoi consiste la violation de l'<ref-law>. Le recourant se borne, en invoquant l'appréciation arbitraire des preuves (art. 9 Cst.), à contester formellement l'existence du commandement de payer du 4 juillet 1997, soit à revenir sur un point de fait établi par la cour cantonale. Ce grief, qui a fait l'objet d'un recours en nullité à la Chambre des recours, n'est pas recevable dans le recours dirigé contre le jugement de la Cour civile du 19 juin 2009, faute d'épuisement des instances cantonales (cf. supra consid. 1.2). A noter que, dans son recours dirigé contre l'arrêt de la Chambre des recours (cf. infra consid. 2), le recourant ne soulève pas ce grief.
En résumé, le recourant ne conteste pas que la prescription n'est pas acquise sous l'angle de l'<ref-law> et son grief de violation de l'<ref-law>, non motivé (cf. supra consid. 1.3), est irrecevable.
Le grief selon lequel la Cour civile aurait admis à tort que la prescription n'était pas acquise doit être déclaré mal fondé dans la mesure de sa recevabilité.
Le grief selon lequel la Cour civile aurait admis à tort que la prescription n'était pas acquise doit être déclaré mal fondé dans la mesure de sa recevabilité.
3.2 3.2.1 S'agissant de la deuxième condition prévue dans la convention (ch. 5b), la Cour civile estime que, selon la réelle et commune intention des parties, cette condition, suspensive, consistait uniquement en l'engagement pris par le défendeur et qu'elle s'est donc réalisée par la seule signature de la convention.
Selon l'autorité précédente, si le défendeur n'avait par la suite pas respecté l'une de ses obligations, cela n'aurait aucune conséquence sur la validité du contrat, mais relèverait de son inexécution. A cet égard, la cour cantonale considère que le recourant (débiteur du solde litigieux de 140'000 fr.) ne pouvait se prévaloir de l'exception d'inexécution au motif que l'intimé ne s'était pas exécuté ou n'avait pas offert de s'exécuter en vertu de l'art. 5b de la convention liant les parties. Elle explique en effet que le recourant n'a pas apporté la preuve que l'intimé avait fait l'objet d'attaques dont il aurait eu à se défendre et que, dès lors, il n'est pas établi que celui-ci aurait violé son obligation découlant de l'art 5b de la convention.
Enfin, la Cour civile précise que, même si la condition prévue à l'art. 5b de l'accord avait dû être qualifiée de résolutoire, il n'y avait pas lieu de résoudre le contrat, dès lors que le demandeur n'avait pas apporté la preuve que le défendeur avait fait l'objet d'attaques.
3.2.2 Le recourant reproche à la cour cantonale d'avoir ignoré que, une fois l'exception d'inexécution invoquée par le débiteur, il appartient au créancier (soit à l'intimé qui entend récupérer le solde de 140'000 fr.), et non au débiteur (en l'espèce le recourant qui soutient que le créancier devait s'exécuter en vertu du ch. 5b de la convention), de prouver qu'il a exécuté ou offert d'exécuter sa propre prestation (soit le fait d'adopter un comportement actif afin de répondre aux prétendues attaques). Il lui fait ainsi grief d'avoir violé l'<ref-law> et l'<ref-law>.
3.2.3 Aux termes de l'<ref-law>, celui qui poursuit l'exécution d'un contrat bilatéral doit avoir exécuté ou offrir d'exécuter sa propre obligation, à moins qu'il ne soit au bénéfice d'un terme d'après les clauses ou la nature du contrat. Selon le texte même de l'<ref-law>, cette disposition s'applique aux contrats bilatéraux; elle vise directement les prestations d'un seul et même contrat synallagmatique promises l'une en échange de l'autre, soit celles qui dépendent l'une de l'autre pour leur naissance et leur exécution (<ref-ruling> consid. 2b p. 226; <ref-ruling> consid. 3b p. 73; <ref-ruling> consid. 1 p. 413). L'<ref-law> accorde au débiteur une exception dilatoire, qu'on appelle exception d'inexécution ou exceptio non adimpleti contractus, qui lui permet de retenir la prestation réclamée jusqu'à l'exécution ou l'offre d'exécution de la contre-prestation (128 V 224 consid. 2b p. 226; <ref-ruling> consid. 3a p. 200; <ref-ruling> consid. 2b p. 19). Encore faut-il pouvoir exiger du créancier une contre-prestation. Autrement dit, le débiteur doit disposer d'une contre-créance à son encontre (Robert Simmen, Die Einrede des nicht erfüllten Vertrags [OR 82], 1981, p. 50; cf. Raymond Jeanprêtre, Remarques sur l'exception d'inexécution, in Mélanges en l'honneur de Henri Deschenaux, 1977, p. 272; Rolf H. Weber, Berner Kommentar, 2e éd. 2005, no 132 ad <ref-law>).
En vertu de l'<ref-law>, le débiteur a la charge d'invoquer l'absence d'exécution, mais la preuve de l'exécution (ou de l'offre d'exécution) incombe au créancier (arrêt 4A_252/2008 du 28 août 2008 publié in SJ 2009 I p. 63, consid. 2.2; ATF <ref-ruling> consid. 2b p. 19 s. et les références). Ainsi, si cette disposition introduit une dérogation au principe selon lequel la partie qui a le fardeau de la preuve d'un fait supporte également le fardeau de l'allégation (Fabienne Hohl, in Commentaire romand, Code des obligations I, 2003, no 11 ad <ref-law>), elle n'a par contre pas pour effet de renverser le fardeau de la preuve. A ce sujet, la règle générale de l'<ref-law> s'applique (Urs Leu, in Basler Kommentar, OR I, 4e éd. 2007, no 11 ad <ref-law>; Weber, op. cit., no 216 ad <ref-law>): il incombe au créancier qui poursuit l'exécution de sa créance de prouver les faits permettant de constater l'existence de la créance invoquée; le débiteur qui soulève l'exception d'inexécution doit prouver l'existence de sa contre-créance (Simmen, op. cit., p. 50; Oser/Schönenberger, Zürcher Kommentar, 2e éd. 1929, no 7 ad <ref-law>; cf. Hermann Becker, Berner Kommentar, Berne 1941, no 27 ad <ref-law>); il appartient ensuite au créancier de prouver qu'il a exécuté ou offert d'exécuter sa propre prestation.
3.2.4 En l'espèce, l'argumentation du recourant consiste à dire qu'il pouvait retenir sa prestation (soit le paiement litigieux de 140'000 fr.), l'intimé n'ayant pas exécuté sa contre-prestation (soit le fait d'adopter un comportement actif afin de répondre aux prétendues attaques). La question de savoir si ces deux prestations sont vraiment dans un rapport d'échange (il ne faut pas oublier que la contre-prestation principale de l'intimé consistait en la cession de toutes ses actions et que celle-ci n'est pas discutée) peut rester ouverte.
En l'espèce, il suffit de se pencher sur la prétendue obligation de l'intimé fondée sur l'art. 5b de l'accord. Selon cette clause contractuelle, l'engagement pris par l'intimé d'adopter un comportement actif est subordonné à l'existence d'attaques préalables. Afin de démontrer qu'il possédait une contre-créance à l'encontre de l'intimé, le recourant devait dès lors apporter la preuve de l'existence de ces attaques.
Selon les constatations cantonales, qui lient le Tribunal fédéral (<ref-law>), l'existence de telles attaques n'a pas été établie. Le recourant doit supporter les conséquences de l'échec de la preuve; n'ayant pas prouvé l'existence d'une contre-créance à l'encontre de l'intimé, il ne peut invoquer l'exception d'inexécution de l'<ref-law>. C'est par conséquent à bon droit que la cour cantonale a jugé que le recourant ne pouvait se prévaloir de cette disposition pour retenir sa propre prestation (le paiement du solde litigieux de 140'000 fr.).
Les griefs de violation de l'<ref-law> et de l'<ref-law> sont dès lors infondés.
Le recours dirigé contre le jugement du 19 juin 2009 rendu par la Cour civile ne peut donc qu'être rejeté dans la mesure de sa recevabilité.
4. Les deux recours formés par le recourant doivent être rejetés. Les frais judiciaires et les dépens sont mis à sa charge (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours formé à l'encontre du jugement de la Cour civile est rejeté dans la mesure où il est recevable.
2. Le recours exercé contre l'arrêt de la Chambre des recours est rejeté.
3. Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du recourant.
4. Le recourant versera à l'intimé une indemnité de 9'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties, à la Cour civile du Tribunal cantonal du canton de Vaud et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 octobre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget