Faits:
A. En 1999, X._, qui exploitait une entreprise individuelle de carrelage, gypserie et peinture, a fait la connaissance de Y._ à l'occasion de travaux de maçonnerie qu'il exécutait dans le bar "A._" à Genève, appartenant à une société en nom collectif gérée par ce dernier.
Le 8 février 2000, la société en nom collectif Y._ et V._ SNC, ayant son siège à Genève, a conclu avec X._, domicilié dans la même ville, un contrat de société simple. Cette convention précise que Y._ est propriétaire de la société en nom collectif et qu'il s'occupe de la gestion du bar à 100%. Il est prévu que X._ procédera à des mises de fonds pour un montant total de 140'000 fr. avec une participation au bénéfice; le contrat envisage, à la dissolution de la société, que X._ devienne partenaire à 50% de la société en nom collectif.
X._ a participé, à parts égales avec Y._, à différents frais, notamment des travaux de rénovation, en relation avec l'exploitation du bar "A._".
Le bénéfice réalisé dans l'exploitation de cet établissement est allé en diminuant, passant de 97'382 fr. 85 au 31 décembre 2000 à 2'942 fr. 25 au 31 décembre 2002.
La société en nom collectif fut radiée du registre du commerce le 4 septembre 2001 et son activité fut reprise, en raison individuelle, par Y._.
Le 4 septembre 2003, Y._ a conclu avec W._ un contrat de fermage, conférant à ce dernier la gérance libre de l'établissement public, devenu un cabaret-dancing à l'enseigne "B._".
Le 30 janvier 2004, Y._ et X._ ont signé un document de deux pages intitulé "Avenant au contrat de société". En guise de préambule, ce texte mentionne que Y._ a repris le contrat de société qui avait été conclu le 8 février 2000 entre Y._ et V._ SNC et X._; il est encore précisé que le bar "A._" a été transformé en cabaret-dancing à l'enseigne "B._" et confié en gérance à W._. L'avenant indique que les parties déclarent vouloir mettre un terme au contrat de société du 8 février 2000 dans les conditions fixées par l'avenant. Y._ versera à X._ trente-trois mensualités de 4'000 fr. entre février 2004 et octobre 2006; le dernier versement mettra un terme au contrat conclu entre les parties le 8 février 2000. Il est ajouté: "M. X._ déclare que ces versements sont la contre-prestation appropriée pour ses versements du 8 février 2000 de Fr. 80'000, du courant 2000 de Fr. 30'000, ainsi qu'à sa participation en hauteur de Fr. 49'000 aux travaux de réfection des locaux à Genève".
Par lettre de son avocat du 14 décembre 2004, X._ a déclaré qu'il invalidait l'avenant pour cause d'erreur essentielle, affirmant qu'il l'avait signé sans le lire.
L'invalidation de l'avenant fait l'objet du présent litige.
B. Le 6 juillet 2006, X._ a ouvert action devant le Tribunal civil de l'arrondissement de La Côte à l'encontre de Y._, domicilié à Nyon, demandant qu'il soit constaté que l'avenant est nul et que sa partie adverse soit condamnée à lui payer, à titre de part de bénéfice et de dommages-intérêts, différentes sommes représentant au total 89'400 fr. en capital.
Par jugement du 4 mars 2008, le tribunal a rejeté la demande avec suite de frais et dépens. Les premiers juges ont retenu que le demandeur n'avait pas effectué ses mises de fonds dans les délais fixés par le contrat de société du 8 février 2000 et qu'il avait signé l'avenant - certes défavorable pour lui selon une expertise - ni sous l'effet d'une erreur, ni sous l'influence d'un dol.
X._ a recouru contre ce jugement auprès de la Chambre des recours du Tribunal cantonal vaudois, demandant à cette dernière de constater la nullité de l'avenant, qu'il est associé pour moitié avec le défendeur et réclamant diverses sommes représentant au total 52'490 fr. 15.
Par arrêt du 13 février 2009, la cour cantonale a rejeté le recours et confirmé le jugement attaqué. Elle a conclu que le demandeur n'était pas parvenu à prouver qu'il avait signé l'avenant sous l'effet d'une erreur ou d'un dol et qu'il ne pouvait donc prétendre, en raison de la dissolution de la société simple, à une autre somme que celles prévues dans l'avenant.
C. X._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt du 13 février 2009. Invoquant l'arbitraire dans l'application du droit cantonal et l'appréciation des preuves, il conclut, avec suite de dépens, à l'annulation de l'arrêt attaqué et reprend ses conclusions sur le fond.
L'intimé a conclu, sous suite de frais et dépens, à l'irrecevabilité, subsidiairement au rejet du recours.
Considérant en droit:
1. 1.1 Le Tribunal fédéral examine librement et d'office la recevabilité des recours qui lui sont soumis (ATF 135 III 1 consid. 1.1 p. 3, 329 consid. 1 p. 331, 430 consid. 1 p. 431).
1.2 Il résulte de constatations cantonales non contestées que la valeur litigieuse devant l'autorité précédente atteignait le seuil de 30'000 fr. requis par l'art. 74 al. 1 let. b LTF (cf. art. 51 al. 1 let. a et al. 3 LTF). En conséquence, le recours en matière civile est ouvert - même pour se plaindre d'une violation d'un droit constitutionnel (ATF 134 III 379 consid. 1.2 p. 382) -, de sorte que le recours constitutionnel, qui est subsidiaire, est irrecevable (art. 113 LTF).
1.3 Interjeté par la partie qui a succombé dans ses conclusions en constatation de droit et en paiement (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1, 48 al. 1 et 46 al. 1 let. a LTF) et la forme (art. 42 LTF) prévus par la loi.
1.4 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.5 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5 p. 401) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 133 IV 286 consid. 1.4 p. 287). En conséquence, il n'est pas possible de prendre en considération l'exposé des faits figurant aux pages 8 à 19 du recours.
Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.6 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Le recourant n'invoque qu'un seul grief: l'interdiction de l'arbitraire (art. 9 Cst.).
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annule la décision attaquée que lorsque celle-ci est manifestement insoutenable qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité; pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (ATF 135 V 2 consid. 1.3 p. 4 s.; 134 I 263 consid. 3.1 p. 265 s.).
En ce qui concerne plus précisément l'appréciation des preuves et les constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 129 I 8 consid. 2.1 p. 9).
S'agissant d'un grief d'ordre constitutionnel, le Tribunal fédéral ne peut entrer en matière que si l'arbitraire est invoqué et motivé par le recourant (art. 106 al. 2 LTF). Celui qui se plaint d'une application arbitraire du droit cantonal doit désigner la disposition cantonale qui aurait été violée et expliquer en quoi consiste l'arbitraire (ATF 128 I 273 consid. 2.1 p. 275 s.). Celui qui se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit montrer de manière circonstanciée en quoi consiste l'arbitraire (ATF 133 IV 286 consid. 6.2 p. 288); encore faut-il que le point de fait contesté soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
2.2 Invoquant le droit cantonal, le recourant reproche à l'autorité précédente d'avoir déclaré irrecevable l'une de ses conclusions pour le motif qu'elle était nouvelle.
Comme le recours n'est pas ouvert pour se plaindre d'une violation du droit cantonal (art. 95 et 96 LTF), on peut se demander si le grief d'arbitraire a été suffisamment motivé, puisque l'on ne saurait confondre l'arbitraire et la violation du droit (cf. ATF 134 III 379 consid. 1.2 p. 382 s.). La question peut rester indécise.
Le recourant ne conteste pas que les conclusions nouvelles sont prohibées devant la Chambre des recours et que la conclusion écartée n'avait pas été prise devant l'autorité de première instance. Dès lors, son grief est voué à l'échec. Soit - comme le soutient le recourant - sa conclusion n'est qu'une déduction des autres conclusions (plus exactement: une motivation des conclusions en paiement) et n'a pas de portée juridique distincte, auquel cas le recourant n'a aucun intérêt à recourir, puisque sa conclusion est sans portée (un intérêt est requis pour exercer toutes voies de droit: ATF 130 III 102 consid. 1.3 p. 105; 127 III 429 consid. 1b p. 431; 126 III 198 consid. 2b p. 201); soit cette conclusion avait une portée juridique distincte et il faut en déduire, puisqu'elle est nouvelle, que la décision prise par l'autorité cantonale était fondée.
2.3 Invoquant le droit cantonal, le recourant reproche à l'autorité précédente d'avoir écarté des faits concernant les rapports d'amitié entre les parties et le manque d'expérience du recourant dans la gestion des bars, en considérant qu'ils étaient nouveaux.
Le recourant ne prétend pas que l'on se trouverait dans l'un des cas particuliers qui permettrait à la Chambre des recours de compléter l'administration des preuves. Il n'indique pas non plus quel point de fait précis aurait été allégué par lui en première instance ou résulterait des pièces du dossier et aurait été considéré à tort comme nouveau par la cour cantonale. Ainsi, l'argumentation présentée, qui reste dans le vague, est impropre à démontrer l'arbitraire. Il n'apparaît pas que ces faits puissent modifier l'issue du litige (art. 97 al. 1 LTF).
2.4 Le recourant reproche à la cour cantonale d'avoir apprécié les preuves arbitrairement en ne retenant pas l'existence d'une erreur de sa part ou d'un dol de la part de l'intimé.
Il y a erreur lorsqu'une personne, en se faisant une fausse représentation de la situation, manifeste une volonté qui ne correspond pas à celle qu'elle aurait exprimée si elle ne s'était pas trompée. Savoir si une personne, au moment de passer un acte juridique, se trouvait dans l'erreur est une question de fait (ATF 134 III 643 consid. 5.3.1 p. 650; 118 II 58 consid. 3a p. 62; 113 II 25 consid. 1a p. 27). Nul ne peut invalider un acte juridique sur la base des art. 23 ss CO si, en réalité, il n'était pas dans l'erreur (ATF 128 III 70 consid. 1b p. 74). Il incombe à celui qui invoque une erreur pour échapper aux conséquences d'un acte juridique d'apporter la preuve que ses représentations internes étaient erronées (Bruno Schmidlin, in Commentaire romand, CO I, 2003, n° 61 ad art. 23-24 CO; du même auteur, in Berner Kommentar, 1995, n° 434 ad art. 23-24 CO; Ingeborg Schwenzer, in Basler Kommentar, OR I, 4e éd. 2007, n° 12 ad art. 23 CO; Max Kummer, in Berner Kommentar, 1962, n° 292 ad art. 8 CC; Hans Schmid, in Basler Kommentar, ZGB I, 3e éd. 2006, n° 61 ad art. 8 CC).
Il y a dol au sens de l'art. 28 CO lorsque le cocontractant, de manière illicite, fait croire à des faits faux ou dissimule des faits vrais, alors que ceux-ci sont déterminants pour la décision de son partenaire de conclure le contrat ou, à tout le moins, de le conclure aux conditions convenues (ATF 132 II 161 consid. 4.1 p. 165 s.). Savoir dans quelles circonstances se sont déroulés les pourparlers, respectivement la conclusion du contrat, et s'il y a eu un comportement trompeur de la part d'une partie relève des constatations de fait (arrêt 4C.227/2003 du 9 décembre 2004 consid. 5.3.1). Il incombe à celui qui invoque un dol pour échapper aux conséquences d'un acte juridique d'apporter la preuve qu'il y a eu une tromperie et que celle-ci l'a déterminé à contracter (cf. ATF 129 III 320 consid. 6.3 p. 327;Bruno Schmidlin, in Commentaire romand, CO I, 2003, n° 49 ad art. 28 CO; du même auteur, in Berner Kommentar, 1995, n° 171 ad art. 28 CO; Ingeborg Schwenzer, in Basler Kommentar, OR I, 4e éd. 2007, n° 26 ad art. 28 CO; Max Kummer, in Berner Kommentar, 1962, n° 292 ad art. 8 CC; Hans Schmid, in Basler Kommentar, ZGB I, 3e éd. 2006, n° 61 ad art. 8 CC).
Ainsi, la cour cantonale n'a pas violé les règles du droit fédéral sur le fardeau de la preuve (art. 8 CC) en admettant qu'il incombait au recourant de prouver qu'il avait été victime d'une tromperie ou qu'il se trouvait dans l'erreur au moment de signer l'avenant.
Même à lire le recours, on ne voit pas que l'intimé ait, de manière illicite, affirmé un fait faux, dissimulé un fait vrai ou conforté une erreur préexistante (cf. art. 146 al. 1 CP). La cour cantonale n'a donc pas apprécié les preuves de manière arbitraire en concluant qu'il n'y avait pas eu d'acte de tromperie. En l'absence de tromperie, c'est à juste titre qu'elle a écarté le moyen tiré du dol (art. 28 CO).
Le recourant n'a pas réussi à prouver qu'il aurait signé l'avenant sans le lire. Il n'a pu produire à ce sujet aucun témoin et il apparaît totalement invraisemblable qu'un entrepreneur signe un avenant à un contrat de société sans même le lire, même s'il a des rapports d'amitié avec son cocontractant et s'il n'a pas d'expérience dans la gestion des bars. En considérant cette version des faits comme non prouvée, la cour cantonale n'a pas apprécié les preuves de manière arbitraire.
Dès lors qu'il faut admettre que le recourant a lu le contrat avant de le signer, on ne peut pas imaginer qu'il ait été dans l'erreur sur sa portée. Ce document bref (deux pages), clairement intitulé "Avenant au contrat de société", indique clairement qu'il s'agit de mettre fin au contrat de société signé le 8 février 2000 et que le recourant doit recevoir des sommes d'argent destinées à solder les prétentions qu'il pourrait avoir en raison de ses mises de fonds ou autres investissements dans le bar. En concluant qu'il n'était pas prouvé que le recourant ait été dans l'erreur au moment de signer ce document, la cour cantonale n'a pas apprécié les preuves de manière arbitraire.
2.5 Le recourant tente de soutenir que, même si l'avenant est valable, il peut encore prétendre à des participations au bénéfice.
Le grief est mal formulé en ce sens qu'il ne s'agit pas d'un problème d'arbitraire, mais d'application des règles du droit fédéral quant à l'interprétation des clauses contractuelles (art. 18 CO; sur les règles d'interprétation: ATF 135 III 410 consid. 3.2 p. 412 s.).
Si la cour cantonale, procédant à une appréciation des preuves, a retenu que les parties se sont réellement mises d'accord, lors de la conclusion de l'avenant, sur les conditions de la dissolution de leur société simple, il s'agit d'une constatation de fait qui lie le Tribunal fédéral (art. 105 al. 1 LTF). Si l'on admet que la question est restée douteuse (l'erreur étant simplement non prouvée), il faut alors interpréter les dispositions contractuelles selon le principe de la confiance, ce qui constitue une question de droit que le Tribunal fédéral peut revoir librement. Même si l'on retient cette deuxième hypothèse qui est plus favorable au recourant, le moyen ne peut être que rejeté. En effet, l'avenant constitue clairement, comme le montre sa dénomination, une modification de l'accord initial et règle de manière complète les conditions de la dissolution de la société simple. Dès lors que le recourant, en signant ce document, a déclaré que les sommes à verser par l'intimé constituaient une contre-prestation appropriée pour tous ses investissements, il est clair qu'il ne peut pas prétendre à d'autres prestations. Le recourant ne peut pas se référer au contrat initial, puisque celui-ci a précisément été amendé par l'avenant, qui règle les conditions de la dissolution de la société simple. Bien que l'avenant prévoie que les relations entre les parties prendront fin au moment du dernier versement de l'intimé en octobre 2006, il est logique d'admettre - le recourant n'ayant plus fait d'apport ni assumé de dettes depuis la signature de l'avenant - que la société n'avait alors pas d'autre but que sa liquidation (par les versements de l'intimé) et que le recourant n'avait pas d'autres droits que ceux résultant de l'avenant dont le but est précisément de liquider les comptes entre les parties. La cour cantonale n'a donc pas davantage violé les règles de droit fédéral sur l'interprétation des manifestations de volonté.
S'il est vrai que le recourant a signé un avenant qui se révèle défavorable pour lui, surtout en considérant l'évolution du cabaret-dancing, il n'en demeure pas moins lié par son accord et il ne peut s'en prendre qu'à lui-même.
3. Il ressort des considérants qui précèdent que le recours doit être rejeté.
Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civil est rejeté.
3. Les frais judiciaires fixés à 2'500 fr. sont mis à la charge du recourant.
4. Le recourant versera à l'intimé une indemnité de 3'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 novembre 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget