Faits:
A. X._ et Y._ ont fondé ensemble la société A._ SA, au capital-actions de 100'000 fr., dont le but social était le travail temporaire et fixe, ainsi que le placement de personnel. Selon relevé de compte de la Banque B._, Y._ a versé 100'000 fr. le 7 juillet 2003 sur un compte au nom de A._ SA. La société, dont le siège a été fixé à Sion, a été inscrite au registre du commerce le 5 août 2003. X._ était administrateur président avec signature individuelle et Y._ administrateur avec signature collective à deux.
A la suite de fortes dissensions entre les précités, Y._ a démissionné du conseil d'administration le 19 octobre 2004, tout en continuant de travailler pour la société. Le procès-verbal établi à cette date indiquait que ses actions correspondant à 20% du capital étaient reprises par X._.
Le même jour, X._ a signé, sous la raison sociale de A._ SA, une reconnaissance de dette au sujet des 100'000 fr. apportés par Y._. Comme 20'000 fr. avaient déjà été remboursés le 7 février 2004, le solde de 80'000 fr. devait être versé au plus tard le 30 décembre 2004.
Il ressort d'une lettre du 18 décembre 2006 adressée par l'avocat de X._ au conseil de Y._ que ce solde n'a pas été versé, que les parties étaient également en litige au sujet du salaire du mois de novembre qui n'a pas été payé et que Y._ ne souhaitait plus travailler pour A._ SA. Agissant au nom de X._, l'avocat proposait de conclure, pour solde de tout compte, la transaction suivante:
"1. X._ se reconnaît débiteur d'une somme de CHF 72'250.- envers Y._. Cette reconnaissance de dette annule et remplace celle de CHF 80'000.- qui avait été signée entre eux.
2. Ce montant sera payé de la manière suivante:
CHF 20'000.- à fin janvier 2007, puis 9 acomptes de CHF 5'000.- chacun (de février à octobre 2007), puis un dernier versement de CHF 7'250.-.
3. Y._ donne sa démission à A._ SA et quitte immédiatement son poste de travail. A._ SA le dispense de son obligation de travailler pendant son délai de congé".
Cette offre transactionnelle a été acceptée, au nom de Y._, par son avocat et renvoyée sous forme d'une télécopie contresignée pour accord.
Le siège de la société A._ SA a été transféré à Lausanne en mai 2007 et la société a été déclarée en faillite le 5 juillet 2007. Le 21 avril 2008, la procédure de faillite a été clôturée et la raison sociale a été radiée du registre du commerce le 24 avril 2008.
B. Le 12 février 2008, l'Office des poursuites de Lausanne-Est, à la requête de Y._, a notifié à X._ un commandement de payer la somme de 72'250 fr. avec intérêts et frais; la poursuite était fondée sur la transaction valant reconnaissance de dette du 18 décembre 2006.
Le 25 juin 2009, la Cour des poursuites et faillites du Tribunal cantonal vaudois a prononcé la mainlevée provisoire de l'opposition faite au commandement de payer.
Par demande du 15 juillet 2009, X._ a introduit une action en libération de dette, concluant qu'il ne devait pas la somme en poursuite. Y._ a conclu au rejet de la demande.
Par jugement du 2 novembre 2010 dont le dispositif a été notifié aux parties le 4 novembre 2010, le Tribunal civil de l'arrondissement de Lausanne a rejeté la demande en libération de dette déposée par X._.
Par arrêt du 2 août 2011, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours formé contre cette décision et a confirmé le jugement attaqué.
C. X._ exerce un recours en matière civile au Tribunal fédéral. Invoquant l'arbitraire (art. 9 Cst.) et une violation de l'art. 18 CO, il conclut principalement à la réforme de l'arrêt attaqué en reprenant ses conclusions en libération de dette et requiert subsidiairement le renvoi de la cause à la cour cantonale pour nouveau jugement.
Y._ propose le rejet du recours.
Le recourant a répliqué et l'intimé a renoncé à dupliquer.
Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions libératoires (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF; FF 2001 p. 4106) par un tribunal supérieur statuant sur recours en dernière instance cantonale (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF.
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut ainsi admettre un recours pour un autre motif que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 137 II 313 consid. 1.4 p. 317 s.; 135 III 397 consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 137 III 580 consid. 1.3 p. 584; 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF; ATF 135 III 397 consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire telle que l'entend l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 137 II 353 consid. 5.1 p. 356; 136 I 184 consid. 1.2 p. 187). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
En l'espèce, le recourant a présenté son propre état de fait, mais sans se prévaloir avec précision d'une exception prévue par l'art. 105 al. 2 LTF. Le raisonnement doit donc être mené sur la base de l'état de fait contenu dans l'arrêt attaqué.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 L'intimé poursuit le recourant sur la base d'une reconnaissance de dette signée le 18 décembre 2006 par les avocats des parties.
Il ne s'agit pas d'une reconnaissance de dette abstraite au sens où l'entend l'art. 17 CO, puisque le document indique la cause de l'obligation, à savoir une transaction pour mettre fin à un différend portant notamment sur le solde d'un prêt et un salaire impayé.
Lorsque la reconnaissance de dette énonce la cause de l'obligation, elle a néanmoins pour effet de renverser le fardeau de la preuve en ce sens qu'il appartient au débiteur qui conteste la dette d'établir que la créance n'existe pas ou qu'elle n'est pas exigible (ATF 131 III 268 consid. 3.2 p. 273; INGEBORG SCHWENZER, in Basler Kommentar, Obligationenrecht I, 5e éd. 2011, n° 6 ad art. 17 CO; SILVIA TEVINI DU PASQUIER, in Commentaire romand, Code des obligations I, 2003, n° 7 ad art. 17 CO).
En l'espèce, le recourant ne conteste pas l'existence, la quotité ou l'exigibilité de la créance, mais il soutient qu'il n'est pas le débiteur pour le motif qu'il aurait agi au nom et pour le compte de la société A._ SA.
2.2 Dans le document du 18 décembre 2006 - dont le contenu relève des constatations de fait (art. 105 al. 1 LTF) -, le recourant, au moment de conclure, n'a pas déclaré qu'il agissait au nom d'une société (cf. art. 32 al. 1 CO). Il n'était certainement pas indifférent pour l'intimé d'avoir l'engagement d'une personne physique, plutôt que celui d'une société dont l'avenir était incertain (cf. art. 32 al. 2 CO). La question d'interprétation posée est de savoir si l'intimé pouvait inférer des circonstances que le recourant agissait en tant que représentant direct (cf. art. 32 al. 2 CO). Que le recourant ait eu, selon l'inscription au registre du commerce, la signature individuelle pour engager la société n'est à cet égard pas déterminant; la jurisprudence admet qu'il y a d'ailleurs abus de droit si une personne attend d'être recherchée personnellement pour faire état de sa qualité de représentant qu'elle n'a pas révélée lors de la conclusion du contrat (ATF 117 II 387 consid. 2a p. 389 s.; arrêt 4A_473/2011 du 22 décembre 2011 consid. 2.2).
2.3 Pour dire si l'intimé devait inférer des circonstances que le recourant n'agissait pas en son nom personnel - contrairement à ce qui apparaît dans le document - mais en tant que représentant direct de la société, il faut appliquer le principe de la confiance (CHRISTINE CHAPPUIS, in Commentaire romand, op. cit., n° 12 ad art. 32 CO).
La transaction étant un contrat (ATF 130 III 49 consid. 1.2 p. 51; 105 II 273 consid. 3a p. 277), son interprétation doit être faite conformément aux principes dégagés par la jurisprudence (ATF 135 III 410 consid. 3.2 p. 412 s.; 131 III 606 consid. 4.1 p. 611 s.). Il est vrai que la transaction contient une reconnaissance de dette et que la doctrine discute de savoir si la reconnaissance de dette doit être qualifiée de contrat unilatéral (dans ce sens: INGEBORG SCHWENZER, in Basler Kommentar, op. cit., n° 3 ad art. 17 CO; BRUNO SCHMIDLIN, in Berner Kommentar, 3e éd. 1986, n° 35 ad art. 17 CO) ou d'acte juridique unilatéral (dans ce sens: PETER JÄGGI, in Zürcher Kommentar, 3e éd. 1973, n° 8 ad art. 17 CO; SILVIA TEVINI DU PASQUIER, op. cit., n° 4 ad art. 17 CO). La sécurité des affaires justifie d'appliquer les principes jurisprudentiels d'interprétation également à une reconnaissance de dette.
Une volonté réelle et concordante des parties sur l'identité du débiteur n'a pas pu être établie. Il s'agit là d'une question de fait sur laquelle il n'y a pas lieu de revenir (art. 105 al. 1 LTF; ATF 135 III 410 consid. 3.2 p. 412 s.; 131 III 606 consid. 4.1 p. 611 s.). Il reste donc à déterminer, selon la théorie de la confiance, comment les déclarations où les attitudes du recourant pouvaient être comprises de bonne foi en fonction de l'ensemble des circonstances. Le principe de la confiance permet d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même s'il ne correspond pas à sa volonté intime; il s'agit là d'une question de droit que le Tribunal fédéral examine librement (art. 106 al. 1 LTF); cependant, pour trancher cette question, il doit se fonder sur le contenu des manifestations de volonté et sur les circonstances, dont la constatation relève du fait (ATF 135 III 410 ibidem).
2.4 Le document signé par les parties le 18 décembre 2006 indique que "X._ se reconnaît débiteur d'une somme de CHF 72'250.- envers Y._". Selon le sens littéral de cette déclaration, il s'est engagé personnellement. Aucun passage du texte ne donne à penser que cette reconnaissance de dette intervient en réalité au nom et pour le compte de la société. Il faut attacher d'autant plus d'importance au sens littéral que les deux parties étaient alors représentées par un avocat, de sorte qu'on doit supposer qu'elles étaient parfaitement conscientes de la portée juridique des formules employées. On doit aussi admettre que le recourant savait qu'il devait s'exprimer différemment s'il n'entendait pas s'engager personnellement, puisque précédemment, dans la reconnaissance de dette du 19 octobre 2004, il avait établi le document sur papier à l'en-tête de la société et en signant sous la raison sociale.
Les circonstances qui entourent la signature du document du 18 décembre 2006 ne permettent pas de déduire qu'il aurait une signification différente de celle qui découle de son sens littéral. Le recourant et l'intimé étaient les deux fondateurs de la société. Cette dernière n'était qu'un instrument juridique dans leurs mains pour exploiter l'entreprise qu'ils avaient créée ensemble. En raison d'une mésentente entre les deux parties, l'intimé s'est tout d'abord retiré du conseil d'administration, puis a cessé totalement, dans un second temps, de travailler pour l'entreprise. C'est à ce moment qu'est intervenue la transaction du 18 décembre 2006. Dès lors que l'intimé quittait entièrement et définitivement la société, il fallait régler le problème de l'apport qu'il avait effectué au stade de la fondation, sous la forme d'un prêt à la société. Comme le recourant avait personnellement repris les actions attribuées à l'intimé et qu'il devenait désormais le maître économique de la société, il était naturel qu'il désintéressât l'intimé, cofondateur de cette dernière. Il est manifeste que l'on s'est trouvé en présence d'un litige entre deux personnes physiques, la société n'en étant tout au plus que l'objet. Dans ces circonstances, on comprend bien que le recourant se soit engagé personnellement à l'égard du cofondateur dont il avait repris les actions.
L'intimé ne pouvait donc pas déduire, en raison des circonstances, que la déclaration faite par le recourant avait en réalité un sens différent de son expression littérale. Le recourant s'étant clairement engagé en son nom personnel alors que le fil des relations entre les parties donnait du sens à cette déclaration, il faut en conclure que la cour cantonale n'a pas violé les règles de droit fédéral sur l'interprétation des manifestations de volonté en s'en tenant à la littéralité de la déclaration adressée par le recourant à l'intimé.
Que la reconnaissance de dette antérieure, datée du 19 octobre 2004, ait été formulée d'une autre manière est sans pertinence, puisque cette reconnaissance de dette a été expressément annulée dans la transaction du 18 décembre 2006, qui a pour objet de mettre fin définitivement aux conflits et aux rapports entre le recourant et l'intimé. De même, l'existence d'une divergence à propos de l'utilisation des 100'000 fr. que l'intimé avait versés est sans aucune portée pour l'issue de la querelle.
L'arrêt attaqué étant conforme au droit fédéral, le recours doit être rejeté.
3. Les frais judiciaires et les dépens sont mis à la charge du recourant qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimé une indemnité de 4'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 avril 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet