Faits:
A. A.a Au mois de mars 1991, C._ a remis à B._ deux montres anciennes en or d'une valeur totale de 65'000 fr. Ces montres ont été volées entre le 28 et le 30 mars 1991.
Statuant sur la demande formée par C._ contre B._, la Cour civile du Tribunal cantonal vaudois, par jugement du 5 février 1997, a condamné le second à payer au premier la somme de 57'000 fr. plus intérêts à 5 % dès le 11 septembre 1991, sous déduction de 4'000 fr. d'acompte, valeur au 254 avril 1996. Le Tribunal fédéral a confirmé ce jugement par arrêt du 16 décembre 1998 (affaire 4C.509/1997).
A.b Par acte écrit du 21 mars 1995, C._ a cédé à A._ sa créance contre B._.
Il a été retenu qu'il n'y a pas eu de rétrocession.
Le conseil de C._, Me Z._, a informé le débiteur cédé B._, par lettre du 24 septembre 1998, de l'existence de la cession, sans lui indiquer le nom du cessionnaire.
Toutefois, l'avocat Z._ a adopté par la suite une attitude contradictoire, en accomplissant des actes de poursuite au nom du cédant C._ en qualité de créancier. C'est ainsi que Me Z._ a notamment fait notifier le 22 février 1999 à B._, pour C._, un commandement de payer (poursuite n° ... de l'Office des poursuites et faillites de Lavaux) la somme de 69'698 fr. plus intérêts, suivi, après opposition du débiteur, d'une requête de mainlevée. Ayant obtenu la levée définitive de l'opposition sur la base du jugement précité rendu par la Cour civile, l'avocat Z._ a requis la continuation de la poursuite; un avis de participation à la saisie a été notifié au poursuivi le 21 septembre 1999.
Le 22 septembre 1999, C._ a écrit à l'office des poursuites pour demander que la saisie, prévue pour le 23 septembre 1999, soit repoussée à une date ultérieure, au motif qu'une solution transactionnelle était recherchée entre les parties.
Toujours le 22 septembre 1999, l'avocat Z._ est intervenu auprès de l'office des poursuites pour faire valoir que C._ n'était que le représentant fiduciaire du véritable propriétaire de la créance, qui était A._.
A.c Dans ce contexte, C._ et B._ ont conclu une convention, datée du 23 septembre 1999, qui prévoit que le premier accepte, en règlement de la poursuite n° ..., pour solde de tout compte deux billets à ordre (Eigenwechsel), à savoir un effet de 50'000 fr. payable au 28 novembre 2003 et un effet de 36'000 fr. payable au 21 décembre 2005.
Le 24 septembre 1999, l'office des poursuites a avisé B._ que c'était A._, et non plus C._, qui était le créancier dans la poursuite n° .... L'opposition tardive au sens de l'<ref-law> formée par le poursuivi contre ce changement de créancier a été définitivement rejetée selon décision du juge civil compétent prise le 21 janvier 2000.
B._ s'est acquitté par acomptes auprès de l'office de la somme réclamée en poursuite, laquelle a ainsi été soldée le 13 août 2001. Il a ainsi versé, y compris les intérêts et les frais de poursuite, le montant total de 124'716 fr. 90.
B. Le 3 août 2000, B._ a ouvert à l'encontre de A._ devant la Cour civile du Tribunal cantonal vaudois une première action en annulation, subsidiairement en suspension de la poursuite précitée selon l'<ref-law>, qu'il a transformée le 17 avril 2002, après l'extinction de la poursuite, en une action en répétition de l'indu. Dans cette seconde action, le demandeur a pris la conclusion suivante:
"A._ est le débiteur de B._ et lui doit immédiat paiement de la somme de Frs 124'716 fr. 90 (...) avec intérêts à 5 % dès le 10 juillet 2000".
Le demandeur invoque la convention du 23 septembre 1999.
Par jugement du 3 mai 2004, la Cour civile a entièrement admis l'action en répétition de l'indu, hormis le point de départ des intérêts qu'elle a fixé au 8 mai 2002.
C. C.a A._ exerce un recours en réforme au Tribunal fédéral. Il conclut principalement au rejet de l'action du demandeur. A titre subsidiaire, il requiert l'annulation du jugement cantonal, la cause étant renvoyée à la cour cantonale pour nouveau jugement au sens des considérants.
L'intimé propose le rejet du recours.
C.b Le défendeur avait formé auprès de la Chambre des recours du Tribunal cantonal vaudois un recours en nullité contre le jugement du 3 mai 2004, qu'il a retiré le 5 novembre 2004, ce dont le Président de ladite Chambre a pris acte par arrêt du 8 novembre 2004.

Le Tribunal fédéral considère en droit:
1. 1.1 Le recours en réforme est ouvert pour violation du droit fédéral (art. 43 al. 1 OJ). Il ne permet en revanche pas d'invoquer la violation directe d'un droit de rang constitutionnel (art. 43 al. 1 2e phrase OJ) ou la violation du droit cantonal (<ref-ruling> consid. 2c et les arrêts cités).
Saisi d'un recours en réforme, le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il y ait lieu de rectifier des constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents, régulièrement allégués et clairement établis (art. 64 OJ; <ref-ruling> consid. 2.2, 136 consid. 1.4). Dans la mesure où une partie recourante présente un état de fait qui s'écarte de celui contenu dans la décision attaquée, sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'est pas possible d'en tenir compte (<ref-ruling> consid. 2.2, 136 consid. 1.4). Il ne peut être présenté de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ). Le recours n'est pas ouvert pour se plaindre de l'appréciation des preuves et des constatations de fait qui en découlent (<ref-ruling> consid. 2.2 in fine, 136 consid. 1.4; <ref-ruling> consid. 3).
1.2 Au vu de ce qui précède, le recourant n'est pas recevable à soutenir que l'intimé avait été informé avant le 24 septembre 1998 que C._ avait cédé au premier sa créance contre le second. De même, l'intimé s'écarte des faits constatés en instance cantonale lorsqu'il allègue que les parties avaient la volonté réelle que les dettes établies par les billets à ordre remplacent par novation la dette originale. C'est donc à la seule lumière de l'état de fait posé dans le jugement cantonal que les griefs du défendeur seront examinés.
2. 2.1 L'action en répétition de l'indu de l'<ref-law> est un moyen de défense du débiteur lié aux particularités de la législation fédérale sur la poursuite pour dettes. Etant donné qu'en Suisse, l'exécution forcée s'opère sur la simple demande du créancier, sans jugement préalable d'un tribunal et la plupart du temps sans contrôle judiciaire, la loi met à disposition du poursuivi, qui a payé le poursuivant pour éviter l'exécution forcée, bien que la créance déduite en poursuite soit dénuée de fondement matériel, l'action en répétition de l'indu du droit des poursuites, cela comme correctif et moyen ultime. L'action en cause est une sorte de restitutio in integrum pour le débiteur qui a payé ce qu'il ne devait pas sous la menace d'une procédure d'exécution forcée (ATF 31 II 158 consid. 6 p. 166; 21 II 717 consid. 6 p. 724; arrêt 5P.108/1997 du 6 juin 1997, consid. 4a/aa et les références; Bernhard Bodmer, Commentaire bâlois, n. 2 ad <ref-law>). L'action en répétition compète également au poursuivi si le créancier a obtenu paiement de la dette ensuite de la réalisation forcée des biens du débiteur, dès l'instant où le droit de répétition d'une non-dette ne saurait dépendre du point de savoir si les moyens nécessaires pour faire obstacle à l'exécution forcée sont ou non à disposition du poursuivi (Bodmer, op. cit., n. 11/12 ad <ref-law>).
2.2 A supposer que l'existence de la créance en poursuite ait été constatée avant la poursuite ou parallèlement à celle-ci par un jugement au fond, le débiteur ne paie plus à la suite d'un commandement de payer resté sans opposition ou passé en force après la levée de l'opposition, mais sur la base d'un jugement exécutoire prononcé dans une procédure ordinaire, lequel a définitivement statué sur le fondement matériel de la créance. Dans cette hypothèse, le débiteur ne peut plus intenter l'action de l'<ref-law> (ATF 53 I 151 consid. 2 p. 156; 31 II 158 consid. 3 p. 162). L'action en répétition de l'indu reste toutefois admissible pour établir, par l'invocation de faits nouveaux, que la dette constatée dans le premier jugement a été éteinte (arrêt 5P.108/1997 du 6 juin 1997, consid. 4a/bb). Aussi ladite action en répétition peut-elle être fondée sur le fait que la dette constatée judiciairement a par la suite été réduite par transaction, si bien que le poursuivi a en réalité payé plus qu'il ne devait dans le cadre de l'exécution forcée (cf. arrêt 5P.177/1990 du 9 octobre 1990, consid. 3).
3. En l'occurrence, la cour cantonale a jugé à bon droit que l'issue de la querelle dépendait de la question de savoir si la créance objet de la poursuite n° ... a été acquittée, totalement ou partiellement, par la convention conclue entre C._ et le demandeur le 23 septembre 1999. Il n'est plus contesté que l'action en répétition de l'indu du demandeur a été introduite en temps utile, soit dans le délai d'une année après le paiement de la somme prétendument indue (Pierre-Robert Gilliéron, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, n. 43 s. ad <ref-law>). L'autorité cantonale a également considéré à bon escient que la preuve de l'inexistence de la créance alléguée par le poursuivant incombe au poursuivi (<ref-ruling> consid. 1). Il a enfin été retenu que la cession n'a pas été révoquée. Il n'y a pas à revenir sur ces points.
4. 4.1 Le recourant se prévaut d'une violation de l'<ref-law>. Il soutient que l'intimé avait été informé dès 1998 du fait que C._ avait cédé sa créance à un tiers, ce qui suffirait à exclure que le demandeur ait été de bonne foi une année plus tard, lors de la passation de la convention du 23 septembre 1999. Puis, le défendeur critique le "rétablissement de la bonne foi" chez le demandeur qu'ont admis les magistrats vaudois. Il fait valoir, d'une part, que la notification de la caducité de la cession ne saurait intervenir de manière implicite, mais bien par écrit en vertu du parallélisme des formes; d'autre part, il prétend que lorsque l'ancien créancier aliène sa créance, il est fréquent que celui-ci continue d'agir fiduciairement pour le nouveau créancier, ce que le débiteur, s'il a été dûment avisé de la cession, doit souffrir.
Le recourant allègue enfin que, malgré la mention "pour solde de tout compte" figurant dans l'accord du 23 septembre 1999, cet acte n'a pas d'effet novatoire au sens de l'<ref-law>, comme l'ont bien compris les premiers juges. De toute manière, poursuit-il, même s'il fallait admettre qu'il y ait eu novation, l'intimé aurait été amené à payer non pas un indu, mais une dette non encore exigible, ce qui sortirait du cadre de l'<ref-law>.
Le recourant allègue enfin que, malgré la mention "pour solde de tout compte" figurant dans l'accord du 23 septembre 1999, cet acte n'a pas d'effet novatoire au sens de l'<ref-law>, comme l'ont bien compris les premiers juges. De toute manière, poursuit-il, même s'il fallait admettre qu'il y ait eu novation, l'intimé aurait été amené à payer non pas un indu, mais une dette non encore exigible, ce qui sortirait du cadre de l'<ref-law>.
4.2 4.2.1 Il a été constaté définitivement (art. 63 al. 2 OJ) que l'ancien créancier - i.e. C._ -, par l'entremise de l'avocat Z._, a informé le demandeur le 24 septembre 1998 qu'il avait cédé la créance qu'il possédait contre celui-ci à un tiers, dont il n'a pas révélé le nom. Pourtant, ledit conseil a continué de procéder à des actes de poursuite au nom du cédant C._. Il a ainsi successivement fait notifier pour le cédant un commandement de payer au demandeur, requis la mainlevée de l'opposition du poursuivi, puis, après obtention de celle-ci, sollicité la continuation de la poursuite.
Le comportement de l'avocat Z._ a été in casu manifestement source de grande confusion pour l'intimé. Les explications que donne cet avocat pour justifier son attitude - laquelle doit être imputée au défendeur comme représenté - ne convainquent pas. Si l'ancien créancier, après la cession, pouvait toujours agir à titre fiduciaire pour le nouveau créancier, le contrat de base qui a donné lieu à la cession comporterait nécessairement une sorte de rétrocession, hypothèse qui est contraire à l'état de fait déterminant.
Il suit de là que l'on peut admettre, avec la cour cantonale, que le demandeur, confronté aux agissements susdécrits du conseil du cédant, pouvait croire de bonne foi (laquelle est présumée, <ref-law>) que ce dernier n'avait pas cédé sa créance à un tiers. Autrement dit, l'intimé peut se prévaloir de l'<ref-law>, qui donne exceptionnellement un effet libératoire au paiement effectué par le débiteur cédé au non-créancier.
4.2.2 L'<ref-law> mentionne uniquement le paiement comme moyen d'exécution de la dette du débiteur cédé, supposé de bonne foi, à l'endroit de l'ancien créancier. En accord avec une ancienne jurisprudence (cf. ATF 45 II 664 consid. 2 p. 672), approuvée par la doctrine récente (Thomas Probst, Commentaire romand, n. 3 ad <ref-law>; Eugen Spirig, Commentaire zurichois, n. 36 ad <ref-law>; Daniel Girsberger, Commentaire bâlois, n. 18 ad <ref-law>), il convient d'admettre que le texte légal est trop restrictif et que doivent être assimilées au paiement en particulier la novation, la remise de dette et la compensation.
4.2.3 C'est le lieu d'interpréter la convention conclue le 23 septembre 1999 entre l'ancien créancier C._ et le demandeur.
4.2.3.1 Il n'apparaît pas que la cour cantonale a pu déterminer la volonté commune et réelle desdites parties contractantes. Dans un tel cas, il y a lieu d'interpréter les déclarations et les comportements selon la théorie de la confiance. Il convient de rechercher comment une déclaration ou une attitude pouvait être comprise de bonne foi en fonction de l'ensemble des circonstances (<ref-ruling> consid. 3.2; <ref-ruling> consid. 2.5).
L'application du principe de la confiance est une question de droit que le Tribunal fédéral, saisi d'un recours en réforme, peut examiner librement. Pour trancher cette question juridique, il faut cependant se fonder sur le contenu de la manifestation de volonté et sur les circonstances, lesquelles relèvent du fait (<ref-ruling> ibidem).
4.2.3.2 Il a été retenu que C._ a accepté, pour solde de la totalité de ses prétentions à l'endroit du demandeur, deux billets à ordre, le premier de 50'000 fr. payable au 28 novembre 2003, le second de 36'000 fr. payable au 21 décembre 2005. Autrement dit, par la remise de ces effets de change, le créancier C._ se déclarait entièrement désintéressé en capital, intérêts et frais. Partant, l'intimé, par la formulation "pour solde de tout compte" dans la convention du 23 septembre 1999, devait comprendre de bonne foi qu'en fournissant deux reconnaissances de dette abstraites sous la forme de billets à ordre (cf., à ce sujet, <ref-ruling> consid. 3a), il se libérait totalement et que le créancier consentait à renoncer à d'autres ou plus amples prétentions à son encontre par la conclusion d'un contrat de remise de dette partielle (<ref-law>).
Il est vrai que l'on ignore la quotité de la somme en poursuite au 23 septembre 1999. Toutefois, l'aspect d'une remise de dette découle de l'octroi de délais de paiement inhabituels (respectivement de 50 mois et de 75 mois), qui plus est sans que des intérêts courent jusqu'aux échéances fixées dans les effets de change.
4.2.3.3 Il est de jurisprudence que, contrairement à la remise d'une lettre de change, celle d'un billet à ordre n'a un effet libératoire que si, à titre exceptionnel, il lui est conféré un effet novatoire (<ref-ruling> consid. 3b). Or la novation ne se présume point (<ref-law>). En particulier, sauf convention contraire, la novation ne résulte pas de la signature d'un nouveau titre de créance (<ref-law> in medio). Par exemple, de simples transformations du contenu de l'obligation primitive, qui n'affectent aucunement sa nature mais en modifient le montant, l'échéance, le taux des intérêts ou les sûretés constituées en faveur du créancier, n'emportent pas d'effet novatoire (<ref-ruling> consid. 3 et les références).
Il résulte sans conteste de ces précédents que les cocontractants, lors de la signature de l'accord du 23 septembre 1999, n'avaient pas la volonté juridique d'éteindre l'ancienne obligation, découlant de l'arrêt du Tribunal fédéral rendu le 16 décembre 1998, en lui substituant une obligation nouvelle, complètement distincte de l'ancienne. Ils avaient bien au contraire la volonté objective de régler les modalités de son exécution, en arrêtant définitivement le montant dû par le débiteur, auquel des délais de paiement étaient accordés. Des considérations opposées à cette déduction ne trouvent aucun appui dans les faits posés souverainement en instance cantonale. Il s'ensuit que c'est en parfait accord avec le droit fédéral que la Cour civile a nié qu'il y ait eu in casu novation de la créance déduite en poursuite.
4.2.3.4 La remise de dette constitue un contrat bilatéral non formel conclu entre le créancier et son débiteur (Denis Piotet, Commentaire romand, n. 10 ad <ref-law>).
En l'espèce, le contrat de remise de dette litigieux n'était pas sans condition ou contre-prestation; le débiteur (i.e. le demandeur) devait remettre au créancier deux billets à ordre.
Mais, à l'inverse de la lettre de change, dont la remise a une fonction libératoire de paiement, c'est-à-dire d'exécution de l'obligation (<ref-law>), un billet à ordre n'est qu'une reconnaissance de dette, qui est également soumise à la réglementation des papiers-valeurs (<ref-ruling> consid. 3a et les nombreuses références doctrinales). Il n'y a donc extinction de la dette reconnue que dans la mesure où les billets à ordre sont payés aux échéances spécifiées.
Toutefois, selon les constatations du jugement déféré, le demandeur s'est acquitté auprès de l'office des poursuites de la totalité de sa dette en plusieurs acomptes, laquelle a été soldée le 13 août 2001. On voit donc que le recourant, cessionnaire du créancier originaire C._, a obtenu le règlement intégral de ses prétentions dans le cadre de la poursuite en cause n° ..., bien avant l'échéance du premier billet à ordre fixée au 28 novembre 2003.
Dans ces conditions, il n'est nul besoin d'examiner si la condition ou la contre-prestation prévue par le contrat de remise de dette passé le 23 septembre 1999 a été respectée.
Les motifs exposés ci-dessus font justice du moyen du recourant.
5. 5.1 Le recourant prétend que l'autorité cantonale a consacré une fausse application de l'<ref-law> quant au montant de la somme qu'il a été condamné à restituer à l'intimé. Il avance que les montants que le demandeur a payés à titre de frais ou dépens d'exécution forcée ou à titre d'intérêts échus doivent rester acquis au défendeur.
5.2 Comme on l'a vu, le demandeur, en sa qualité de débiteur cédé de bonne foi, peut opposer au véritable créancier, à savoir le recourant, en vertu de l'<ref-law>, le contrat de remise de dette qu'il a conclu avec le créancier originaire C._.
Avant de poursuivre l'intimé, le recourant aurait donc dû attendre que le premier billet à ordre vienne à échéance, lequel était payable le 28 novembre 2003. Il incombe en conséquence au défendeur poursuivant de supporter les frais de la poursuite encourus après le 23 septembre 1999, date de la signature du contrat de remise de dette.
Il résulte du considérant 4 ci-dessus que le demandeur a obtenu remise du montant dépassant les dettes reconnues dans les deux billets à ordre, lesquelles se montent à 86'000 fr. (50'000 fr. + 36'000 fr.). Le recourant ayant été intégralement payé avant la première échéance des effets de change, il faut admettre que ces derniers auraient bien été réglés aux termes fixés. Il suit de là que le recourant, auquel est opposable la convention du 23 septembre 1999 conclue pour solde de tout compte, ne saurait réclamer à l'intimé un montant dépassant 86'000 fr. Ce qui signifie que les frais de la poursuite pour la période antérieure à la date de l'accord précité ainsi que les intérêts de la dette ont été remis au demandeur, qui n'a pas à les prendre en charge.
En définitive, du moment que le recourant a perçu dans la poursuite précitée la somme totale de 124'716 fr. 90, alors qu'il n'avait droit qu'à 86'000 fr. pour solde de tout compte, l'action en répétition de l'indu de l'intimé est fondée à concurrence de la différence entre ces deux montants, soit 38'716 fr. 90, ce qui conduit à l'admission partielle du recours. Cette somme, dont le recourant doit restitution, portera intérêts à 5 % dès le 8 mai 2002, comme l'a retenu la cour cantonale sans tomber sous le feu de la critique.
6. Vu l'issue du différend, il appartiendra à la cour cantonale de rendre une nouvelle décision sur les frais et dépens de l'instance cantonale.
Le recourant obtient une réduction d'un peu plus des deux tiers du montant qu'il a été condamné à restituer à son adverse partie en instance cantonale. Dans ces conditions, l'émolument judiciaire de 5'000 fr. sera mis pour deux tiers à la charge de l'intimé et pour un tiers à la charge du recourant, lequel aura encore droit au versement d'une indemnité de dépens réduite selon cette proportion (art. 156 al. 3 et 159 al. 3 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis en ce sens que le défendeur doit verser au demandeur la somme de 38'716 fr. 90. avec intérêts à 5 % l'an dès le 8 mai 2002. L'action en répétition de l'indu est rejetée pour le surplus.
2. Un émolument judiciaire de 5'000 fr. est mis pour les deux tiers à la charge du demandeur et pour un tiers à la charge du défendeur.
3. Le demandeur versera au défendeur une indemnité de 2'000 fr. à titre de dépens réduits.
4. La cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Cour civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 mai 2005
Au nom de la Ire Cour civile
du Tribunal fédéral suisse
Le président: Le greffier: