Faits: A. A.a L'entreprise familiale Z._ SA, dont le siège est à Lausanne, a notamment pour but la construction, la fabrication, l'achat, la vente et l'exploitation de machines de chantiers ferroviaires; son capital-actions de 300'000 fr. est divisé en 210 actions nominatives série A de 1'000 fr. chacune et 900 actions nominatives série B de 100 fr. chacune. Le 6 février 1991, A._, ancien président du conseil d'administration de la société en cause, est décédé, en laissant pour héritiers légaux son épouse B._ et ses quatre enfants soit C._, décédée le 10 juin 1994, X._ (le défendeur), qui est administrateur de Z._ SA, Y._ (le demandeur) et leur soeur N._. Le 19 juillet 1991, les cinq héritiers ont signé une convention de partage, qui contient la disposition suivante: "... Les parties déclarent expressément renoncer à faire établir par l'organe de contrôle la valeur des actions de la société Les Fils de F.Z._ SA, et prendre irrévocablement en compte pour le partage la valeur fiscale de ces actions au 1er janvier 1990 conformément à la lettre de dite société du 29 octobre 1990...; il est précisé que celle-ci s'élève à 115'800 fr. par action de catégorie A ...". Il a été constaté que la valeur fiscale au 1er janvier 1990 dont il est fait mention ci-dessus est celle qui figure dans les déclarations d'impôts des actionnaires pour 1991/1992. A.b Dans le cadre du partage de la succession de feu A._, Y._ a hérité en juillet 1991 de 14 actions nominatives, catégorie A, de Z._ SA. Par convention du 15 mars 1994, Y._ a vendu à son frère X._, qui est titulaire du brevet d'avocat vaudois, les 14 actions précitées pour le prix de 115'800 fr. par action, correspondant au montant de la valeur fiscale prise en compte selon la convention de partage du 19 juillet 1991 passée dans le cadre de la succession de leur père, soit 1'621'200 fr. pour la totalité des actions (14 x 115'800 fr.). Il est stipulé que le vendeur a le droit de racheter les 14 actions à l'acheteur au même prix dès le 1er mars 1997. L'art. 6 de l'accord du 15 mars 1994 a la teneur suivante: "S'il exerce son droit de réméré pour une partie seulement des actions en cause, Y._ reçoit d'ores et déjà la garantie que le décompte entre parties concernant les actions rachetées tiendra compte de la valeur fiscale en cours au moment du rachat partiel; en d'autres termes, X._ restera alors propriétaire des titres non rachetés en versant à son frère Y._ la différence entre la valeur fiscale des actions au jour du rachat partiel et la valeur d'acquisition fixée aux articles 2 et 3 de la présente convention". A.c Le 12 août 1998, la fiduciaire du demandeur a adressé un courrier au défendeur auquel était joint un projet de convention qui se référait à la valeur fiscale 1997/1998 des actions de catégorie A de Z._ SA, arrêtée à 258'400 fr. par titre. Dans sa réponse du 13 août 1998, le recourant n'a pas expressément contesté ce point. Par pli du 20 novembre 1998 adressé à X._, Y._ a exercé formellement son droit de réméré sur une action de la société familiale et mis en demeure son frère de lui verser la somme de 1'880'600 fr. jusqu'au 4 décembre 1998, "correspondant à la différence entre la valeur fiscale 1997/1998 des titres, estimés (sic) à fr. 258'400.-- par action, soit fr. 3'617'600.-- pour les 14 actions et le prix de cession de francs 1'621'200.-- fr. du 15 mars 1994, déduction faite du prix d'une action à francs 115'800.-- fr.". Le défendeur n'a pas réagi à ce courrier. Le 19 janvier 1999, l'Administration cantonale vaudoise des impôts a adressé à Z._ SA une formule sans signature intitulée "Estimation des titres non cotés en vue de leur déclaration pour la période fiscale 1999/2000". Selon ce document, établi sur la base des extraits de compte en possession du fisc, la valeur fiscale au 1er janvier 1998, déterminante pour la déclaration d'impôts 1999/2000 des porteurs domiciliés dans le canton de Vaud, est estimée à 12'965 % de la valeur nominale versée. Se fondant sur ce document, X._ a offert à Y._ de lui remettre une action de Z._ SA d'une valeur de 129'650 fr. pour solde de tout compte à raison de la convention du 15 mars 1994. A.d La mère des plaideurs, B._, est décédée le 10 août 1998. A la suite de ce décès, le demandeur est devenu propriétaire en indivision, aux côtés du défendeur et de leur soeur N._, en autres valeurs de 14 actions de la société. En rapport avec cette succession, X._ a adressé le 4 octobre 1998 une écriture au conseil de Y._, dans laquelle il affirmait notamment que "la valeur fiscale actuelle, qui ne tient compte que du passé, est dépourvue de signification"; il a annexé à ce pli un exemplaire de ses premières estimations concernant l'actif successoral, indiquant, pour une action A de Z._ SA, une valeur de 258'400 fr. Le 20 janvier 1999, l'Office de paix du cercle de Lausanne, pour déterminer le montant de l'impôt sur les successions, a établi un inventaire des biens de feue B._, dans lequel 14 actions de Z._ SA sont portées "au cours de 12'965 % au 1.1.1998", c'est-à-dire à la valeur de 129'650 fr. par action. A la suite de la réclamation déposée par Y._ le 22 février 1999 auprès de l'Office de paix, concluant à ce que "la valeur fiscale de l'action Z._ SA (soit) augmentée à un montant supérieur à 200'000 fr. par action", l'Administration cantonale des impôts, par courrier du 10 février 2000, a expliqué que "... l'estimation des actions Z._ la plus rapprochée de la date de l'ouverture de la succession de feue Mme B._ le 10 août 1998 est celle déterminée au 1er janvier 1998 sur la base des comptes 1996/1997 de la société, valeur déterminante pour la période fiscale 1999/2000". En réponse à une lettre du conseil de Y._, l'Administration cantonale des impôts, sous la signature de V._, a confirmé, par pli du 10 avril 2000, que, pour l'impôt ponctuel sur les successions relatif à un décès survenu en 1998, il y a lieu de se référer, s'agissant des titres non cotés faisant partie des actifs successoraux, à l'estimation des comptes 1996/1997, effectuée le 1er janvier 1998; cette estimation peut être revue si des éléments probants montrent que la valeur des titres est supérieure à celle fixée au jour du décès. A.e L'instruction a permis d'établir que la valeur fiscale est une donnée calculée par l'administration des impôts, qui la communique au contribuable soit dans le courant de l'année, soit au début de l'année suivante, lors de l'établissement de la déclaration d'impôts. Il résulte d'un rapport notarié U._ que l'estimation fiscale des actions Z._ SA de catégorie A était au 1er janvier 1996 de 258'400 fr.; cette estimation, fondée sur les exercices 1994/1995, était valable pour la période fiscale 1997/1998. Quant à l'estimation au 1er janvier 1998, fondée sur les exercices 1996/1997 et valable pour la période 1999/2000, elle était de 129'650 fr. B. B.a Par demande du 26 décembre 1998 déposée devant la Cour civile du Tribunal cantonal vaudois, Y._ a conclu à ce que X._ lui doive paiement de 1'996'400 fr. sous déduction de 115'800 fr., soit de 1'880'000 fr. (somme arrondie aux mille francs inférieurs), plus intérêts à 5 % l'an dès le 20 novembre 1998, le défendeur étant tenu de remettre immédiatement au demandeur l'une des 14 actions de catégorie A de Z._ SA acquises dans le cadre de la convention du 15 mars 1994 et d'entreprendre les démarches nécessaires à l'inscription du demandeur au registre des actionnaires de ladite société. Le défendeur a conclu à libération; il a invoqué la prescription et la péremption. Il a soutenu que la valeur fiscale des actions non rachetées par le demandeur était, par titre, de 129'650 fr., et non de 258'400 fr. B.b En cours d'instance, Z._ SA a produit une attestation, datée du 30 mars 2000, dont le chiffre 6 a la teneur suivante: " L'ancienne valeur fiscale de la même action nominative, établie au 1er janvier 1996 et valable en 1996 et 1997, était de Fr. 258'400.--. Elle était fondée sur les résultats comptables des années 1994 et 1995. Un résultat 1995 anormalement élevé, et demeuré unique, explique cette haute valeur, le résultat de la deuxième année (ici 1995) étant doublé". Le conseil du demandeur a taxé cette attestation de faux, en ce sens que l'ancienne valeur fiscale établie au 1er janvier 1996 est valable en 1997 et 1998 (et non en 1996 et 1997). Z._ SA a confirmé son attestation, par courrier du 18 mai 2001 adressé au Juge instructeur de la Cour civile. B.c La Cour civile a réentendu à son audience de jugement du 30 août 2002 le témoin W._, responsable auprès de l'Administration cantonale des impôts du service s'occupant de l'estimation des titres non cotés. Ce dernier a rappelé que l'estimation des actions non cotées intervient sur la base du bilan et du compte de pertes et profits de la société, conformément aux "Instructions concernant l'estimation des titres non cotés en vue de l'impôt sur la fortune" éditées par la Conférence des fonctionnaires fiscaux d'Etat et l'Administration fédérale des contributions, dont la dernière édition date de 1995. Le témoin a expliqué que le canton de Vaud a fait usage de la faculté octroyée par le chiffre 4 desdites Instructions, qui permet pour des raisons pratiques, étant donné que les comptes annuels déterminants de l'entreprise font fréquemment défaut au moment de la taxation de la fortune des contribuables, d'appliquer la valeur fiscale de l'année précédente. Toutefois, si cette valeur s'écarte par trop de celle établie sur la base des comptes annuels déterminants (variation du résultat, modification du capital social, etc.), elle peut être corrigée sur requête de la société au cours de la procédure de taxation ou sur recours de l'actionnaire. La pratique du fisc implique un décalage entre la date de l'estimation fiscale de l'action et la période de taxation pour laquelle cette estimation est utilisée. Ainsi, en terre vaudoise, les actions non cotées sont estimées au 1er janvier de chaque année paire, le calcul de la valeur fiscale se faisant en considération des résultats de l'entreprise des deux années précédant l'entrée en validité de cette valeur fiscale; cette valeur est déterminante pour la période biennale de taxation qui suit l'année de l'estimation. Le témoin a donné l'exemple suivant: la valeur fiscale des actions au 1er janvier 1998, calculée sur la base des exercices 1996/1997, est valable fiscalement uniquement à partir du 1er janvier 1999, pour la période de taxation 1999/2000 en ce qui concerne l'impôt complémentaire sur la fortune. W._ a encore déclaré que l'attestation de Z._ SA du 30 mars 2000 était erronée; il a rappelé que l'estimation de la valeur fiscale au 1er janvier 1996 avait un effet pour la période fiscale 1997/1998 et non 1996/1997 comme l'indiquait l'attestation. B.d Par jugement incident du 2 février 2001, le Juge instructeur a partiellement admis une requête de réforme déposée par le demandeur. B.e Par jugement du 25 septembre 2002, dont les considérants ont été notifiés le 28 mai 2003, la Cour civile du Tribunal cantonal vaudois a condamné le défendeur à payer au demandeur la somme de 1'738'000 fr. plus intérêts à 5 % l'an dès le 5 décembre 1998. En substance, la cour cantonale a considéré que les parties ont conclu un contrat de vente mobilière portant sur 14 actions nominatives de catégorie A de la société Z._ SA pour le prix de 1'621'200 fr., qui octroie au demandeur un droit de réméré sur ces actions pour le même prix. Toutefois, dans l'hypothèse où le demandeur n'exerce son droit de réméré que sur une partie des actions - hypothèse qui s'est réalisée le 20 novembre 1998 lorsque Y._ a déclaré racheter une seule action -, la convention met à la charge du défendeur, qui demeure propriétaire des actions non rachetées, le paiement d'un montant correspondant à la différence entre la valeur fiscale de ces actions au jour du rachat partiel et leur valeur d'acquisition. A suivre les juges cantonaux, si les parties "admettent (...) que la valeur fiscale déterminante au sens de l'article 6 de la convention est la valeur fiscale 1998 (...), elles divergent sur le montant de cette dernière". Ces magistrats ont retenu que la volonté réelle des parties était de prendre en compte la valeur fiscale utilisée pour la période de taxation en cours au moment de la date du rachat. Comme le droit de réméré a été exercé le 20 novembre 1998, soit au cours de la période de taxation 1997/1998, c'est l'estimation fiscale au 1er janvier 1996 qui est applicable, en sorte que la valeur fiscale déterminante est de 258'400 fr. par action. La différence entre cette valeur fiscale et la valeur d'acquisition se montant à 142'600 fr. (258'400 fr. - 115'800 fr.), le défendeur est débiteur de son adverse partie de 1'853'800 fr. (142'600 fr. x 13); après compensation avec le prix de l'action qui a fait l'objet du droit de réméré, le défendeur doit en fin de compte verser au demandeur 1'738'000 fr. (1'853'800 fr. - 115'800 fr.), créance qui n'est pas prescrite (art. 127 CO). L'autorité cantonale a encore jugé que dès l'instant où le conseil d'administration de Z._ SA n'a pas encore approuvé le transfert d'une action au demandeur, les conclusions de celui-ci tendant à ce que le défendeur lui remette cette action et entreprenne les démarches nécessaires à l'inscription de Y._ au registre des actionnaires devaient être rejetées. C. X._ a exercé un recours en réforme au Tribunal fédéral contre le jugement précité. Le défendeur a également déposé à l'encontre de la même décision un recours en nullité devant la Chambre des recours du Tribunal cantonal vaudois. Par arrêt du 4 mai 2004, la Chambre des recours a rejeté le recours en nullité dans la mesure de sa recevabilité et confirmé le jugement critiqué. En bref, elle a retenu que la Cour civile n'avait pas violé les art. 1, 164, 177 et 300 du Code de procédure civile vaudois du 14 décembre 1966 (CPC vd). L'autorité cantonale a encore considéré que la Cour civile n'avait pas à reprendre in extenso une lettre adressée par le fisc au Juge instructeur; que les premiers juges n'avaient pas apprécié arbitrairement les preuves en privilégiant la déclaration d'un témoin au préjudice d'un document émanant de Z._ SA; que ces mêmes magistrats avaient exposé correctement la thèse du défendeur. D. X._ forme un recours de droit public au Tribunal fédéral contre l'arrêt de la Chambre des recours, dont il requiert l'annulation. L'intimé conclut au rejet du recours, alors que la Chambre des recours se réfère aux considérants de sa décision.