Faits: Faits: A. Dès le 13 juillet 1992, N._, architecte à X._, et P._, médecin, qui devait partir durant deux ans aux États-Unis, sont entrés en pourparlers à propos de la recherche d'un terrain constructible, avec vue sur le lac, sur le territoire de la commune de Y._. En avril 1993, N._ a présenté des terrains à vendre à la mère de P._ et lui a adressé une étude d'implantation concernant deux parcelles situées à X._. Par courrier du 28 mai 1993, N._ a remercié P._ de la confiance qu'il lui témoignait en lui confiant la conception de sa future maison et lui a fait parvenir divers plans et documents d'implantation. Les 14 et 15 juin 1993, l'architecte a soumis à P._ un avant-projet modifié et une proposition de contrat SIA fondé sur le tarif applicable en 1993, stipulant que leurs relations se fondaient juridiquement sur la norme SIA 102. N._ relevait en outre que les démarches relatives à l'obtention d'un terrain n'étaient pas comprises dans les prestations habituelles de l'architecte, mais qu'il espérait participer substantiellement à la commission de courtier, ce qui lui éviterait de facturer cette prestation. Plusieurs documents étaient joints, dont notamment un devis estimatif du 14 juin 1993 arrêtant le coût de la construction à 1'121'000 fr. (recte : 1'122'000 fr.), dont 132'000 fr. et 15'000 fr. à titre d'honoraires, ainsi qu'un "exemple de contrat" qui se référait à la norme SIA 102 de 1993, catégorie IV, avec un montant probable des honoraires fixé à 130'700 fr. et un supplément de 1'300 fr. à titre de rémunération hors tarif pour divers frais de documents et d'envois. Il était précisé que les prestations supplémentaires seraient facturées selon un tarif horaire de 120 fr. P._ a acquis l'une des parcelles proposées par N._, qui a touché une commission de courtage de 1'500 fr. P._ a acquis l'une des parcelles proposées par N._, qui a touché une commission de courtage de 1'500 fr. B. B.a La construction a fait l'objet de trois mises à l'enquête en raison de modifications des normes communales en matière de constructions et de la radiation de l'alignement. P._ en a été informé, mais sans qu'il ait été fait allusion aux frais supplémentaires qui en résulteraient. Le permis de construire a été délivré le 18 octobre 1993, un permis complémentaire le 24 février 1994 et un troisième permis le 29 juillet 1994. B.b Du 21 juillet 1993 au 31 janvier 1995, N._ a adressé à P._ sept demandes d'acompte portant respectivement sur 22'000 fr., 25'000 fr., 35'000 fr., 15'000 fr., 8'000 fr., 12'000 fr. et 18'000 fr., les cinq derniers acomptes étant calculés selon la catégorie SIA 102 V. Ces acomptes ont été payés sans faire l'objet de contestation. En particulier, le 15 décembre 1993, N._ a indiqué à P._ que sa décision de modifier l'implantation de la maison engendrait de très nombreuses modifications des plans, ce qui impliquait le recours au tarif de la catégorie V. Du 14 décembre 1993 au 31 janvier 1995, N._ a envoyé à P._ des décomptes indiquant les coûts de construction, ainsi que les honoraires et frais d'architecte, les premiers oscillant entre 1'185'000 fr. et 1'236'746 fr., les seconds entre 154'000 fr. et 199'500 fr. Du 4 avril 1994 au 31 juillet 1995, N._ a établi des factures pour ses prestations et frais hors tarif SIA; les deux dernières factures récapitulatives établissaient la rémunération de l'architecte pour le choix et l'achat du terrain. Le montant total réclamé s'élevait à 46'349,45 fr. et les acomptes hors tarif reçus par l'architecte représentaient 21'274,95 fr. Le 14 août 1994, N._ a sollicité une adaptation de ses honoraires, qui devaient être calculés selon le tarif catégorie V. Le 23 août et le 22 septembre 1994, P._ a manifesté son désaccord, rappelant à l'architecte que, le 14 août 1993, il avait été convenu d'appliquer le tarif catégorie IV et un tarif horaire de 120 fr. pour les prestations supplémentaires. Le 22 octobre 1994, P._, de retour des États-Unis, a constaté que les avances sur honoraires atteignaient 122'121,15 fr. et a demandé à l'architecte de terminer la construction et de lui adresser sa note d'honoraires finale. P._ a accepté de verser un acompte supplémentaire de 12'000 fr. le 10 novembre 1994. Le 4 mai 1995, N._ a établi sa note d'honoraires finale, qu'il a remplacée, à la suite du désaccord exprimé par P._, par une nouvelle note le 31 juillet 1995, accompagnée d'une facture pour prestations d'architecte hors tarif SIA. Les honoraires totaux s'élevaient à 159'176 fr. en application des critères de la catégorie V; sous déduction des acomptes, le solde réclamé se montait à 24'176 fr. Les prestations hors tarif atteignaient 46'349,45 fr., dont 35'074,50 fr. restaient dus. P._ a été mis en demeure de s'acquitter des sommes dues jusqu'au 15 mars 1996. B.c Les parties étant en litige au sujet du montant des honoraires, un expert hors procès a été désigné. Selon son rapport du 19 mars 1997, les honoraires dus, calculés selon les critères de la catégorie IV pour 1992 et 1993, puis de la catégorie V dès 1994, ont été établis à 157'507 fr., les prestations supplémentaires à 35'697 fr. et les frais à 2'630,20 fr. Le 10 avril 1997, P._ a indiqué qu'il contestait ce rapport sur plusieurs points, mais qu'il ne requérait pas de complément d'expertise. Le 10 avril 1997, P._ a indiqué qu'il contestait ce rapport sur plusieurs points, mais qu'il ne requérait pas de complément d'expertise. C. Des infiltrations d'eau se sont produites dans la cave de la villa, ce qui a nécessité l'exécution de travaux les 27 et 29 janvier 1995. En mars 1995, des remontées d'humidité ont été constatées sur les murs du sous-sol et de nouvelles arrivées d'eau ont été décelées en mai 1996. Un expert extra-judiciaire a également été désigné pour se prononcer sur les problèmes d'humidité. Il a rendu un rapport le 23 décembre 1997, concluant à la responsabilité de l'architecte, qui devait supporter une partie des travaux tendant à remédier au défaut et à réparer les dégâts. Le 28 janvier 1998, l'architecte a indiqué qu'il contestait les constatations de l'expert. Le 22 octobre 1998, la compagnie d'assurance auprès de laquelle P._ était assuré a accepté de lui allouer une indemnité transactionnelle de 17'000 fr., alors que les travaux entrepris par P._ en relation avec les problèmes d'étanchéité se sont élevés à 25'684,60 fr. Le 22 octobre 1998, la compagnie d'assurance auprès de laquelle P._ était assuré a accepté de lui allouer une indemnité transactionnelle de 17'000 fr., alors que les travaux entrepris par P._ en relation avec les problèmes d'étanchéité se sont élevés à 25'684,60 fr. D. D.a Le 27 novembre 1997, N._ a intenté une action à l'encontre de P._, en paiement de 49'250,50 fr. plus intérêt à 5 % dès le 31 juillet 1994 et 6'082,75 fr. plus intérêt à 5 % dès le 1er juin 1997. Tout en concluant au rejet de la demande, P._ a formé des conclusions reconventionnelles tendant finalement au versement de 35'803 fr. avec intérêt à 5 % dès le 20 avril 1998. D.b En cours de procédure, un expert judiciaire a été désigné. Il a déposé un rapport le 9 août 2000, complété le 7 mars 2001, et a été entendu à l'audience de jugement le 21 août 2002. L'expert judiciaire a arrêté le montant des honoraires à 156'092 fr., celui des prestations supplémentaires à 28'430,20 fr., dont 3'360 fr. concernaient la recherche du terrain. S'agissant des défauts liés à l'étanchéité, l'expert judiciaire a confirmé l'appréciation de l'expert extra-judiciaire. Il a fixé à 25'684,60 fr. le coût total des travaux de réfection, dont l'architecte devait assumer le 30 %. D.c Par jugement du 4 septembre 2002, la Cour civile du Tribunal cantonal vaudois a condamné P._ à payer à N._ 24'887,25 fr. avec intérêt à 5 % l'an dès le 2 septembre 1995 et 4'055,20 fr. avec intérêt à 5 % dès le 17 septembre 1997. Elle a parallèlement condamné N._ à payer à P._ 23'208,45 fr. avec intérêt à 5 % l'an dès le 7 mai 1998. Le recours en nullité interjeté par N._ à l'encontre de ce jugement a été rejeté, le 14 janvier 2004, par la Chambre des recours. L'arrêt rendu ne comporte aucun état de fait, l'autorité de recours se bornant à se référer, dans son entier, à l'état de fait des premiers juges, censé faire partie intégrante de la décision sur recours. Le recours en nullité interjeté par N._ à l'encontre de ce jugement a été rejeté, le 14 janvier 2004, par la Chambre des recours. L'arrêt rendu ne comporte aucun état de fait, l'autorité de recours se bornant à se référer, dans son entier, à l'état de fait des premiers juges, censé faire partie intégrante de la décision sur recours. E. Contre l'arrêt du 14 janvier 2004, N._ interjette un recours de droit public au Tribunal fédéral. Invoquant l'arbitraire et une violation de son droit d'être entendu, il conclut à l'annulation de l'arrêt attaqué. Sans prendre de conclusions formelles, P._ a réfuté le bien-fondé des griefs articulés à l'appui du recours de droit public. La Chambre des recours s'est, pour sa part, référée aux considérants de son arrêt. Sans prendre de conclusions formelles, P._ a réfuté le bien-fondé des griefs articulés à l'appui du recours de droit public. La Chambre des recours s'est, pour sa part, référée aux considérants de son arrêt. F. Parallèlement au recours en nullité interjeté sur le plan cantonal, N._ a également déposé un recours en réforme au Tribunal fédéral contre le jugement de la Cour civile du 4 septembre 2002.