Faits: Faits: A. Dans le courant de l'année 1994, A._, membre d'une société réunissant divers investisseurs, a fait la connaissance du fils d'un de ses associés, B._, notamment directeur et actionnaire unique de X._ SA. A fin 1994, A._ a confié à cette société une somme de l'ordre de 1'000'000 US$ qui, selon contrat de gestion des fonds du 27 octobre 1994, devait être placée par moitié dans des opérations de change sur les monnaies, et par moitié dans des opérations sur les matières premières. A._ était rendu attentif aux risques liés à ce type d'investissements. En mai 1995, la moitié de ses investissements était perdue et à fin octobre 1995, il ne subsistait plus qu'un reliquat de 50'000 US$. En décembre 1994, A._ a acquis de B._ la moitié du capital-actions d'une société, composée de cinquante actions d'une valeur nominale de 1'000 fr. Dans ce même contexte, les parties ont porté le capital-actions à 550'000 fr. par l'émission et la libération de quatre cent cinquante actions de 1'000 fr. chacune, au porteur. La raison sociale a été changée en Y._ SA. Le 28 février 1995, cette dernière a acquis la moitié des droits et obligations d'une discothèque pour le montant de 500'000 fr., qui devait être payé au plus tard le 1er avril 1995. En juin 1995, Y._ SA a acheté le reste des parts de cet établissement pour le prix de 500'000 fr. Une nouvelle société, dont Y._ SA possédait l'intégralité du capital social, a été créée à cette époque pour exploiter la discothèque. Le 26 mars 1995, A._ et B._ ont signé un accord rédigé par ce dernier. A._ avançait le prix d'achat de 500'000 fr. (pour la première moitié des droits de l'établissement public), à condition que B._ lui paie à la fin de chaque trimestre 6'250 fr., dès le 30 juin 1995. Y._ SA ne payait à ses actionnaires aucun dividende jusqu'au remboursement intégral des 500'000 fr. à A._. Pour tout remboursement par Y._ SA d'une partie de cette somme, le paiement de l'intérêt trimestriel de 6'250 fr. serait réduit proportionnellement, en fonction du montant subsistant après le remboursement. Ultérieurement, les parties ont interprété de façon divergente cet accord: B._ soutenait que A._ avait avancé les 500'000 fr. à Y._ SA, alors que A._ affirmait qu'il avait prêté 250'000 fr. à la société et 250'000 fr. à B._ à titre d'avance de la part due par ce dernier. Le 9 octobre 1995, une deuxième convention, établie par A._ sur le modèle de la précédente, rappelait le contenu de cette dernière et précisait que la deuxième moitié de l'établissement public avait été acquise au prix de 500'000 fr., payé grâce à une avance à Y._ SA de 350'000 fr. effectuée par A._ et à une autre de 150'000 fr. par B._. Celui-ci s'engageait à payer à A._ 8'750 fr. à la fin de chaque trimestre, dès le 31 décembre 1995. Les intérêts étaient calculés à 10% par an sur la somme de 350'000 fr., correspondant à la première avance de 250'000 fr. et à la seconde de 100'000 fr. faites par A._. Y._ SA s'engageait à ne payer aucun dividende tant que le montant initial de 500'000 fr. ne serait pas remboursé intégralement à ce dernier. Y._ SA s'engageait également à ne payer aucun dividende à ses actionnaires avant qu'une première tranche de 200'000 fr., sur les 350'000 fr. évoqués ci-dessus, soit entièrement payée à A._. Tout remboursement de Y._ SA à A._ sur le montant de 700'000 fr. (500'000 fr. du premier prêt et 200'000 fr. du second prêt) avait pour conséquence de faire porter l'intérêt de 10% sur le capital ainsi réduit. Les parties ont aussi divergé sur l'interprétation de cette deuxième convention: B._ soutenait que A._ avait avancé les 350'000 fr. à Y._ SA, alors que celui-là affirmait que 100'000 fr. (sur les 350'000 fr.) constituaient un prêt à B._, lui permettant de faire face à ses obligations à l'égard de la société. A la suite des pertes subies dans l'exploitation de X._ SA, B._ et A._ ont tenu une réunion en octobre 1995 avec le père de B._ et associé de A._ dans une autre société, et C._, administrateur de sociétés. Ces derniers ont mis sur pied un accord, dont le texte a été élaboré par C._, et que les parties ont signé le 2 novembre 1995. Son préambule rappelait l'investissement de 1'000'000 US$ de A._ dans X._ SA et la reconnaissance des pertes par B._, n'entraînant qu'un seul remboursement de 50'000 US$ environ. Pour compenser ces pertes, B._ s'engageait à vendre à A._, pour le prix forfaitaire de 1 fr., l'intégralité des actions qu'il détenait dans Y._ SA, conjointement avec son frère. Il s'engageait aussi à vendre à A._, pour 1 fr., l'intégralité des parts qu'il possédait dans un établissement public canadien. L'article 3 de la convention disposait que "dès la signature des contrats de vente mentionnés aux articles 1 et 2, Monsieur A._ déclare ne plus avoir aucune prétention financière et légale de quelque type que ce soit, envers Monsieur B._, la société X._ SA, et ses employés". Il déclarait aussi n'entreprendre aucune procédure judiciaire ou extrajudiciaire à l'encontre de B._ ou de X._ SA en compensation des sommes perdues et reconnaissait que, par l'accord en question, il était dédommagé des pertes subies dans le cadre de la gestion, par cette société, des sommes investies auprès d'elle. Une prorogation de for en faveur du Tribunal de district de Neuchâtel était prévue. Le 30 novembre 1995, B._ et son frère ont vendu leurs actions de Y._ SA à A._ pour la somme de 1 fr., ce dernier devenant seul propriétaire de son capital-actions. B._ et son frère ont également vendu aux mêmes conditions leurs parts dans l'établissement public canadien, de sorte que A._ en devenait propriétaire à 66%, le solde des parts demeurant propriété d'un autre ayant droit. Les cessions prévues dans ces conventions du 30 novembre 1995 ont été effectuées. Les parties ont divergé sur le sens de l'accord du 2 novembre 1995. Pour A._ il s'agissait uniquement de l'indemniser des pertes subies dans le cadre de la gestion de X._ SA. Pour B._, l'accord était global et mettait fin à tous les litiges entre les parties, de sorte qu'il n'avait plus de dette envers A._ ou Y._ SA. Entendu ultérieurement comme témoin par le Tribunal de première instance de Genève, le père de B._ a soutenu que les différentes cessions évoquées mettaient fin à l'ensemble des litiges entre son fils et son associé. C._ a déposé que l'accord du 2 novembre 1995 devait mettre fin à toutes les relations financières entre les parties, pour solde de tout compte, pour autant que A._ ne dépose pas de plainte pénale. Même si cela n'était pas spécifié par écrit, cette intention correspondait à l'esprit de l'accord. Il a ajouté que A._ voulait être intégralement remboursé du montant de 950'000 US$ perdu dans X._ SA et il estimait que les actifs cédés équivalaient approximativement à cette somme. La valeur de l'établissement canadien se serait même élevée à plusieurs millions de dollars canadiens. A._ a prétendu avoir demandé en 1996 à B._ le paiement d'intérêts dus sur les prêts consentis. Plus tard, il avait confié à la fiduciaire dont C._ est administrateur le mandat de poursuivre B._ pour les sommes dues à ce titre, ce à quoi C._ n'avait pas donné suite. Plus exactement, il avait semblé à celui-ci que le cessionnaire ou représentant de A._ lui avait demandé de récupérer "encore des fonds". A._ allègue avoir mandaté par la suite un cabinet d'avocat pour recouvrer sa créance, mais que son mandataire lui a conseillé d'agir d'abord sur le plan pénal. Le 26 mars 1998, A._ a déposé une plainte pénale auprès du Procureur général du canton de Neuchâtel contre B._, qui a été inculpé en février 2001, ainsi que C._, pour diverses infractions contre le patrimoine et faux dans les titres. La procédure était pendante devant le juge d'instruction de Neuchâtel en novembre 2004. Le 3 septembre 2001, A._ a réclamé à B._ 382'506 fr. pour un détournement de compte de Y._ SA, 200'000 fr. pour un dommage relatif à l'acquisition d'un immeuble, 50'000 fr. pour une perte due à la présentation d'un faux bilan de la société dont la raison sociale avait été changée en Y._ SA, 350'000 fr. (250'000 fr. + 100'000 fr.) à titre de remboursement des prêts des 26 mars et 9 octobre 1995 et 213'750 fr. d'intérêts. B._ a rejeté ces prétentions. Le 18 mars 2002, A._ a fait notifier à B._ un commandement de payer aux montants de 382'506 fr. avec intérêt à 5% dès le 1er juillet 1996, 200'000 fr. avec intérêt à 5% dès le 30 juin 1995, 50'000 fr. avec intérêt à 5% dès le 30 novembre 1994, 20'000 fr. avec intérêt à 5% dès le 30 décembre 1994 et 567'494 fr. Les titres des créances invoquées étaient repris du précédent courrier, sous réserve du remboursement de commissions touchées indûment dans le cadre de la gestion des biens de A._ dans X._ SA. Il est aussi notamment mentionné le remboursement d'un prêt de 350'000 fr., avec les intérêts le concernant. B._ a fait opposition. Sur requête de A._, le Tribunal de première instance de Genève a prononcé la mainlevée provisoire à concurrence de 175'000 fr., les accords des 26 mars et 9 octobre 1995 valant titre de mainlevée pour les intérêts non prescrits. Sur requête de A._, le Tribunal de première instance de Genève a prononcé la mainlevée provisoire à concurrence de 175'000 fr., les accords des 26 mars et 9 octobre 1995 valant titre de mainlevée pour les intérêts non prescrits. B. Le 22 juillet 2002, B._ a intenté une action en libération de dette à l'encontre de A._, qui a conclu à son rejet et, reconventionnellement, à la condamnation de B._ à lui payer 411'250 fr. en remboursement des prêts des 26 mars et 9 octobre 1995, avec les accessoires. Par jugement du 15 janvier 2004, le Tribunal de première instance du canton de Genève a admis la demande de B._ et débouté A._ de toutes ses conclusions. En bref, il est parvenu à la conclusion que A._ avait prêté les sommes de 250'000 fr., le 26 mars, et de 100'000 fr., le 9 octobre 1995, à B._ et non à Y._ SA. S'agissant du protocole d'accord du 2 novembre 1995, il avait bien pour objet de liquider l'ensemble des relations entre les parties et non pas uniquement celles qui avaient été nouées par A._ avec la société X._ SA. C'était par conséquent à bon droit que B._ soutenait que la somme réclamée par A._ n'était pas due. Statuant sur appel de ce dernier par arrêt du 23 novembre 2004, la Cour de justice du canton de Genève a confirmé le jugement entrepris. En substance, elle a retenu que l'accord du 9 octobre 1995, notamment la clause figurant à l'art. II.1, à laquelle les parties n'attribuaient pas le même sens, et dont la portée n'était "pas claire", nécessitait de procéder à une interprétation selon le principe de la confiance, qui démontrait que les prêts de A._ avaient été consentis à Y._ SA et en aucun cas personnellement à B._. De plus, l'art. II.2 ss (recte: II.1 ss) de l'accord du 9 octobre 1995 imposait à B._ des obligations "tout à fait excessives" (soit le paiement de 10% d'intérêts sur 350'000 fr. "pendant une durée indéterminée, mais vraisemblablement très longue"), de sorte que les engagements du débiteur étaient nuls, parce que contraires aux moeurs. En conclusion, A._ ne pouvait déduire aucun droit de la convention du 9 octobre 1995 à l'égard de B._ et il n'était ainsi pas nécessaire de se pencher sur l'interprétation de la convention du 2 novembre 1995. Statuant sur appel de ce dernier par arrêt du 23 novembre 2004, la Cour de justice du canton de Genève a confirmé le jugement entrepris. En substance, elle a retenu que l'accord du 9 octobre 1995, notamment la clause figurant à l'art. II.1, à laquelle les parties n'attribuaient pas le même sens, et dont la portée n'était "pas claire", nécessitait de procéder à une interprétation selon le principe de la confiance, qui démontrait que les prêts de A._ avaient été consentis à Y._ SA et en aucun cas personnellement à B._. De plus, l'art. II.2 ss (recte: II.1 ss) de l'accord du 9 octobre 1995 imposait à B._ des obligations "tout à fait excessives" (soit le paiement de 10% d'intérêts sur 350'000 fr. "pendant une durée indéterminée, mais vraisemblablement très longue"), de sorte que les engagements du débiteur étaient nuls, parce que contraires aux moeurs. En conclusion, A._ ne pouvait déduire aucun droit de la convention du 9 octobre 1995 à l'égard de B._ et il n'était ainsi pas nécessaire de se pencher sur l'interprétation de la convention du 2 novembre 1995. C. Parallèlement à un recours de droit public qui a été rejeté par arrêt de ce jour dans la mesure où il est recevable et n'est pas devenu sans objet, A._ (le défendeur) interjette un recours en réforme au Tribunal fédéral contre l'arrêt du 23 novembre 2004. Il conclut à la réforme de celui-ci, en ce sens principalement que B._ est débouté des fins de son action en libération de dette, la poursuite y relative allant sa voie, et condamné à lui payer la somme de 420'000 fr., la mainlevée de l'opposition étant levée à due concurrence, subsidiairement au renvoi de la cause à l'autorité compétente pour nouvelle décision dans le sens des considérants, avec suite de frais et dépens. Il se plaint tout d'abord de la violation de l'art. 18 CO dans l'interprétation de la convention du 9 octobre 1995, en ce que la cour cantonale a appliqué directement le principe de la confiance sans rechercher la commune et réelle intention des parties. Il est d'avis que les avances mentionnées à l'art. II.1 constituaient des prêts consentis au demandeur et non pas à Y._ SA, ce que soutenait ce dernier. Le défendeur fait également grief à la cour cantonale d'avoir considéré à tort que les obligations relatives au paiement d'intérêts, imposées à B._ dans l'accord du 9 octobre 1995, étaient nulles au regard des art. 27 CC et 20 CO. B._ (le demandeur) conclut au rejet du recours et à la confirmation de l'arrêt du 23 novembre 2004, avec suite de frais et dépens.