Faits:
Faits:
A. Dans le courant de l'année 1994, A._, membre d'une société réunissant divers investisseurs, a fait la connaissance du fils d'un de ses associés, B._, notamment directeur et actionnaire unique de X._ SA. A fin 1994, A._ a confié à cette société une somme de l'ordre de 1'000'000 US$ qui, selon contrat de gestion des fonds du 27 octobre 1994, devait être placée par moitié dans des opérations de change sur les monnaies, et par moitié dans des opérations sur les matières premières. A._ était rendu attentif aux risques liés à ce type d'investissements. En mai 1995, la moitié de ses investissements était perdue et à fin octobre 1995, il ne subsistait plus qu'un reliquat de 50'000 US$.
En décembre 1994, A._ a acquis de B._ la moitié du capital-actions d'une société, composée de cinquante actions d'une valeur nominale de 1'000 fr. Dans ce même contexte, les parties ont porté le capital-actions à 550'000 fr. par l'émission et la libération de quatre cent cinquante actions de 1'000 fr. chacune, au porteur. La raison sociale a été changée en Y._ SA. Le 28 février 1995, cette dernière a acquis la moitié des droits et obligations d'une discothèque pour le montant de 500'000 fr., qui devait être payé au plus tard le 1er avril 1995. En juin 1995, Y._ SA a acheté le reste des parts de cet établissement pour le prix de 500'000 fr. Une nouvelle société, dont Y._ SA possédait l'intégralité du capital social, a été créée à cette époque pour exploiter la discothèque.
Le 26 mars 1995, A._ et B._ ont signé un accord rédigé par ce dernier. A._ avançait le prix d'achat de 500'000 fr. (pour la première moitié des droits de l'établissement public), à condition que B._ lui paie à la fin de chaque trimestre 6'250 fr., dès le 30 juin 1995. Y._ SA ne payait à ses actionnaires aucun dividende jusqu'au remboursement intégral des 500'000 fr. à A._. Pour tout remboursement par Y._ SA d'une partie de cette somme, le paiement de l'intérêt trimestriel de 6'250 fr. serait réduit proportionnellement, en fonction du montant subsistant après le remboursement.
Ultérieurement, les parties ont interprété de façon divergente cet accord: B._ soutenait que A._ avait avancé les 500'000 fr. à Y._ SA, alors que A._ affirmait qu'il avait prêté 250'000 fr. à la société et 250'000 fr. à B._ à titre d'avance de la part due par ce dernier.
Le 9 octobre 1995, une deuxième convention, établie par A._ sur le modèle de la précédente, rappelait le contenu de cette dernière et précisait que la deuxième moitié de l'établissement public avait été acquise au prix de 500'000 fr., payé grâce à une avance à Y._ SA de 350'000 fr. effectuée par A._ et à une autre de 150'000 fr. par B._. Celui-ci s'engageait à payer à A._ 8'750 fr. à la fin de chaque trimestre, dès le 31 décembre 1995. Les intérêts étaient calculés à 10% par an sur la somme de 350'000 fr., correspondant à la première avance de 250'000 fr. et à la seconde de 100'000 fr. faites par A._. Y._ SA s'engageait à ne payer aucun dividende tant que le montant initial de 500'000 fr. ne serait pas remboursé intégralement à ce dernier. Y._ SA s'engageait également à ne payer aucun dividende à ses actionnaires avant qu'une première tranche de 200'000 fr., sur les 350'000 fr. évoqués ci-dessus, soit entièrement payée à A._. Tout remboursement de Y._ SA à A._ sur le montant de 700'000 fr. (500'000 fr. du premier prêt et 200'000 fr. du second prêt) avait pour conséquence de faire porter l'intérêt de 10% sur le capital ainsi réduit.
Les parties ont aussi divergé sur l'interprétation de cette deuxième convention: B._ soutenait que A._ avait avancé les 350'000 fr. à Y._ SA, alors que celui-là affirmait que 100'000 fr. (sur les 350'000 fr.) constituaient un prêt à B._, lui permettant de faire face à ses obligations à l'égard de la société.
A la suite des pertes subies dans l'exploitation de X._ SA, B._ et A._ ont tenu une réunion en octobre 1995 avec le père de B._ et associé de A._ dans une autre société, et C._, administrateur de sociétés. Ces derniers ont mis sur pied un accord, dont le texte a été élaboré par C._, et que les parties ont signé le 2 novembre 1995. Son préambule rappelait l'investissement de 1'000'000 US$ de A._ dans X._ SA et la reconnaissance des pertes par B._, n'entraînant qu'un seul remboursement de 50'000 US$ environ. Pour compenser ces pertes, B._ s'engageait à vendre à A._, pour le prix forfaitaire de 1 fr., l'intégralité des actions qu'il détenait dans Y._ SA, conjointement avec son frère. Il s'engageait aussi à vendre à A._, pour 1 fr., l'intégralité des parts qu'il possédait dans un établissement public canadien. L'art. 3 de la convention disposait que "dès la signature des contrats de vente mentionnés aux articles 1 et 2, Monsieur A._ déclare ne plus avoir aucune prétention financière et légale de quelque type que ce soit, envers Monsieur B._, la société X._ SA, et ses employés". Il déclarait aussi n'entreprendre aucune procédure judiciaire ou extrajudiciaire à l'encontre de B._ ou de X._ SA en compensation des sommes perdues et reconnaissait que, par l'accord en question, il était dédommagé des pertes subies dans le cadre de la gestion, par cette société, des sommes investies auprès d'elle. Une prorogation de for en faveur du Tribunal de district de Neuchâtel était prévue.
Le 30 novembre 1995, B._ et son frère ont vendu leurs actions de Y._ SA à A._ pour la somme de 1 fr., ce dernier devenant seul propriétaire de son capital-actions. B._ et son frère ont également vendu aux mêmes conditions leurs parts dans l'établissement public canadien, de sorte que A._ en devenait propriétaire à 66%, le solde des parts demeurant propriété d'un autre ayant droit. Les cessions prévues dans ces conventions du 30 novembre 1995 ont été effectuées.
Les parties ont divergé sur le sens de l'accord du 2 novembre 1995. Pour A._ il s'agissait uniquement de l'indemniser des pertes subies dans le cadre de la gestion de X._ SA. Pour B._, l'accord était global et mettait fin à tous les litiges entre les parties, de sorte qu'il n'avait plus de dette envers A._ ou Y._ SA.
Entendu ultérieurement comme témoin par le Tribunal de première instance de Genève, le père de B._ a soutenu que les différentes cessions évoquées mettaient fin à l'ensemble des litiges entre son fils et son associé. C._ a déposé que l'accord du 2 novembre 1995 devait mettre fin à toutes les relations financières entre les parties, pour solde de tout compte, pour autant que A._ ne dépose pas de plainte pénale. Même si cela n'était pas spécifié par écrit, cette intention correspondait à l'esprit de l'accord. Il a ajouté que A._ voulait être intégralement remboursé du montant de 950'000 US$ perdu dans X._ SA et il estimait que les actifs cédés équivalaient approximativement à cette somme. La valeur de l'établissement canadien se serait même élevée à plusieurs millions de dollars canadiens.
A._ a prétendu avoir demandé en 1996 à B._ le paiement d'intérêts dus sur les prêts consentis. Plus tard, il avait confié à la fiduciaire dont C._ est administrateur le mandat de poursuivre B._ pour les sommes dues à ce titre, ce à quoi C._ n'avait pas donné suite. Plus exactement, il avait semblé à celui-ci que le cessionnaire ou représentant de A._ lui avait demandé de récupérer "encore des fonds". A._ allègue avoir mandaté par la suite un cabinet d'avocat pour recouvrer sa créance, mais que son mandataire lui a conseillé d'agir d'abord sur le plan pénal.
Le 26 mars 1998, A._ a déposé une plainte pénale auprès du Procureur général du canton de Neuchâtel contre B._, qui a été inculpé en février 2001, ainsi que C._, pour diverses infractions contre le patrimoine et faux dans les titres. La procédure était pendante devant le juge d'instruction de Neuchâtel en novembre 2004.
Le 3 septembre 2001, A._ a réclamé à B._ 382'506 fr. pour un détournement de compte de Y._ SA, 200'000 fr. pour un dommage relatif à l'acquisition d'un immeuble, 50'000 fr. pour une perte due à la présentation d'un faux bilan de la société dont la raison sociale avait été changée en Y._ SA, 350'000 fr. (250'000 fr. + 100'000 fr.) à titre de remboursement des prêts des 26 mars et 9 octobre 1995 et 213'750 fr. d'intérêts. B._ a rejeté ces prétentions.
Le 18 mars 2002, A._ a fait notifier à B._ un commandement de payer aux montants de 382'506 fr. avec intérêt à 5% dès le 1er juillet 1996, 200'000 fr. avec intérêt à 5% dès le 30 juin 1995, 50'000 fr. avec intérêt à 5% dès le 30 novembre 1994, 20'000 fr. avec intérêt à 5% dès le 30 décembre 1994 et 567'494 fr. Les titres des créances invoquées étaient repris du précédent courrier, sous réserve du remboursement de commissions touchées indûment dans le cadre de la gestion des biens de A._ dans X._ SA. Il est aussi notamment mentionné le remboursement d'un prêt de 350'000 fr., avec les intérêts le concernant. B._ a fait opposition.
Sur requête de A._, le Tribunal de première instance de Genève a prononcé la mainlevée provisoire à concurrence de 175'000 fr., les accords des 26 mars et 9 octobre 1995 valant titre de mainlevée pour les intérêts non prescrits.
Sur requête de A._, le Tribunal de première instance de Genève a prononcé la mainlevée provisoire à concurrence de 175'000 fr., les accords des 26 mars et 9 octobre 1995 valant titre de mainlevée pour les intérêts non prescrits.
B. Le 22 juillet 2002, B._ a intenté une action en libération de dette à l'encontre de A._, qui a conclu à son rejet et, reconventionnellement, à la condamnation de B._ à lui payer 411'250 fr. en remboursement des prêts des 26 mars et 9 octobre 1995, avec les accessoires.
Par jugement du 15 janvier 2004, le Tribunal de première instance du canton de Genève a admis la demande de B._ et débouté A._ de toutes ses conclusions. En bref, il est parvenu à la conclusion que A._ avait prêté les sommes de 250'000 fr., le 26 mars, et de 100'000 fr., le 9 octobre 1995, à B._ et non à Y._ SA. S'agissant du protocole d'accord du 2 novembre 1995, il avait bien pour objet de liquider l'ensemble des relations entre les parties et non pas uniquement celles qui avaient été nouées par A._ avec la société X._ SA. C'était par conséquent à bon droit que B._ soutenait que la somme réclamée par A._ n'était pas due.
Statuant sur appel de ce dernier par arrêt du 23 novembre 2004, la Cour de justice du canton de Genève a confirmé le jugement entrepris. En substance, elle a retenu que l'accord du 9 octobre 1995, notamment la clause figurant à l'art. II.1, à laquelle les parties n'attribuaient pas le même sens, et dont la portée n'était "pas claire", nécessitait de procéder à une interprétation selon le principe de la confiance, qui démontrait que les prêts de A._ avaient été consentis à Y._ SA et en aucun cas personnellement à B._. De plus, l'art. II.2 ss (recte: II.1 ss) de l'accord du 9 octobre 1995 imposait à B._ des obligations "tout à fait excessives" (soit le paiement de 10% d'intérêts sur 350'000 fr. "pendant une durée indéterminée, mais vraisemblablement très longue"), de sorte que les engagements du débiteur étaient nuls, parce que contraires aux moeurs. En conclusion, A._ ne pouvait déduire aucun droit de la convention du 9 octobre 1995 à l'égard de B._ et il n'était ainsi pas nécessaire de se pencher sur l'interprétation de la convention du 2 novembre 1995.
Statuant sur appel de ce dernier par arrêt du 23 novembre 2004, la Cour de justice du canton de Genève a confirmé le jugement entrepris. En substance, elle a retenu que l'accord du 9 octobre 1995, notamment la clause figurant à l'art. II.1, à laquelle les parties n'attribuaient pas le même sens, et dont la portée n'était "pas claire", nécessitait de procéder à une interprétation selon le principe de la confiance, qui démontrait que les prêts de A._ avaient été consentis à Y._ SA et en aucun cas personnellement à B._. De plus, l'art. II.2 ss (recte: II.1 ss) de l'accord du 9 octobre 1995 imposait à B._ des obligations "tout à fait excessives" (soit le paiement de 10% d'intérêts sur 350'000 fr. "pendant une durée indéterminée, mais vraisemblablement très longue"), de sorte que les engagements du débiteur étaient nuls, parce que contraires aux moeurs. En conclusion, A._ ne pouvait déduire aucun droit de la convention du 9 octobre 1995 à l'égard de B._ et il n'était ainsi pas nécessaire de se pencher sur l'interprétation de la convention du 2 novembre 1995.
C. Parallèlement à un recours en réforme, A._ (le recourant) interjette un recours de droit public au Tribunal fédéral contre l'arrêt du 23 novembre 2004, dont il demande l'annulation, avec suite de frais et dépens. Il invoque l'art. 9 Cst. pour se plaindre de la constatation arbitraire de faits pertinents par la cour cantonale, qui avait négligé divers documents et déclarations selon lesquels une partie des montants versés, soit 350'000 fr., avaient été prêtés directement à B._. Se fondant ensuite sur les art. 29 al. 2 et 29 al. 1 Cst., respectivement 6 par. 1 CEDH, il se plaint de la violation de son droit d'être entendu et de celui à un procès équitable, en ce que la cour cantonale avait fondé sa décision sur un argument imprévisible, jamais abordé, parce que l'intimé n'avait jamais invoqué la nullité de la convention du 9 octobre 1995.
B._ (l'intimé) conclut au rejet du recours dans la mesure où il est recevable, avec suite de frais et dépens. Pour sa part, la cour cantonale se réfère aux considérants de son arrêt.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Conformément à la règle de l'art. 57 al. 5 OJ, il convient en l'espèce de traiter le recours de droit public avant le recours en réforme.
1. Conformément à la règle de l'art. 57 al. 5 OJ, il convient en l'espèce de traiter le recours de droit public avant le recours en réforme.
2. 2.1 Exercé en temps utile compte tenu des féries (art. 34 al. 1 let. c et 89 al. 1 OJ), dans la forme prévue par la loi (art. 90 al. 1 OJ), pour violation de droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ), contre une décision finale prise en dernière instance cantonale (art. 86 al. 1 OJ), par le recourant qui est personnellement touché par la décision attaquée - qui le déboute de ses conclusions condamnatoires -, de sorte que la qualité pour recourir doit lui être reconnue (art. 88 OJ), le recours de droit public est en principe recevable.
2.2 Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 1.3 p. 262; <ref-ruling> consid. 4 p. 629).
2.2 Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 1.3 p. 262; <ref-ruling> consid. 4 p. 629).
3. Invoquant l'art. 9 Cst., le recourant reproche à la cour cantonale une constatation et une appréciation erronée des faits de la cause, constitutives d'arbitraire. En substance, il considère que celle-ci n'a pas indiqué sur quoi elle se fondait pour dire que la volonté réelle des parties ne pouvait être établie, et qu'aucun élément du dossier autorisait de voir dans les versements mentionnés dans la convention du 9 octobre 1995 exclusivement des prêts consentis à Y._ SA. De plus, il était arbitraire de retenir qu'il n'avait pas réclamé le paiement des intérêts conventionnels découlant de l'accord du 9 octobre 1995, alors qu'un témoin avait déposé qu'il avait été mandaté en 1996 "pour récupérer des fonds".
3.1 Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Il ne suffit pas que sa motivation soit insoutenable; encore faut-il que la décision apparaisse arbitraire dans son résultat. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire même préférable (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.1 p. 275).
En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2a p. 41).
3.2 Concernant la détermination de l'emprunteur d'une partie des fonds versés par le recourant, soit Y._ SA ou B._, la cour a procédé directement à une interprétation normative du contrat du 9 octobre 1995, vu la divergence des parties sur le sens de cet acte. L'argumentation à ce sujet, au demeurant abondamment développée dans le recours en réforme déposé parallèlement, se rapporte à l'application de l'<ref-law> et à l'interprétation de cette règle, soit un grief de violation du droit fédéral irrecevable dans le cadre du présent recours de droit public (art. 43 al. 1 et 84 al. 2 OJ).
Quant à l'attitude du recourant à l'égard de l'intimé, en ce qui concerne le paiement des intérêts stipulés dans la convention du 9 octobre 1995, elle est explicitée essentiellement par les déclarations de celui-là, et ne trouve appui que dans une déposition du témoin C._, administrateur de Y._ SA et rédacteur de la convention du 2 novembre 1995. Ce dernier, dont la déclaration doit être examinée avec prudence dans la mesure où il est également coinculpé de l'intimé dans la procédure pénale neuchâteloise, a indiqué que le cessionnaire ou représentant du recourant lui avait demandé de récupérer "encore des fonds", ce qu'il avait refusé en considération du protocole du 2 novembre 1995. En retenant que cette déposition ne faisait pas de mention spécifique aux prêts générant les intérêts litigieux non réclamés, la cour cantonale a procédé à une appréciation des faits soutenable, de sorte qu'elle ne s'avère pas arbitraire. Le moyen doit en conséquence être rejeté.
Quant à l'attitude du recourant à l'égard de l'intimé, en ce qui concerne le paiement des intérêts stipulés dans la convention du 9 octobre 1995, elle est explicitée essentiellement par les déclarations de celui-là, et ne trouve appui que dans une déposition du témoin C._, administrateur de Y._ SA et rédacteur de la convention du 2 novembre 1995. Ce dernier, dont la déclaration doit être examinée avec prudence dans la mesure où il est également coinculpé de l'intimé dans la procédure pénale neuchâteloise, a indiqué que le cessionnaire ou représentant du recourant lui avait demandé de récupérer "encore des fonds", ce qu'il avait refusé en considération du protocole du 2 novembre 1995. En retenant que cette déposition ne faisait pas de mention spécifique aux prêts générant les intérêts litigieux non réclamés, la cour cantonale a procédé à une appréciation des faits soutenable, de sorte qu'elle ne s'avère pas arbitraire. Le moyen doit en conséquence être rejeté.
4. Le recourant reproche ensuite à la cour cantonale la violation de son droit d'être entendu, en ce qu'elle a proclamé la nullité des art. II.2 ss (recte: II.1 ss) de l'accord du 9 octobre 1995 en citant, dans une seule phrase, les <ref-law> et 20 CO d'une manière totalement imprévisible, ces dispositions n'ayant jamais été invoquées avant et pendant la procédure divisant les parties.
4.1 Le recourant se fonde sur les garanties offertes par la Constitution fédérale, sans se prévaloir de la violation d'une règle de droit cantonal de procédure qui lui offrirait une protection supérieure. C'est donc exclusivement à la lumière de l'art. 29 al. 2 Cst. que son grief sera examiné (<ref-ruling> consid. 2a et les arrêts cités).
Tel qu'il est garanti par cette norme, le droit d'être entendu comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique; il ne porte que sur les éléments de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.2 p. 504 et les arrêts cités). Si cette règle s'applique sans restriction pour les questions de faits, il est admis que, pour ce qui est de la qualification juridique de ceux-ci, elle vaut dans l'hypothèse où une partie change inopinément son point de vue juridique ou lorsque l'autorité a l'intention de s'appuyer sur des arguments juridiques inconnus des parties et dont celles-ci ne pouvaient prévoir l'adoption (<ref-ruling> consid. 3c p. 52; cf. également <ref-ruling> consid. 5 p. 38 s., en matière d'arbitrage international; <ref-ruling> consid. 2.2 p. 505; <ref-ruling> consid. 2c/aa et 2d/bb).
4.2 Dans le cas particulier, la citation des <ref-law> et 20 CO et la conclusion qu'en tire la cour cantonale étaient totalement inédites, de sorte qu'elle aurait dû inviter les parties à se prononcer sur son intention d'examiner la validité des art. II.1 ss du contrat du 9 octobre 1995 au regard de ces deux normes, si elle voulait échapper au grief de violation du droit d'être entendu, que le Tribunal fédéral examine librement dans le cadre du recours de droit public (<ref-ruling> consid. 3a p. 259 et les arrêts cités). Toutefois, comme la cause peut être jugée sur le recours en réforme sans référence aux <ref-law> et 20 CO, le problème de la violation du droit d'être entendu ne se pose plus, puisque l'application de ces dispositions ne constitue pas un élément pertinent pour la solution du litige (cf. consid. 4.1). Le recours de droit public devient donc sans objet sur ce point.
4.2 Dans le cas particulier, la citation des <ref-law> et 20 CO et la conclusion qu'en tire la cour cantonale étaient totalement inédites, de sorte qu'elle aurait dû inviter les parties à se prononcer sur son intention d'examiner la validité des art. II.1 ss du contrat du 9 octobre 1995 au regard de ces deux normes, si elle voulait échapper au grief de violation du droit d'être entendu, que le Tribunal fédéral examine librement dans le cadre du recours de droit public (<ref-ruling> consid. 3a p. 259 et les arrêts cités). Toutefois, comme la cause peut être jugée sur le recours en réforme sans référence aux <ref-law> et 20 CO, le problème de la violation du droit d'être entendu ne se pose plus, puisque l'application de ces dispositions ne constitue pas un élément pertinent pour la solution du litige (cf. consid. 4.1). Le recours de droit public devient donc sans objet sur ce point.
5. Il résulte des considérants qui précèdent que le recours de droit public doit être rejeté dans la mesure où il est recevable et n'est pas devenu sans objet.
5. Il résulte des considérants qui précèdent que le recours de droit public doit être rejeté dans la mesure où il est recevable et n'est pas devenu sans objet.
6. Compte tenu de l'issue du litige, les frais et dépens seront mis à la charge du recourant, qui succombe (art. 156 al. 1 et 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable et n'est pas devenu sans objet.
1. Le recours est rejeté dans la mesure où il est recevable et n'est pas devenu sans objet.
2. Un émolument judiciaire de 8'500 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 8'500 fr. est mis à la charge du recourant.
3. Le recourant versera à l'intimé une indemnité de 9'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 24 juin 2005
Au nom de la Ire Cour civile
du Tribunal fédéral suisse
Le président: La greffière: