Faits:
Faits:
A. A._, propriétaire d'une villa sise à B._, est lié à X._ par un contrat de bail conclu le 23 mai 1980, tacitement renouvelable d'année en année. Le loyer s'élève, depuis 1990, à 5'500 fr. par mois. En mars 2000, le locataire a adressé à la régie en charge de l'immeuble une liste des travaux qu'il estimait nécessaires d'entreprendre dans la villa. Le 18 octobre 2000, la gérance a répondu que le propriétaire devait faire face à des frais importants et ne pouvait ainsi effectuer les travaux souhaités. Elle a, le 6 décembre 2000, proposé au locataire de bloquer le loyer et de répartir entre les parties les frais relatifs à certains travaux qui seraient entrepris. A la demande du locataire, les parties se sont réunies le 30 janvier 2001 et le 5 février 2001, le locataire a fait parvenir à la régie une liste des travaux complétée, faisant état de travaux qu'il avait déjà entrepris à ses frais.
Le 11 décembre 2001, le bailleur a résilié le bail pour la prochaine échéance, soit le 30 juin 2002. Malgré la demande du locataire, le bailleur n'a pas motivé le congé.
Le 11 décembre 2001, le bailleur a résilié le bail pour la prochaine échéance, soit le 30 juin 2002. Malgré la demande du locataire, le bailleur n'a pas motivé le congé.
B. Le locataire a saisi, le 10 janvier 2002, la Commission de conciliation en matière de baux à loyers du district de Nyon, concluant à l'annulation du congé et, subsidiairement, à ce qu'il lui soit accordé une prolongation maximale de quatre ans. A._ a expliqué avoir un besoin propre de sa villa, évoquant ses problèmes de santé et ceux de son épouse, la volonté de se rapprocher des membres de sa famille et de s'installer en un lieu permettant la mise en place d'un système d'assistance à domicile et plus adapté que son actuel logement à L._. Par décision du 29 mai 2002, la Commission de conciliation a confirmé la résiliation et accordé une unique prolongation de trois mois, soit jusqu'au 30 septembre 2002.
Statuant sur requête du locataire, le Tribunal des baux a étendu la prolongation unique au 31 décembre 2003.
Le 25 février 2004, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par X._.
Le 25 février 2004, la Chambre des recours du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par X._.
C. Ce dernier exerce un recours en réforme contre cet arrêt. Il conclut principalement à ce que celui-ci soit réformé en ce sens que la résiliation soit annulée et, subsidiairement, qu'une prolongation soit accordée jusqu'au 30 juin 2006. A._ propose le rejet du recours.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 129 II 225 consid. 1 p. 227; 128 II 56 consid. 1 p. 58).
1.1 Interjeté par la partie qui a succombé dans ses conclusions tendant à faire constater la nullité de la résiliation du bail et subsidiairement à obtenir la durée maximale de la prolongation de celui-ci, et dirigé contre un jugement final rendu en dernière instance cantonale par un tribunal supérieur (art. 48 al. 1 OJ) sur une contestation civile dont la valeur litigieuse atteint le seuil de 8'000 fr. (art. 46 OJ; cf. ATF 119 II 147 consid. 1 p. 148; 113 II 406 consid. 1 p. 407), le recours en réforme, interjeté en temps utile (art. 54 al. 1 OJ) et dans les formes requises (art. 55 OJ), est en principe recevable.
1.2 Saisi d'un recours en réforme, le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il n'y ait lieu à rectification de constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il ne faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents, régulièrement allégués (art. 64 OJ). Dans la mesure où un recourant présente un état de fait qui s'écarte de celui contenu dans la décision attaquée sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'est pas possible d'en tenir compte. Il ne peut être présenté de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ; ATF 130 III 140 consid. 1.4 et les références citées).
1.3 Aux termes de l'art. 55 al. 1 let. c OJ, l'acte de recours doit indiquer les règles de droit fédéral violées par la décision attaquée et en quoi consiste cette violation. Il est indispensable que le recourant discute effectivement les motifs de la décision entreprise, qu'il précise quelles dispositions auraient été violées, qu'il indique pourquoi elles auraient été méconnues. Des considérations générales, sans lien manifeste, ni même perceptible avec des motifs déterminés de la décision entreprise, ne répondent pas à ces exigences (ATF 130 III 28 consid. 2.2 p. et les références citées).
1.3 Aux termes de l'art. 55 al. 1 let. c OJ, l'acte de recours doit indiquer les règles de droit fédéral violées par la décision attaquée et en quoi consiste cette violation. Il est indispensable que le recourant discute effectivement les motifs de la décision entreprise, qu'il précise quelles dispositions auraient été violées, qu'il indique pourquoi elles auraient été méconnues. Des considérations générales, sans lien manifeste, ni même perceptible avec des motifs déterminés de la décision entreprise, ne répondent pas à ces exigences (ATF 130 III 28 consid. 2.2 p. et les références citées).
2. Le demandeur reproche à l'autorité cantonale d'avoir violé l'art. 271a al. 1 let. a et b CO. La résiliation serait intervenue en raison de sa demande tendant à ce que des travaux d'entretien soient effectués. En refusant de motiver le congé, le bailleur aurait pris le risque, qu'il devrait supporter, que celui-ci soit interprété à la lumière de cette demande et soit ainsi considéré comme un congé de représailles. Le besoin propre allégué par le défendeur ne serait par ailleurs pas établi.
2.1 De manière générale, un congé est annulable lorsqu'il contrevient aux règles de la bonne foi (art. 271 al. 1 CO). Tel est le cas quand il ne répond à aucun intérêt objectif, sérieux et digne de protection (arrêt 4C.305/1995 du 15 février 1996 consid. 4a; ATF 120 II 31 consid. 4a p. 32). Selon l'art. 271a al. 1 let. a CO, une résiliation émanant du bailleur est annulable lorsqu'elle est donnée parce que le locataire fait valoir de bonne foi des prétentions découlant du bail. Le motif pour lequel un congé est donné relève des constatations de fait (ATF 115 II 484 consid. 2b p. 486; 113 II 460 consid. 3b p. 462).
L'auteur du congé n'a l'obligation de le motiver que si l'autre partie le demande (art. 271 al. 2 CO). Une résiliation qui demeure non motivée malgré la requête du destinataire n'est pas nécessairement abusive; en effet, s'il avait voulu qu'il en soit ainsi, le législateur aurait posé une présomption dans ce sens. L'absence de motivation ne saurait cependant rester sans conséquence, au risque de priver l'art. 271 al. 2 CO de toute portée. Ainsi, celui qui donne un motif de congé doit, en cas de litige, en démontrer l'exactitude. S'il tarde à motiver le congé, il doit justifier ce retard; sinon, il court le risque que la résiliation soit considérée comme abusive. Même si le fardeau de la preuve d'une résiliation contraire à la bonne foi incombe à celui qui s'en prévaut, l'auteur du congé doit contribuer à la manifestation de la vérité, en donnant les raisons de cette mesure et en les rendant au moins vraisemblables (arrêt 4C.305/1995 du 15 février 1996, consid. 4a).
L'auteur du congé n'a l'obligation de le motiver que si l'autre partie le demande (art. 271 al. 2 CO). Une résiliation qui demeure non motivée malgré la requête du destinataire n'est pas nécessairement abusive; en effet, s'il avait voulu qu'il en soit ainsi, le législateur aurait posé une présomption dans ce sens. L'absence de motivation ne saurait cependant rester sans conséquence, au risque de priver l'art. 271 al. 2 CO de toute portée. Ainsi, celui qui donne un motif de congé doit, en cas de litige, en démontrer l'exactitude. S'il tarde à motiver le congé, il doit justifier ce retard; sinon, il court le risque que la résiliation soit considérée comme abusive. Même si le fardeau de la preuve d'une résiliation contraire à la bonne foi incombe à celui qui s'en prévaut, l'auteur du congé doit contribuer à la manifestation de la vérité, en donnant les raisons de cette mesure et en les rendant au moins vraisemblables (arrêt 4C.305/1995 du 15 février 1996, consid. 4a).
2.2 2.2.1 Le Tribunal des baux, aux constatations duquel la Chambre des recours se réfère, a retenu que le bailleur n'était pas opposé au principe d'entreprendre des travaux. Il aurait donné le congé parce qu'il entendait, en raison de ses problèmes de santé et de ceux de son épouse, s'installer dans la villa, voisine de celle de son fils. Comme on l'a indiqué plus haut, le motif pour lequel le bail a été résilié relève du fait, qui - sous réserve des exceptions prévues aux art. 63 al. 2 et 64 OJ, non invoquées en l'espèce, - ne peut être revu dans la procédure du recours en réforme. Saisi d'un tel recours, le Tribunal fédéral peut uniquement examiner si les conséquences juridiques que l'autorité cantonale a tirées de cette constatation sont conformes au droit fédéral. En tant que le demandeur conteste les constatations relatives au motif du congé, son grief est donc irrecevable (consid. 1.2).
2.2.2 L'arrêt entrepris retient de manière à lier la Cour de céans (art. 63 al. 2 OJ) que le bailleur n'a pas exposé les motifs de la résiliation avant d'être interrogé par la Commission de conciliation, car il ne souhaitait pas faire état de ses problèmes de santé et de ceux de son épouse, qui l'avaient décidé à se rapprocher de son fils en s'installant dans la villa à B._. Comme le considère à juste titre l'autorité cantonale, cette réticence, qui explique le retard dans la communication des motifs de la résiliation, ne dénote nullement un comportement contraire aux règles de la bonne foi. L'on ne saurait au demeurant pas non plus dire que le besoin propre établi par le bailleur ne répond à aucun intérêt légitime. Partant, c'est à bon droit que l'autorité cantonale a estimé que la résiliation n'était pas abusive.
2.2.2 L'arrêt entrepris retient de manière à lier la Cour de céans (art. 63 al. 2 OJ) que le bailleur n'a pas exposé les motifs de la résiliation avant d'être interrogé par la Commission de conciliation, car il ne souhaitait pas faire état de ses problèmes de santé et de ceux de son épouse, qui l'avaient décidé à se rapprocher de son fils en s'installant dans la villa à B._. Comme le considère à juste titre l'autorité cantonale, cette réticence, qui explique le retard dans la communication des motifs de la résiliation, ne dénote nullement un comportement contraire aux règles de la bonne foi. L'on ne saurait au demeurant pas non plus dire que le besoin propre établi par le bailleur ne répond à aucun intérêt légitime. Partant, c'est à bon droit que l'autorité cantonale a estimé que la résiliation n'était pas abusive.
3. Le locataire invoque ensuite la violation de l'art. 272 al. 1 CO. Il soutient que compte tenu de la durée du bail (22 ans), de son âge (64 ans), de ses habitudes professionnelles (il travaillerait le matin dans la villa), de la situation tendue du marché immobilier dans l'Ouest vaudois, de ses recherches infructueuses de trouver un nouveau logement et des prolongations accordées dans d'autres cas, il se justifierait de prolonger le bail de quatre ans.
3.1 L'art. 272b al. 1 CO prévoit que la durée de la prolongation pour des baux d'habitation est de quatre ans au maximum, limite dans laquelle une ou deux prolongations peuvent être accordées. Contrairement à ce que semble soutenir le demandeur, la durée de la prolongation ne peut être déterminée schématiquement. Dans chaque cas, le juge doit procéder à une pesée des intérêts en jeu en se fondant sur les critères énumérés à l'art. 272 al. 1 et 2 CO (cf. arrêt 4C.139/2000 du 10 juillet 2000, consid. 2). Il dispose, lorsqu'il détermine la durée de la prolongation, d'un large pouvoir d'appréciation. Le droit fédéral n'est violé que s'il sort des limites fixées par la loi, s'il se laisse guider par des considérations étrangères à la disposition applicable ou s'il tire des déductions à ce point injustifiables que l'on doive parler d'un abus du pouvoir d'appréciation (ATF 125 III 226 consid. 4b p. 230, 118 II 50 consid. 40 p. 55).
3.2 L'autorité cantonale a estimé que la prolongation d'un an et demi accordée par les premiers juges tenait suffisamment compte de tous les éléments en présence, à savoir la durée du bail, la difficulté de retrouver un logement comparable, le peu de recherches effectuées par le demandeur, sa situation financière confortable, l'âge du défendeur (84 ans), sa nécessité de se rapprocher de sa famille, le fait que la villa fasse partie de son patrimoine familial et qu'il dispose d'un appartement de six ou sept pièces à L._.
3.3 Le demandeur ne s'en prend absolument pas à cette motivation et ne démontre pas en quoi l'autorité cantonale aurait violé l'art. 272 CO. Il est donc douteux que son grief satisfasse aux conditions minimales de motivation prescrites par l'art. 55 al. 1 let. c OJ (cf. consid. 1.3). Cela étant, la manière de procéder de l'autorité cantonale n'est pas critiquable. Il n'apparaît pas que celle-ci aurait omis de tenir compte d'éléments importants ressortant du dossier ou aurait pris en considération des éléments, qui ne sont pas pertinents. Compte tenu des intérêts en présence, l'autorité cantonale n'a pas non plus abusé de son large pouvoir d'appréciation en confirmant la prolongation du bail d'une année et demie.
3.3 Le demandeur ne s'en prend absolument pas à cette motivation et ne démontre pas en quoi l'autorité cantonale aurait violé l'art. 272 CO. Il est donc douteux que son grief satisfasse aux conditions minimales de motivation prescrites par l'art. 55 al. 1 let. c OJ (cf. consid. 1.3). Cela étant, la manière de procéder de l'autorité cantonale n'est pas critiquable. Il n'apparaît pas que celle-ci aurait omis de tenir compte d'éléments importants ressortant du dossier ou aurait pris en considération des éléments, qui ne sont pas pertinents. Compte tenu des intérêts en présence, l'autorité cantonale n'a pas non plus abusé de son large pouvoir d'appréciation en confirmant la prolongation du bail d'une année et demie.
4. Le recours doit donc être rejeté dans la mesure où il est recevable, aux frais de son auteur (art. 156 al. 1 OJ), qui versera une indemnité de dépens au défendeur (art. 159 al. 1 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 4'500 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 4'500 fr. est mis à la charge du recourant.
3. Le recourant versera à l'intimé une indemnité de 5'500 fr. à titre de dépens.
3. Le recourant versera à l'intimé une indemnité de 5'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 août 2004
Au nom de la Ire Cour civile
du Tribunal fédéral suisse
Le président: La greffière: