Faits: Faits: A. A.a En 1996, A._, qui cherchait une maison à rénover, a contacté B._, membre et représentant d'une hoirie propriétaire d'un immeuble, à Cully. Il lui a proposé d'entreprendre et de diriger les travaux de rénovation dudit immeuble. Les parties sont entrées en discussion. Le 25 mai 1996, A._ a établi une estimation finale du coût du projet, qui s'élevait à 106 497 fr. pour les fournitures et à 92 840 fr. pour le travail. Par contrat de bail à loyer non daté, B._, représentant l'hoirie, a loué à A._ un appartement d'environ 200 m2 situé dans l'immeuble en cause. Débutant le 1er janvier 1997 pour se terminer le 1er janvier 2013, le contrat se renouvelait ensuite aux mêmes conditions d'année en année, sauf résiliation signifiée au moins trois mois à l'avance par l'une ou l'autre des parties. Les dispositions complémentaires du bail renvoyaient à un contrat établi à Cully le 20 août 1996. Cet accord prévoyait notamment que le coût global des travaux serait déduit de façon compensatoire sur le loyer. Ce dernier était fixé, après compensation, à 1000 fr. par mois, charges non comprises. Après la signature de ce contrat, B._ y a apposé, à la main, les indications suivantes: «loyer 2000 fr. / Charges non comprises 1000 fr. + 1000 fr. main d'oeuvre». A.b L'entreprise visant à rénover l'immeuble a connu des difficultés, subi des retards et altéré les rapports entre les parties. Dans le courant de l'année 1997, B._, inquiet de l'état peu avancé des travaux, a fait appel à l'architecte C._. Selon le rapport de cet expert, la rénovation entreprise relève «d'un gag coûteux qui fleure bon l'arnaque.» L'architecte ajoute que «des faux niveaux dangereux, des travaux de peinture ou plutôt de barbouille, des fautes constructives graves, le non-respect des règles concernant la sécurité et la salubrité des constructions prouvent à l'évidence que M. A._ ignore tout du métier qu'il prétend pratiquer». Hormis le grand appartement occupé par A._, l'immeuble comprend deux autres logements, qui ont été loués dès fin octobre 1997. Le 3 mai 1998, B._, constatant la stagnation des travaux, a imparti à A._ plusieurs délais, échéant au plus tard le 10 juin 1998. L'entrepreneur a alors adressé à B._ une nouvelle liste de travaux non compris dans l'estimation du 25 mai 1996. Le 29 mai 1998, le représentant de l'hoirie a enjoint A._ de procéder aux travaux de maçonnerie de l'encadrement de la fenêtre des combles, afin que d'autres travaux, en attente depuis deux ans, puissent être terminés avant le 30 juin 1998. D'autres courriers attestent de difficultés dans la poursuite du chantier. Le 6 août 1998, le bailleur a informé son locataire que le loyer serait de 2500 fr. dès septembre 1998, tant que les travaux ne seraient pas finis conformément au contrat d'août 1996. Le 14 septembre 1998, B._ a pris acte du fait que A._ ne faisait plus rien dans l'immeuble et qu'il ne respectait ni sa parole ni le contrat; il considérait le mutisme de son partenaire contractuel comme l'acceptation du nouveau loyer de 2500 fr. à partir de septembre 1998. A._ a refusé de donner suite à ces prétentions. Le 5 mai 1999, B._ a invité A._ à la fête de la fin des travaux, à la mi-juin 1999. Ce dernier et sa compagne ont contesté la fixation d'une échéance à cette date. En juin 1999, A._ a adressé à B._ un nouveau devis pour des travaux non compris dans l'estimation du 25 mai 1996, qui concernaient la décontamination des combles de la présence d'amiante. B._ a signé ce devis le 1er septembre 1999, en indiquant à la main «fin des trav. combles 15.10.99». Le 31 août 1999, la municipalité de Cully a imparti à B._ un dernier délai au 31 octobre 1999 pour terminer tous les travaux objets du permis de construire. A._ a estimé que ce délai était trop court. A la mi-septembre 1999, B._ a informé A._ qu'il avait confié à E._ la direction des travaux de second oeuvre des combles, à remettre au 31 octobre 1999. L'entrepreneur a accepté le principe de confier à des tiers la direction et l'exécution des travaux nécessaires à l'obtention du permis d'habiter les combles. Il s'est toutefois réservé la direction des travaux d'évacuation du mobilier entreposé, l'isolation des sols, le nivellement et la pose du sous-plancher, la fourniture et la pose d'une fenêtre et d'un verre feuilleté. Du 18 septembre au 16 novembre 1999, les parties ont poursuivi leur échange de correspondance et une nouvelle controverse concernant une commande a surgi. A.c Par lettre recommandée du 22 novembre 1999 et formule officielle ad hoc, B._ a résilié le bail de A._ pour justes motifs avec effet au 1er janvier 2000. La compagne du locataire s'est vu notifier les mêmes documents. Deux jours plus tard, A._ et sa compagne ont été informés par courrier recommandé que B._ résiliait le contrat d'entreprise avec effet immédiat. Deux jours plus tard, A._ et sa compagne ont été informés par courrier recommandé que B._ résiliait le contrat d'entreprise avec effet immédiat. B. Le 20 décembre 1999, A._ a saisi la Commission de conciliation en matière de baux à loyer du district de Lavaux et contesté le congé. Par courrier du 21 décembre 1999 adressé à la même autorité, il s'est également opposé à la résiliation du contrat d'entreprise. Le 9 février 2000, la Commission a considéré que la résiliation du bail du 22 novembre 1999 était nulle. Par demande du 7 mars 2000, B._ a saisi le Tribunal des baux du canton de Vaud. Il a conclu à la confirmation de la résiliation du bail et du contrat d'entreprise, ainsi qu'à la fixation d'un délai au locataire pour quitter les lieux. Il demandait également que A._ soit reconnu débiteur d'une somme de 100 000 fr. en sa faveur. Au cours de la procédure, l'expert D._ a été chargé d'apprécier les travaux exécutés et ceux encore à réaliser. Par jugement du 20 mars 2002, le Tribunal des baux a confirmé la validité de la résiliation avec effet au 1er avril 2000; il a accordé au défendeur une unique prolongation de bail jusqu'au 1er août 2003. A._ a recouru contre cette décision. Par arrêt du 12 février 2003, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours et confirmé le jugement attaqué. A._ a recouru contre cette décision. Par arrêt du 12 février 2003, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours et confirmé le jugement attaqué. C. A._ interjette un recours en réforme au Tribunal fédéral. Il conclut à l'annulation du congé signifié par B._ et, à titre subsidiaire, à la prolongation du bail pour quatre ans à partir de l'arrêt du Tribunal fédéral, avec possibilité pour le locataire de se libérer en tout temps avec un préavis d'un mois pour la fin d'un mois. Encore plus subsidiairement, le défendeur demande l'annulation de l'arrêt cantonal et le renvoi de la cause à la Chambre des recours pour nouvelle décision dans le sens des considérants. Par décision du 9 septembre 2003, la cour de céans a rejeté la requête d'assistance judiciaire présentée par A._. B._ n'a pas été invité à se déterminer sur le recours.