Faits:
A. Par contrat de bail du 25 novembre 2000, A._ et B._ ont remis en location à X._ (ci-après: le locataire) un appartement de deux pièces au 1er étage de l'immeuble sis rue ..., à Renens. Conclu pour durer initialement du 1er décembre 2000 au 1er janvier 2002, le bail était par la suite renouvelable tacitement d'année en année, sauf résiliation donnée trois mois avant l'échéance. Le loyer mensuel a été fixé à 610 fr., charges non comprises.
Le 14 novembre 2007, Z._ et Y._ (ci-après: les bailleurs) ont acquis par succession l'immeuble dans lequel se situe l'appartement en cause.
Par formule officielle du 23 septembre 2008, le bail du locataire a été résilié pour le 31 décembre 2008. Les bailleurs ont motivé le congé en raison de "lourds travaux de rénovation".
B. Saisie par le locataire, la Commission de conciliation en matière de baux à loyer du district de l'Ouest lausannois a, par décision du 11 mars 2009, confirmé la validité du congé et accordé au locataire une prolongation de bail de quatre ans (soit jusqu'au 31 décembre 2012).
Le locataire a saisi le Tribunal des baux du canton de Vaud qui a, par jugement du 29 juillet 2009, confirmé la validité de la résiliation et accordé au locataire une unique prolongation du contrat de bail de trois ans.
Statuant le 5 mai 2010, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours formé par le locataire.
C. Le locataire exerce un recours en matière civile contre l'arrêt cantonal. Invoquant une violation de l'art. 9 Cst. et des art. 8 CC et 271 CO, il conclut principalement à la réforme de l'arrêt de la Chambre des recours et à l'annulation du congé qui lui a été notifié. Subsidiairement, invoquant une transgression des art. 4 CC, 272 et 272b CO, il conclut à la réforme de l'arrêt entrepris en ce sens qu'une prolongation du bail de quatre ans lui soit accordée. Plus subsidiairement, tirant moyen de la violation de diverses règles de procédure cantonale, il conclut à l'admission du recours et au renvoi de la cause à l'autorité cantonale.
Les intimés concluent, sous suite de frais et dépens, au rejet du recours.

Considérant en droit:
1. 1.1 La valeur litigieuse est déterminée, en cas de recours contre une décision finale, par les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF). En l'espèce, la conclusion principale prise devant la Chambre des recours portait sur l'annulation du congé. En raison du délai de protection prévu par l'art. 271a al. 1 let. e CO, la valeur litigieuse, en cas de contestation d'un congé, s'élève au moins à trois ans de loyer (arrêt 4C.155/2000 du 30 août 2000 consid. 1a publié in SJ 2001 I p. 17; <ref-ruling> consid. 1 p. 149; <ref-ruling> consid. 1 p. 386). Il en résulte que la valeur litigieuse minimale de 15'000 fr. requise en matière de droit du bail (art. 74 al. 1 let. a LTF) est ici atteinte.
1.2 Interjeté par la partie qui a succombé dans ses conclusions en annulation du congé (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. b, 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.3 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1. p. 153) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Il incombe à la partie recourante, qui entend s'écarter des constatations de l'autorité précédente, d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 p. 287 s. et consid. 6.2 p. 288).
Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 La cour cantonale retient que les intimés ont résilié le bail du recourant pour procéder à de lourds travaux de rénovation dans son appartement, soit la réfection complète des sols et des murs, ainsi que le remplacement de l'agencement de la cuisine et des appareils sanitaires. Elle a reconnu la volonté réelle des bailleurs d'entreprendre ces travaux, a considéré ceux-ci comme nécessaires et observé que la présence du locataire dans l'appartement durant le chantier, bien qu'envisageable, compliquerait sérieusement la conduite des travaux, entraînant des difficultés techniques et organisationnelles et, partant, un retard et un surcoût du chantier.
Dans sa motivation, le recourant ne distingue pas toujours clairement le moyen tiré de l'arbitraire dans l'établissement des faits et l'appréciation des preuves (art. 9 Cst.) et les griefs de violation de l'art. 8 CC et de l'art. 271 CO.
Le motif d'un congé relève de la constatation des faits (<ref-ruling> consid. 2 p. 192; <ref-ruling> consid. 2b p. 486). Si la partie recourante entend s'écarter des faits établis par l'autorité cantonale, il lui incombe d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées (cf. supra consid. 1.4).
Dans cette perspective, à bien lire l'argumentation du recourant, on comprend qu'il ne conteste pas que les intimés ont prévu de rénover complètement les appartements situés dans l'immeuble dont ils sont propriétaires. Il ne tente pas non plus de remettre en question l'ampleur des travaux. Il conteste par contre le motif de la résiliation (procéder à de lourds travaux de rénovation) en tant qu'il concerne son appartement; il soutient en effet qu'il était arbitraire (art. 9 Cst.) de considérer, sur la base des éléments de preuve à disposition, que les travaux qui le concernent directement avaient dépassé le stade du projet et présentaient une réalité tangible. Il observe qu'à la date du congé, les intimés n'ont fourni aucun planning, aucun contrat d'entreprise ou d'architecte permettant de mesurer le degré de concrétisation du projet de travaux dans son appartement. Enfin, il soutient que le document bancaire produit par les intimés, daté du 13 juillet 2009, ayant pour objet le "Financement immeuble sis Rue .... 1020 Renens", ne concerne pas explicitement la rénovation de son appartement.
2.2 Selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité; pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 1.3 p. 4 s.; <ref-ruling> consid. 5.4 p. 148, 263 consid. 3.1 p. 265 s.).
En matière d'appréciation des preuves et d'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1). Le grief tiré de l'appréciation arbitraire des preuves ne peut être pris en considération que si son admission est de nature à modifier le sort du litige, ce qui n'est pas le cas lorsqu'il vise une constatation de fait n'ayant aucune incidence sur l'application du droit (<ref-ruling> consid. 2.1 p. 9; arrêt 4P.305/2001 du 18 mars 2002 consid. 2a).
2.3 En l'espèce, il ressort des constatations cantonales que les intimés ont acquis en 1997, à la suite d'une succession, l'immeuble sis rue ... à Renens, lequel, datant des années 1900, n'a pas été régulièrement entretenu; ils ont communiqué au recourant, le 23 septembre 2008, qu'ils se voyaient contraints de résilier son bail "en vue de lourds travaux de rénovation". L'autorité précédente constate qu'il ressort d'un rapport d'expertise privé - non contesté par le recourant - établi le 30 juillet 2008 par C._, directeur de travaux et consultant immobilier, que l'immeuble, qui abrite six appartements, a "besoin d'un entretien profond qui nécessite de gros travaux". Entre autres mesures, l'expert a préconisé une "rénovation complète des appartements (y.c. agencement de cuisine)".
L'appartement du recourant est compris dans les six appartements concernés, selon le rapport d'expertise C._, par les gros travaux de rénovation; l'expert n'a pas indiqué que les transformations préconisées ne concernaient pas ce logement; le recourant ne prétend en outre pas que ce dernier serait en meilleur état que les cinq autres ou qu'il aurait déjà fait l'objet d'une rénovation, même partielle, antérieurement. La thèse qu'il défend est d'ailleurs contradictoire avec ses propres déclarations tenues en cours d'audience (et relevées dans l'arrêt cantonal). Ses propos permettent de comprendre qu'il était conscient que la rénovation concernait également son appartement et qu'il avait connaissance de l'ampleur des travaux; il a en effet indiqué que "si la résiliation du bail était annulée, il s'opposerait aux travaux prévus et réclamerait, le cas échéant, un logement de remplacement durant la rénovation". Dans le cadre de l'appréciation des preuves, on ne saurait ainsi dire qu'il était insoutenable de retenir que la rénovation prévue pour l'ensemble de l'immeuble visait également l'appartement du recourant.
Il n'était pas non plus arbitraire de considérer que les travaux en question dépassaient le stade du projet et qu'ils présentaient une réalité tangible. Selon le rapport C._, il était nécessaire d'effectuer de gros travaux dans l'ensemble de l'immeuble, et en particulier de rénover complètement les appartements. Dans cette perspective, la cour cantonale retient, sans transgresser le droit fédéral (cf. infra consid. 2.4.1), que les intimés ont obtenu un prêt hypothécaire de 179'000 fr. ayant pour objet "Financement immeuble sis Rue .... 1020 Renens". Il ressort des constatations cantonales - non arbitraires (cf. supra) - que les travaux visaient également l'appartement du recourant. Au demeurant, l'autorité cantonale retient que l'un des six appartements de l'immeuble a déjà été rénové. Cela étant, il n'était pas insoutenable de retenir que la volonté réelle des intimés d'effectuer les travaux de rénovation dans l'ensemble de l'immeuble, y compris le logement du recourant, était rendue suffisamment vraisemblable (sur ce critère, cf. infra consid. 2.4.1).
En conséquence, le Tribunal fédéral se trouve lié par les constatations de la Chambre des recours (cf. supra consid. 2.1).
2.4 Il reste à en tirer les conséquences juridiques.
2.4.1 Il faut considérer comme contraire aux règles de la bonne foi, au sens de l'art. 271 al. 1 CO, le congé qui ne répond à aucun intérêt objectif, sérieux et digne de protection, celui qui est purement chicanier ou encore celui qui repose sur un motif ne constituant manifestement qu'un prétexte (<ref-ruling> consid. 4.1 p. 119; <ref-ruling> consid. 4a p. 32 s.).
Le caractère abusif ou non de la résiliation s'apprécie au moment où l'auteur du congé manifeste sa volonté de mettre un terme au contrat (arrêt 4C.176/2004 du 8 septembre 2004 consid. 2.1). Contrairement à ce que soutient le recourant, il n'existe toutefois aucun principe juridique qui interdirait de prendre en compte des faits postérieurs - en l'occurrence le prêt hypothécaire accordé par un établissement bancaire - en vue de reconstituer ce que devait être la volonté réelle au moment déterminant (arrêt 4A_241/2010 du 10 août 2010 consid. 2.1.6).
Il appartient au destinataire du congé de démontrer que celui-ci contrevient aux règles de la bonne foi; la partie qui résilie a seulement le devoir de contribuer loyalement à la manifestation de la vérité en fournissant tous les éléments en sa possession nécessaires à la vérification du motif invoqué par elle (<ref-ruling> consid. 4.1 p. 119; <ref-ruling> consid. 3c p. 111). Celui qui donne le congé doit ainsi au moins rendre vraisemblable les motifs du congé (arrêt 4A_575/2008 du 19 février 2009 consid. 3.1; arrêt 4A.345/2007 du 8 janvier 2008 consid. 2.4.3; arrêt 4C.170/2004 du 27 août 2004, consid. 2.1).
2.4.2 Dans un arrêt récent, le Tribunal fédéral a rappelé qu'une résiliation ne contrevient pas aux règles de la bonne foi lorsque le bailleur envisage d'entreprendre, selon des critères de construction techniques et économiques appropriés, de vastes travaux d'assainissement limitant considérablement la possibilité d'utiliser les locaux loués et qu'il se trouve dans la nécessité de faire évacuer les lieux (<ref-ruling> consid. 4.2 p. 119 s.; cf. PETER HIGI, in Zürcher Kommentar, 4e éd. 1996, no 87 ad art. 271 CO et les exemples mentionnés). L'élément déterminant pour exclure le caractère abusif réside dans les retards ou les complications qu'entraînerait la présence du locataire durant les travaux. Si de tels retards ou complications ne sont pas à craindre, la réalisation des travaux ne justifie en principe pas le congé (arrêt 4A_414/2009 du 9 décembre 2009 consid. 3.1).
Le congé est abusif si le projet du bailleur d'entreprendre des rénovations ne présente pas de réalité tangible ou s'il n'est pas possible d'apprécier l'importance des travaux envisagés, notamment l'entrave provoquée par ceux-ci sur l'utilisation à venir des locaux loués (cf. arrêt 4A_425/2009 du 11 novembre 2009 consid. 3.2.2). De vastes travaux d'assainissement dans le cadre desquels non seulement les cuisines et les salles de bain sont changées, mais aussi l'ensemble des conduites, les sols, les murs ainsi que les plans des appartements sont modifiés entraînent, selon l'expérience générale de la vie, des immissions et des dérangements qui limitent considérablement la possibilité d'utiliser les locaux et rendent nécessaire l'évacuation des lieux (<ref-ruling> consid. 4.2 p. 120).
Le congé doit également être annulé en raison de son caractère abusif si le projet de construction ou de transformation est objectivement impossible, notamment s'il est certain qu'il se heurtera à un refus d'autorisation de la part des autorités administratives compétentes (arrêt 4P.274/2004 du 24 mars 2005 consid. 3.3; RICHARD BARBEY, Protection contre les congés concernant les baux d'habitation et de locaux commerciaux, n. 211 p. 179; SVIT-Kommentar Mietrecht, 3e éd. 2008, no 32 ad art. 271 CO et la référence), ce qu'il incombe au locataire de prouver (arrêt 4P.274/2004 déjà cité consid. 3.3; BARBEY, op. cit., n. 211 p. 179).
2.5 Dans un bref passage de son mémoire, le recourant fait référence au congé dicté par des considérations d'ordre économique, soutenant que le Tribunal des baux n'a pas pu vérifier, à défaut d'avoir toutes les pièces nécessaires à sa disposition, si son loyer pouvait être augmenté en application de la méthode absolue. Outre le fait qu'il appartenait au recourant d'attaquer l'arrêt cantonal (et non de critiquer le jugement du Tribunal des baux), l'argument n'est pas pertinent; la Chambre des recours n'a pas constaté que le congé aurait été donné pour des motifs économiques, soit pour obtenir un loyer plus élevé des locaux (sur l'ensemble de cette question: <ref-ruling> consid. 2 p. 192). Elucider le motif d'un congé relève de la constatation des faits (cf. supra consid. 2.1), de sorte que le point allégué par le recourant échappe au contrôle du Tribunal fédéral (cf. arrêt 4A_448/2009 du 1er février 2010 consid. 2.1 a contrario).
En l'espèce, les juges cantonaux ont établi, sans sombrer dans l'arbitraire (cf. supra consid. 2.3), que le congé a été donné en raison de travaux importants de rénovation. Il y a donc lieu de se pencher sur ce motif. La cour cantonale considère que les intimés ont rendu vraisemblable la nécessité d'entreprendre les travaux invoqués et leur volonté réelle de les effectuer; elle a considéré comme établi la nature des travaux et l'entrave provoquée par ces derniers sur l'utilisation future de l'appartement du recourant et a retenu que la présence du locataire dans le logement compliquerait sérieusement la conduite des travaux et, partant, occasionnerait un retard et un surcoût du chantier.
Sur la base des constatations cantonales, qui lient le Tribunal fédéral (art. 105 al. 1 LTF), on ne voit pas, à la lumière de la jurisprudence exposée ci-dessus (cf. consid. 2.4.1 et 2.4.2), que l'autorité précédente ait violé le droit fédéral, singulièrement l'art. 271 CO, en confirmant la validité du congé donné par les intimés le 23 septembre 2008.
La cour cantonale est parvenue à se forger une conviction après s'être livrée à une appréciation, non entachée d'arbitraire (cf. supra consid. 2.3), des preuves apportées au cours de l'instruction. Dès lors, la répartition du fardeau de la preuve n'a plus d'objet (<ref-ruling> consid. 3.4 p. 634; <ref-ruling> consid. 2b/aa p. 277) et le grief de violation de l'art. 8 CC tombe à faux.
2.6 C'est en vain que le recourant tente de soutenir que le congé était abusif en arguant que les intimés ne disposaient pas, au jour de la résiliation, d'une autorisation du Service de l'économie, du logement et du tourisme (SELT), qu'ils n'avaient pas constitué de dossier de soumission ni déposé de demande de permis de construire.
Le recourant semble défendre la thèse selon laquelle aucune résiliation ne pourrait être validée en raison de travaux de rénovation si le bailleur ne dispose pas, au moment où il résilie, des autorisations administratives nécessaires ou, du moins, s'il n'a pas fourni à l'autorité compétente toutes les pièces permettant de prononcer l'autorisation. Or, l'art. 271 CO ne fait pas dépendre la validité du congé de la réalisation de telles conditions (cf. BARBEY, op. cit., n. 211 p. 179). Il appartenait plutôt au recourant d'apporter la preuve que les intimés se heurteront de façon certaine à un refus d'autorisation de la part des autorités administratives compétentes, soit de démontrer que le projet est objectivement impossible.
En l'espèce, le recourant n'ayant pas apporté cette preuve, il en supporte l'échec. Le grief de violation de l'art. 8 CC est infondé.
2.7 On ne saurait reprocher à la Chambre des recours d'avoir jugé que les circonstances d'espèce sont similaires à celles ayant fait l'objet de l'<ref-ruling>. A l'évidence, l'activité importante de transformation prévue par les intimés dans leur immeuble ne consiste pas en de simples travaux de modernisation (peinture des murs, simples rénovations extérieures, travaux sur les balcons), qui permettraient de maintenir le locataire dans l'objet loué, mais bien en de lourds travaux de rénovation (changement complet de la cuisine, des installations sanitaires, rénovations des murs et des sols) proches, dans leurs conséquences pour le locataire, des transformations examinées dans l'<ref-ruling>.
Enfin, le recourant souligne une partie de l'arrêt précité (consid. 4.2) selon lequel "le bailleur qui envisage d'entreprendre de tels travaux [i.e. des travaux de rénovation importants], selon des critères de construction techniques et économiques appropriés, se trouve dans la nécessité de faire évacuer les lieux". Il en déduit l'obligation pour les intimés de fournir les pièces permettant de connaître les critères de construction des travaux projetés censés justifier la résiliation litigieuse. Le recourant sort de son contexte un critère (la nécessité de faire évacuer les lieux) - destiné à déterminer la possibilité de notifier, sans commettre un abus de droit, la résiliation d'un bail en cas de rénovation - pour en tirer argument s'agissant du fardeau de la preuve, ainsi que du degré de preuve requis des bailleurs. Or, il n'en demeure pas moins qu'il incombe au destinataire du congé de démontrer que celui-ci contrevient aux règles de la bonne foi. En l'espèce, le locataire n'a pas apporté cette preuve. Les intimés, de leur côté, ont rendu vraisemblable la nécessité d'évacuer l'appartement litigieux (sur le fardeau de la preuve, cf. supra consid. 2.4.2); en effet, l'autorité précédente, considérant la nature des travaux et l'entrave provoquée par ces derniers sur l'utilisation future de l'appartement, a retenu que la présence du locataire compliquerait sérieusement la conduite des travaux (cf. supra consid. 2.5).
3. 3.1 Dans un second grief, le recourant reproche à la cour cantonale une violation des art. 272, 272b CO et 4 CC pour lui avoir accordé une prolongation unique de trois ans au lieu du maximum de quatre ans prévu à l'art. 272b al. 1 CO. En ce qui concerne la pesée des intérêts, les juges cantonaux auraient attribué trop de poids à l'absence de recherche d'un nouvel appartement par le recourant. Celui-ci rappelle qu'il a conclu principalement à l'annulation du congé, qu'il s'agissait d'examiner l'octroi d'une première prolongation de bail, et il considère dès lors que la Chambre des recours s'est montré excessivement exigeante à son égard. Le recourant met également en évidence que l'autorité cantonale a finalement admis qu'il avait bien parlé de la résiliation de son bail à son assistante sociale et qu'on ne peut ainsi retenir qu'il est resté inactif. Enfin, il considère que l'autorité précédente n'a pas suffisamment tenu compte de son état de santé "catastrophique" qui complique ses démarches de relogement.
3.2 Aux termes des art. 271 al. 1 et 272b al. 1 CO, le locataire peut demander la prolongation d'un bail d'habitations pour une durée de quatre ans au maximum lorsque la fin du contrat aurait pour lui des conséquences pénibles et que les intérêts du bailleur ne le justifient pas. Dans cette limite de temps, le juge peut accorder une ou deux prolongations.
Le juge apprécie librement, selon les règles du droit et de l'équité (art. 4 CC), s'il y a lieu de prolonger le bail et, dans l'affirmative, pour quelle durée. Il doit procéder à la pesée des intérêts en présence et tenir compte du but d'une prolongation, consistant à donner du temps au locataire pour trouver des locaux de remplacement. Il lui incombe de prendre en considération tous les éléments du cas particulier, tels que la durée du bail, la situation personnelle et financière de chaque partie, leur comportement, de même que la situation sur le marché locatif local (art. 272 al. 2 CO; <ref-ruling> consid. 2 p. 123; <ref-ruling> consid. 4b p. 230). Le Tribunal fédéral ne revoit qu'avec réserve la décision d'équité prise en dernière instance cantonale. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou, au contraire, lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération; en outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 2 p. 123 s. et les arrêts cités).
3.3 Pour se prononcer sur la durée de la prolongation du bail, la cour cantonale a pris en considération les intérêts de chacune des parties. Du côté des intimés, elle a tenu compte de la volonté réelle des bailleurs et de la nécessité de rénover l'appartement litigieux. Elle a toutefois observé que les travaux pouvaient attendre l'échéance de la période de prolongation de trois ans. S'agissant du locataire, elle a pris en considération la durée du bail, la situation financière du recourant, le marché tendu du logement; elle a en particulier tenu compte de la situation personnelle du recourant, expliquant que le champ de recherche d'un nouvel appartement était limité à Renens, vu son état de santé et la proximité de son fils et de son médecin. La cour cantonale, dans son appréciation globale des intérêts en présence, n'a donc pas ignoré l'état de santé du locataire.
Le recourant insiste longuement sur deux éléments qui, selon lui, démontreraient que la Chambre des recours et le Tribunal des baux ont abusé de leur pouvoir d'appréciation en fixant une période de prolongation de trois ans et non de quatre ans (comme retenu par la commission de conciliation).
Premièrement, selon lui, l'autorité précédente se serait montrée excessivement exigeante à son égard quant à l'exigence de recherche d'un appartement. On ne peut le suivre. Certes, il convient d'être moins exigeant quant aux recherches que l'on peut attendre du locataire lorsqu'il conclut principalement à l'annulation du congé (cf. arrêt 4C.343/2004 du 22 décembre 2004 consid. 4.2; DAVID LACHAT, Le bail à loyer, nouvelle éd. 2008, n. 3.12 p. 782 et les références). En l'espèce, on ne peut toutefois pas tenir compte de ce que le locataire aurait été dissuadé, par la décision de la Commission de conciliation, d'entreprendre des recherches en vue de trouver un autre logement (cf. arrêt 4C.343/2004 déjà cité consid. 4.2; arrêt 4C.267/2002 du 18 novembre 2002 in SJ 2003 I p. 161 consid. 3); la Commission de conciliation n'a en effet pas annulé la résiliation du 23 septembre 2008, mais bien confirmé sa validité. Le recourant, au moins depuis la décision de cette commission, ne saurait donc se voir dispenser de toute démarche visant la recherche d'un nouvel appartement. Or, la cour cantonale a constaté que le locataire n'avait entrepris absolument aucune démarche en ce sens. Quant à l'argument selon lequel la Chambre des recours n'a pas suffisamment tenu compte, dans sa pesée des intérêts, du fait qu'il s'agissait de l'octroi d'une première prolongation (et non d'une seconde), il suppose le même raisonnement; le juge doit certes se montrer moins rigoureux à ce stade qu'à celui de la seconde prolongation quant à l'exigence imposée au locataire d'entreprendre tout ce qu'on pouvait attendre de lui pour remédier aux conséquences pénibles du congé (<ref-ruling> consid. 3a p. 448 et l'arrêt cité; LACHAT, op. cit., n. 3.12 p. 782 et les références); il n'en demeure pas moins que le locataire ne peut refuser d'entreprendre toute recherche pour se reloger.
Deuxièmement, le fait que le recourant ait informé son assistante sociale de la résiliation de son bail n'apporte aucun élément pertinent sous l'angle de l'art. 272 CO. Cela ne change rien au fait qu'il n'a entrepris, lui-même ou par l'intermédiaire de son assistante sociale, aucune démarche en vue de sa relocation. Selon les constatations cantonales - qui lient le Tribunal fédéral -, il a d'ailleurs refusé toute aide des intimés. A cet égard, s'il faut relever que les appartements proposés par ceux-ci ne suffisaient pas en soi pour considérer qu'un logement de remplacement avait été offert, ces circonstances n'en soulignent pas moins l'attitude du recourant qui ne désirait prendre aucune initiative pour se reloger, déclarant au contraire qu'il voulait terminer sa vie dans l'appartement litigieux.
Enfin, le recourant ne conteste pas que le fait qu'il vive seul et qu'il n'ait pas de charges familiales plaide en faveur d'une prolongation plus courte que la durée maximale de quatre ans prévue à l'art. 272b al. 1 CO.
Cela étant, la cour cantonale, en accordant une prolongation de bail d'une durée de trois ans, n'a pas abusé du large pouvoir d'appréciation qui lui est reconnu dans ce domaine. Il n'y a en conséquence aucune trace d'une violation des art. 272 et 272b CO ainsi que de l'art. 4 CC.
4. Plus subsidiairement, le recourant conclut à l'annulation de l'arrêt de la Chambre des recours et au renvoi de la cause devant cette autorité pour nouvelle instruction. Il affirme que le dossier ne contient pas les éléments de preuve utiles à la solution du litige. Ce faisant, le recourant reprend divers points déjà examinés (cf. notamment supra consid. 2.6 et 2.7) et il n'y a pas lieu d'y revenir. Il invoque également une violation des art. 4 al. 1 et 5 al. 3 du Code de procédure civile vaudoise du 14 décembre 1966 (CPC/VD; RSV 270.11). En guise de motivation, il se limite toutefois à indiquer que le Tribunal des baux a introduit dans le jugement des faits non prouvés et qu'il a procédé à une appréciation arbitraire des preuves à disposition. Les griefs ne sont pas recevables. D'une part, ils ne visent pas l'arrêt entrepris (mais le jugement de première instance) et, d'autre part, ils ne répondent pas aux exigences de motivation posées à l'art. 106 al. 2 LTF (cf. supra consid. 1.3).
5. Il ressort des considérants qui précèdent que le recours doit être rejeté dans la mesure où il est recevable.
Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1, 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le recourant versera aux intimés, créanciers solidaires, une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 décembre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget