Faits :
A.
A.a. Par contrat du 2 novembre 1961, H.X._ (père) avait pris à bail un appartement de cinq pièces au 5e étage dans l'aile sud (complètement selon l'<ref-law>) d'un immeuble à Lausanne, construit en 1961 et comportant 42 appartements, répartis sur neuf niveaux. Conformément à un avenant du 1er avril 1973, le bail se renouvelle tacitement d'année en année, à dater du 1er octobre, sauf avis de résiliation donné quatre mois à l'avance. Au décès du locataire en 1992, son épouse F.X._, née le 5 avril 1914, est devenue titulaire du bail.
Z._ est devenu propriétaire de l'immeuble le 14 janvier 1999.
A.b. Dans les années 1999-2001, deux procédures judiciaires ont opposé le bailleur et la locataire.
A.b.a. A la suite d'une procédure de réduction de loyer intentée par la locataire, le loyer mensuel a été fixé à 1'515 fr. dès le 1er octobre 2000 (par transaction judiciaire).
A.b.b. En 2001, alors que le propriétaire souhaitait entreprendre des travaux en cours de bail (<ref-law>), la locataire s'y est opposée. Le tribunal des baux a jugé que les travaux de l'étape 1 (tuyauterie), impliquant le remplacement des conduites sanitaires et des équipements qui leur sont liés ne pouvaient pas être imposés à la locataire en cours de bail, mais a autorisé leur entretien, notamment le traitement des conduites sanitaires, sans remplacement; en ce qui concerne les travaux de l'étape 2, concernant en particulier les façades, il les a autorisés. Sa décision a été confirmée tant par le tribunal cantonal que par le Tribunal fédéral (arrêt 4C.382/2002 du 4 mars 2003).
A.c. Au cours des années, différents travaux ont été entrepris dans l'immeuble et dans l'appartement de la locataire.
En ce qui concerne l'immeuble, les façades et les fenêtres de tout le bâtiment ont été refaites. En ce qui concerne les appartements, tous ceux de l'aile nord ont été rénovés en 2000-2001. La réfection des 17 appartements de l'aile sud a commencé en 2004 et dix appartements ont ainsi été refaits. En ce qui concerne l'appartement litigieux, des travaux de rénovation ont été exécutés en septembre 2008, janvier 2011, février 2012 et mars 2014, sans qu'il ait été constaté en quoi ils consistaient.
B.
Le 15 juillet 2008, A.X._ (fils) a informé le bailleur qu'il était venu vivre avec sa mère afin de l'aider dans son quotidien. Il a été enregistré par la régie comme occupant de l'appartement. Selon un extrait du contrôle des habitants, il est inscrit à l'adresse de l'appartement depuis le 1er juillet 2007 déjà. Né en 1939, il souffre d'importants troubles de la marche consécutifs à des séquelles sévères d'une maladie d'enfance.
La locataire F.X._ est décédée le 1er avril 2014. Elle laisse pour héritiers ses trois enfants, soit ses fils A.X._ et B.X._ et sa fille C.X._. Seul son fils A.X._ est un occupant de l'appartement. Sa part dans la succession de sa mère se monte, comme pour les deux autres héritiers, à 3'067'303 fr.: elle se compose de deux parcelles de terrain à..., d'un immeuble en Allemagne, de la moitié d'une collection de tableaux estimée à 582'000 fr. et de 687'299 fr. 87 en liquide.
C.
Moins d'un mois après le décès de la locataire, sur formule officielle datée du 29 avril 2014 et adressée aux trois héritiers, le bailleur a résilié le bail pour le 30 septembre 2014. Il a exposé que, compte tenu de la vétusté de l'appartement, d'importants travaux de rénovation devaient y être entrepris, qui ne pouvaient se faire en présence d'un locataire.
Il ne ressort pas de l'état de fait de l'arrêt cantonal quelles informations complémentaires auraient été apportées par le bailleur devant le Tribunal des baux.
A.X._ a produit des annonces concernant des appartements, mais sans préciser s'il avait déposé des dossiers auprès des gérances concernées.
D.
Le 26 mai 2014, les trois héritiers ont ouvert action en contestation de la résiliation par requête de conciliation adressée à la commission de conciliation en matière de baux à loyer du district de Lausanne, concluant à l'annulation de celle-ci, subsidiairement à une prolongation du bail d'une durée de quatre ans. Puis, C.X._ a informé la commission qu'elle s'opposait à la démarche de ses deux frères.
A la suite de l'échec de la conciliation et de la délivrance d'une autorisation de procéder le 22 janvier 2015, les deux frères ont déposé leur demande devant le tribunal des baux le 20 février, reprenant les mêmes conclusions que précédemment. C.X._ a conclu au rejet de la demande.
Après avoir admis par jugement incident la recevabilité de la demande et la qualité pour agir (légitimation active) des demandeurs, jugement confirmé par la Cour d'appel civile le 21 janvier 2016, le Tribunal des baux a, par jugement du 5 octobre 2016, rejeté la demande en contestation de la résiliation et en prolongation de bail des deux demandeurs.
Statuant le 15 mai 2017, la cour d'appel civile du tribunal cantonal du canton de Vaud a rejeté l'appel des demandeurs et confirmé le jugement attaqué.
E.
Contre cet arrêt, qui leur a été notifié le 29 mai 2017, les demandeurs interjettent un recours en matière civile au Tribunal fédéral le 26 juin 2017, qu'ils dirigent contre le bailleur et leur soeur. Ils concluent en substance à la réforme de cet arrêt en ce sens que la résiliation du 29 avril 2014 est annulée et subsidiairement que le bail est prolongé jusqu'au 1er octobre 2018; plus subsidiairement, ils concluent à l'annulation de l'arrêt attaqué. Ils critiquent l'établissement des faits et l'appréciation des preuves - le refus de procéder à une inspection locale et d'autres lacunes - et la violation des art. 271 al. 2 (congé-rénovation), 271a al. 1 let. a (congé représailles) et 271a al. 1 let. f CO (congé donné en raison d'une modification de la situation familiale du locataire). Ils citent également l'art. 27 Cst., l'art. 6 CEDH et l'art. 27 Cst./Vaud.
Le bailleur conclut à l'irrecevabilité et subsidiairement au rejet du recours des demandeurs. Il remet en cause l'arrêt incident du 21 janvier 2016 en ce qui concerne la qualité pour agir (légitimation active) des demandeurs. Il se plaint à ce propos d'établissement manifestement inexact des faits et de violation des règles sur la communauté héréditaire (<ref-law>).
L'intimée C.X._ a déclaré ne pas vouloir procéder.
Les recourants concluent à l'irrecevabilité de la réponse en tant qu'elle concerne l'arrêt incident.
L'intimé a encore déposé des observations.
La cour cantonale se réfère aux considérants de son arrêt.

Considérant en droit :
1.
1.1. Conformément à l'<ref-law>, a qualité pour former un recours en matière civile quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a) et est particulièrement touché par la décision attaquée et a un intérêt digne de protection à son annulation ou sa modification (let. b). En l'espèce, la première condition est remplie dès lors que les recourants ont participé à la procédure cantonale et qu'ils n'ont pas obtenu ce à quoi ils avaient conclu. Il y a lieu d'admettre également qu'ils sont touchés et ont un intérêt digne de protection au recours. En effet, selon la jurisprudence (<ref-ruling> consid. 1.2; arrêt 5A_450/2013 du 6 juin 2914 consid. 3.1.1, non publié aux <ref-ruling>), la qualité pour recourir, qui est une condition de recevabilité, ne se confond pas avec la qualité pour agir ou pour défendre au fond, en l'espèce avec la qualité pour contester la résiliation du bail, qui est une condition de droit matériel. Il n'y a pas lieu d'anticiper sur le sort de cette question pour décider si le recours est recevable. En effet, pour que l'intérêt au recours soit admis, il suffit que le recourant apparaisse atteint dans un droit qui lui appartient.
Interjeté en temps utile (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu sur appel par un tribunal cantonal supérieur (<ref-law>) dans une affaire de contestation de résiliation de bail (<ref-law>), dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de bail à loyer (<ref-law>), le recours en matière civile est recevable au regard de ces dispositions.
1.2. En vertu de l'<ref-law>, si un recours contre une décision préjudicielle ou incidente au sens de l'<ref-law> a été déclaré irrecevable ou si un tel recours n'a pas été interjeté, la décision préjudicielle ou incidente peut être attaquée par un recours contre la décision finale dans la mesure où elle influe sur le contenu de celle-ci.
Lorsqu'une partie a obtenu gain de cause dans l'arrêt final, elle n'a pas d'intérêt à interjeter un recours principal contre celui-ci pour remettre en cause l'arrêt incident qui l'a précédé. Il s'ensuit qu'elle ne saurait être privée du droit d'invoquer ses arguments contre l'arrêt incident dans sa réponse au recours interjeté par sa partie adverse. Il ne s'agit pas là d'un recours joint, interdit par la loi (<ref-ruling> consid. 2.5), puisque les conclusions de l'intimé ne touchent pas au dispositif de l'arrêt final attaqué, mais uniquement à ses motifs (à ceux qui sont contenus dans l'arrêt incident antérieur).
En l'espèce, le bailleur intimé, qui avait obtenu gain de cause dans l'arrêt final du 15 mai 2017 n'avait pas d'intérêt à interjeter un recours au Tribunal fédéral ni contre cet arrêt, ni par conséquent contre l'arrêt incident du 21 janvier 2016 qui l'a précédé. S'il avait succombé dans cet arrêt final, il aurait été recevable à interjeter recours contre l'arrêt final et à remettre en cause l'arrêt incident. Il s'ensuit qu'il doit être admis à faire valoir ses arguments également contre l'arrêt incident dans sa réponse au présent recours; cet arrêt a en effet une influence sur le contenu de l'arrêt final du 15 mai 2017 puisqu'il a tranché définitivement en instance cantonale la question de la qualité pour agir des demandeurs (cf. <ref-ruling> consid. 2.2).
L'arrêt du 21 janvier 2016 étant remis en cause par l'intimé en tant qu'il a admis la qualité pour agir des demandeurs, il est l'objet de la présente procédure, de sorte que les griefs d'établissement manifestement inexact des faits et d'omission de faits pertinents de l'arrêt final qui, à juste titre, ne reproduit pas ceux de l'arrêt incident, sont sans pertinence.
2.
Sous réserve de la violation des droits constitutionnels (<ref-law>), le Tribunal fédéral applique d'office le droit (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal ou, cas échéant, à l'état de fait qu'il aura rectifié (art. 97 al. 1, 105 al. 2 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 et l'arrêt cité).
3.
Il s'impose d'examiner tout d'abord la question de la qualité pour agir des deux " héritiers locataires ", que soulève le bailleur intimé.
3.1. Selon la jurisprudence, ce qui vaut pour l'action formatrice en annulation de la résiliation en cas de bail commun de colocataires, l'un d'eux pouvant agir seul, en cas de désaccord entre eux, pour autant qu'il assigne aux côtés du bailleur le ou les colocataires qui ne veulent pas contester la résiliation (<ref-ruling> consid. 3.2), vaut a fortiori pour l'action formatrice en annulation des héritiers qui ont succédé au défunt dans la relation contractuelle de bail (<ref-law>). En principe, les héritiers membres de la communauté héréditaire (<ref-law>), qui sont des consorts matériels nécessaires, sont titulaires (sur le plan actif) ensemble d'un seul et même droit sur chacun des biens de la succession; ils ne peuvent en disposer qu'ensemble (art. 602 al. 2 et 653 al. 2 CC) et doivent donc agir en justice ensemble (cf. FABIENNE HOHL, Procédure civile, Tome I, 2016, n. 865 ss; sur le plan passif, sauf en ce qui concerne les dettes de la communauté, cf. HOHL, op. cit., n. 869 ss). Chacun d'eux a toutefois la qualité pour agir seul en annulation de la résiliation du bail (respectivement en nullité ou inefficacité de cette résiliation) lorsque son ou ses cohéritiers s'y refusent, pour autant qu'il assigne également celui-ci ou ceux-ci en justice à côté du bailleur (arrêt 4A_689/2016 du 28 août 2017 consid. 4.1).
Toutefois, la jurisprudence a restreint les droits des héritiers: en cas de décès du locataire, la protection contre les congés des <ref-law> n'est conférée qu'aux membres de la famille qui habitaient avec celui-ci et qui lui succèdent dans la relation contractuelle. Lorsque des enfants adultes succèdent au locataire décédé, la protection est réservée à la personne habitant le logement à titre principal et refusée à la personne qui ne séjournait que de manière intermittente avec le défunt (arrêts 4A_34/2017 du 18 avril 2017 consid. 5; 4A_689/2016 précité consid. 4.1; sur la preuve d'un intérêt digne de protection à l'annulation du congé exigé par l'<ref-law>, cf. arrêt 4A_195/2016 du 9 septembre 2016 consid. 1.2).
3.2. En l'espèce, il ressort des faits constatés que la locataire décédée a trois enfants adultes, qui sont ses héritiers, dont un seul, A.X._, vivait avec elle depuis le 1er juillet 2008, voire le 1er juillet 2007.
Par conséquent, l'action en contestation de la résiliation du bail intentée par B.X._, qui n'habitait pas l'appartement, doit être rejetée.
En revanche, A.X._ (fils), qui a succédé à sa mère dans la relation de bail et qui était un occupant à titre principal du logement, bénéficie de la protection contre les congés des <ref-law>. Le bailleur intimé soutient certes qu'il l'avait informé qu'il n'aurait aucune possibilité de reprendre le bail à son nom, mais une telle circonstance ne résulte pas de l'état de fait de l'arrêt attaqué et l'intimé ne requiert pas le complément de l'état de fait en satisfaisant aux exigences de l'<ref-law>. Au demeurant, après avoir occupé pendant environ six ans, voire sept ans l'appartement, on ne saurait considérer que l'héritier occupant abuse de son droit (<ref-law>) en se prévalant du bail dont il a hérité par l'effet de la loi (<ref-law>; cf. <ref-law> a fortiori). Il y a donc lieu d'admettre que A.X._ (fils) a la qualité pour agir en contestation de la résiliation, puisque tant le bailleur que ses frère et soeur cohéritiers sont parties au procès, d'un côté ou de l'autre.
La question de la désignation d'un représentant de la communauté héréditaire évoquée par l'intimé, à supposer encore que celle-ci puisse être mise en oeuvre, est ainsi superflue.
4.
Le locataire recourant fait valoir que la cour cantonale a passé entièrement sous silence son grief concernant le refus d'une inspection locale de l'immeuble, de l'appartement qu'il occupe et d'autres logements de l'aile sud et invoque un déni de justice formel, qui justifierait l'annulation de l'arrêt attaqué, la violation de l'art. 6 CEDH, la violation de son droit d'être entendu (art. 29 Cst. et 27 Cst. vaudoise, et 53 CPC) et la violation du droit à la preuve (<ref-law>). Le bailleur intimé conclut à l'irrecevabilité de ce grief, insuffisamment motivé (<ref-law>).
Il résulte du jugement de première instance que le tribunal a tenu une dernière audience le 20 septembre 2016, au cours de laquelle il a entendu une témoin et rejeté la réquisition du demandeur tendant à la mise en oeuvre d'une inspection locale. Le tribunal a considéré que le bailleur peut résilier un bail pour procéder à des travaux d'envergure pourvu qu'ils répondent à un but légitime et que l'intention d'y procéder soit réelle; or, en l'occurrence le bailleur entend procéder à des travaux dont la nécessité ne fait aucun doute. Il a donc rejeté la requête d'inspection locale au motif que les questions que celle-ci devait éclairer, à savoir si l'appartement a été bien entretenu et si les installations sont encore fonctionnelles ou ne créent pas de danger imminent pour les occupants de l'immeuble et leurs biens ne sont pas pertinentes.
Il est vrai que le locataire a invoqué ce grief dans son appel, dont il indique les pages topiques, et que la cour cantonale ne l'a pas traité. Contrairement à ce que le recourant soutient dans son appel, le tribunal n'a toutefois pas écarté la requête d'inspection par appréciation anticipée des preuves, mais parce qu'elle était non pertinente. La pertinence d'un fait étant une question de droit, la cour de céans peut la revoir librement (cf. infra consid. 5).
5.
Le recourant s'en prend à la validité du congé-rénovation, reconnue par la cour cantonale. Selon lui, les motifs indiqués dans l'avis de résiliation étaient trop sommaires, le bailleur n'avait pas constitué de dossier relatif aux travaux envisagés (descriptif, plans et devis), il ne lui était donc pas possible de savoir si sa présence entraverait les travaux, puisqu'il ne connaissait pas leur nature et leur ampleur et qu'en 2000, les travaux projetés par le bailleur n'avaient pas entraîné la résiliation du bail, puisque le procès avait eu pour objet la question de la réalisation des travaux en cours de bail (<ref-law>). Il reproche ainsi à la cour cantonale d'avoir abusé de son pouvoir d'appréciation en admettant la nécessité de procéder aux travaux sans avoir procédé à la moindre instruction. Il se prévaut de la situation de l'appartement voisin, dans lequel il a été renoncé à exécuter des travaux, moyennant une augmentation substantielle de loyer. Enfin il relève qu'il a offert de libérer provisoirement le logement pendant les travaux, à supposer que ceux-ci soient nécessaires.
5.1. Avant d'examiner les questions relatives à la motivation de la résiliation, il s'impose de rappeler les principes applicables à la résiliation ordinaire du bail.
5.1.1. Lorsque le contrat de bail est de durée indéterminée, ce qu'il est lorsqu'il contient une clause de reconduction tacite, chaque partie est en principe libre de le résilier pour la prochaine échéance convenue en respectant le délai de congé prévu (cf. <ref-law>; <ref-ruling> consid. 4.1; <ref-ruling> consid. 2.1). Le bail est en effet un contrat qui n'oblige les parties que jusqu'à l'expiration de la période convenue; au terme du contrat, la liberté contractuelle renaît et chacune a la faculté de conclure ou non un nouveau contrat et de choisir son cocontractant (arrêts 4A_19/2016 du 2 mai 2017 consid. 2.1; 4A_484/2012 du 28 février 2013 consid. 2.3.1; 4A_167/2012 du 2 août 2012 consid. 2.2; 4A_735/2011 du 16 janvier 2012 consid. 2.2). La résiliation ordinaire du bail ne suppose pas l'existence d'un motif de résiliation particulier (<ref-law>), et ce même si elle entraîne des conséquences pénibles pour le locataire (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2.1 p. 62).
En principe, le bailleur est libre de résilier le bail, notamment, dans le but d'adapter la manière d'exploiter son bien selon ce qu'il juge le plus conforme à ses intérêts (<ref-ruling> consid. 3 p. 193), pour effectuer des travaux de transformation, de rénovation ou d'assainissement (<ref-ruling> consid. 3.2.2 et 3.2.3; <ref-ruling> consid. 4.1), pour des motifs économiques (arrêts 4A_19/2016 précité consid. 4.2; 4A_475/2015 du 19 mai 2016 consid. 4.1 et 4.3; 4A_293/2016 du 13 décembre 2016 consid. 5.2.1 et 5.2.3; <ref-ruling> consid. 3b/bb) ou encore pour utiliser les locaux lui-même ou pour ses proches parents ou alliés (arrêt 4A_198/2016 du 7 octobre 2016 consid. 4.3 et 4.5; 4A_18/2016 du 26 août 2016 consid. 3.3 et 4).
5.1.2. La seule limite à la liberté contractuelle des parties découle des règles de la bonne foi: lorsque le bail porte sur une habitation ou un local commercial, le congé est annulable lorsqu'il contrevient aux règles de la bonne foi (<ref-law>; cf. également <ref-law>; <ref-ruling> consid. 4.1; <ref-ruling> consid. 2.1; arrêts 4A_19/2016 du 2 mai 2017 consid. 2.2; 4A_290/2015 du 9 septembre 2015 consid. 4.1).
La protection conférée par les art. 271 et 271a CO procède à la fois du principe de la bonne foi (<ref-law>) et de l'interdiction de l'abus de droit (<ref-law>).
Les cas typiques d'abus de droit (<ref-law>), à savoir l'absence d'intérêt à l'exercice d'un droit, l'utilisation d'une institution juridique contrairement à son but, la disproportion grossière des intérêts en présence, l'exercice d'un droit sans ménagement et l'attitude contradictoire, permettent de dire si le congé contrevient aux règles de la bonne foi au sens de l'<ref-law> (<ref-ruling> consid. 3 p. 108; sur les cas typiques d'abus de droit: <ref-ruling> consid. 3.3.1 p. 169). Il n'est toutefois pas nécessaire que l'attitude de la partie donnant congé à l'autre constitue un abus de droit " manifeste " au sens de l'<ref-law> (<ref-ruling> consid. 2; <ref-ruling> consid. 4.1; <ref-ruling> consid. 4a). Ainsi, le congé doit être considéré comme abusif lorsqu'il ne répond à aucun intérêt objectif, sérieux et digne de protection (ATF <ref-ruling> consid. 4.1). Tel est le cas lorsque le congé apparaît purement chicanier, lorsqu'il est fondé sur un motif qui ne constitue manifestement qu'un prétexte ou lorsque sa motivation est lacunaire ou fausse (<ref-ruling> consid. 4.1; <ref-ruling> consid. 2; <ref-ruling> consid. 4.1).
Les règles de la bonne foi (<ref-law>) qui régissent le rapport de confiance inhérent à la relation contractuelle permettent aussi d'obtenir l'annulation du congé si le motif sur lequel il repose s'avère incompatible avec elles (<ref-ruling> consid. 3a).
Le but de la réglementation des art. 271 et 271a CO est uniquement de protéger le locataire contre des résiliations abusives. Un congé n'est pas contraire aux règles de la bonne foi du seul fait que la résiliation entraîne des conséquences pénibles pour le locataire (<ref-ruling> consid. 4.1) ou que l'intérêt du locataire au maintien du bail paraît plus important que celui du bailleur à ce qu'il prenne fin (arrêts 4A_297/2010 du 6 octobre 2010 consid. 2.2; 4A_322/2007 du 12 novembre 2007 consid. 6). Pour statuer sur la validité d'un congé, il ne faut examiner que l'intérêt qu'a le bailleur à récupérer son bien, et non pas procéder à une pesée entre l'intérêt du bailleur et celui du locataire à rester dans les locaux; cette pesée des intérêts n'intervient que dans l'examen de la prolongation du bail (arrêts 4A_18/2016 précité consid. 3.2; 4A_484/2012 précité consid. 2.3.1 et les arrêts cités).
5.2. Pour pouvoir examiner si le congé ordinaire contrevient ou non aux règles de la bonne foi (art. 271 et 271a CO), il faut déterminer quel est le motif de congé invoqué par le bailleur dans l'avis de résiliation (pour le cas où l'avis de résiliation n'est pas motivé, cf. l'arrêt 4A_200/2017 du 29 août 2017 consid. 3.2.2).
5.2.1. La résiliation est la manifestation de volonté unilatérale du bailleur, soit un acte formateur. La détermination de son sens et de sa portée s'effectue conformément aux principes généraux en matière d'interprétation des manifestations de volonté, ce qui vaut également pour l'exigence de clarté. S'il est établi que les parties ne sont pas d'accord sur le sens à donner à l'avis formel de résiliation, il y a lieu de l'interpréter selon le principe de la confiance (arrêt 4A_196/2016 du 24 octobre 2016 consid. 3.1.2; <ref-ruling> consid. 3c).
Pour déterminer le sens et la portée du motif invoqué, il faut se placer au moment où le congé a été notifié (<ref-ruling> consid. 4.1 p. 497; <ref-ruling> consid. 2.1 p. 62; arrêt 4A_735/2011 du 16 janvier 2012 consid. 2.2 in fine).
Des précisions sur le motif de congé indiqué dans l'avis de résiliation peuvent toujours être apportées en complément au cours de la procédure judiciaire (ATF <ref-ruling> consid. 2.3; arrêt 4A_200/2017 du 29 août 2017 consid. 3.2.2). Le bailleur est toutefois lié par le motif de résiliation qu'il a indiqué à l'appui de sa résiliation et il ne peut pas lui substituer par la suite un autre motif qui lui serait plus favorable.
5.3. En l'espèce, dans la lettre accompagnant l'avis de résiliation, le bailleur défendeur a indiqué qu'" étant donné la vétusté de l'appartement, d'importants travaux de rénovation [de l'appartement] vont être entrepris et ne peuvent se faire avec la présence d'un locataire ".
Le locataire pouvait comprendre par là que le bailleur entendait entreprendre des travaux nécessités par la vétusté de l'appartement. Il ne résulte pas de l'arrêt attaqué que le bailleur aurait précisé dans sa réponse quels travaux étaient envisagés et s'ils imposaient le départ du locataire. Il ressort de celle-ci que le bailleur alléguait que le fils de la locataire n'avait été enregistré que comme occupant et qu'il avait été informé qu'il ne pourrait en aucun cas reprendre le bail à son nom (<ref-law>), motivation dont le sort a été scellé ci-dessus (cf. consid. 3). Si le bailleur mentionne certes incidemment que le temps a passé et que le logement n'est plus aux normes actuelles, il n'a toutefois ni allégué, ni prouvé la nécessité et surtout l'urgence des travaux envisagés. Il ne peut pas désormais, devant le Tribunal fédéral, changer le motif ayant accompagné la résiliation et faire valoir qu'il est libre d'exploiter son bien de la manière qu'il juge la plus conforme à ses intérêts, pour effectuer des travaux, pour obtenir un rendement plus élevé ou encore pour utiliser les locaux lui-même ou les attribuer à ses proches.
Il ne faut d'ailleurs pas confondre les différents motifs pour lesquels une résiliation peut être signifiée: la résiliation pour procéder à des travaux nécessaires et urgents, la résiliation pour motif économique, à savoir notamment pour optimiser le rendement de l'immeuble dans les limites admissibles (cf. <ref-law>), la résiliation pour changer l'affection des locaux, la résiliation pour utiliser les locaux personnellement ou pour ses proches parents ou alliés, la résiliation pour effectuer d'importants travaux de transformation, de rénovation ou d'assainissement, etc. (cf. les références dans l'arrêt 4A_200/2017 précité consid. 3.2.1).
Les juridictions cantonales ont déterminé les travaux à effectuer, à savoir procéder au remplacement de l'installation sanitaire datant de la construction de l'immeuble, et remettre la cuisine et les salles d'eau aux standards actuels. Le recourant ne démontre pas en quoi la constatation de la cour cantonale serait arbitraire ou violerait une autre disposition légale. En effet, il se borne à soutenir qu'on ne saurait lui opposer la connaissance que sa mère avait des travaux ayant fait l'objet de la procédure de 1999, puisqu'il n'habitait pas l'appartement à cette époque, et qu'il ignore donc quels sont ces travaux, ce qui ne suffit pas à démontrer l'arbitraire.
Les juridictions cantonales ont considéré que la présence du locataire constituerait une entrave à la bonne marche des travaux, ce que celui-ci ne pouvait ignorer au vu de la précédente procédure ayant opposé sa mère au bailleur (<ref-law>). Certes, ce procès avait pour objet des travaux à effectuer en cours de bail (<ref-law>). Le recourant ne saurait toutefois prétendre aujourd'hui qu'il est l'héritier de sa mère et qu'il lui succède dans tous ses droits relatifs au bail (successeur à titre universel), lorsqu'il s'agit de justifier sa qualité pour agir, et simultanément nier que la procédure de 1999 lui soit opposable, lorsqu'il s'agit de déterminer la nature et l'ampleur des travaux, ainsi que l'entrave à ceux-ci que représenterait sa présence dans les locaux. Si, à l'époque, contrairement à sa mère, d'autres locataires ont accepté que les travaux soient effectués en leur présence en cours de bail, le recourant, qui a désormais près de 78 ans, ne saurait, sauf abus de droit, soutenir désormais que ces mêmes travaux pourraient être effectués en cours de bail (sur l'abus de droit consistant en un venire contra proprium factum, cf. l'arrêt 4A_590/2016 du 26 janvier 2017 consid. 2.1).
En revanche, les juridictions cantonales n'ont pas instruit la question de la nécessité et surtout de l'urgence de ces travaux, étant acquis que le locataire qui est âgé se contente de l'état actuel de ses sanitaires et de sa cuisine et que d'autres appartements de l'immeuble n'ont toujours pas été rénovés.
Il s'ensuit que la cause doit donc être renvoyée à la cour cantonale pour qu'elle instruise elle-même ou fasse instruire par le tribunal des baux les questions de la nécessité et de l'urgence de procéder au remplacement de l'installation sanitaire et de remettre la cuisine et les salles d'eau aux standards actuels.
Il sied de relever que les parties demeurent libres de trouver des arrangements, comme celui proposé par le demandeur de libérer les lieux pendant la durée des travaux.
6.
Il résulte des considérations qui précèdent que, en tant qu'il est formé par B.X._, le recours est rejeté, faute de qualité pour agir.
Le recours de A.X._ doit être admis, l'arrêt attaqué annulé et la cause renvoyée à la cour cantonale pour instruction et nouvelle décision dans le sens des considérants.
L'essentiel du recours portant sur la question du congé-rénovation, il n'y a pas lieu de mettre des frais et dépens à la charge de B.X._. L'intimée C.X._ n'ayant pas procédé, les frais et dépens de la procédure seront mis entièrement à la charge du bailleur intimé (art. 66 al. 1 et 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours de B.X._ est rejeté.
2.
Le recours de A.X._ est admis, l'arrêt attaqué est annulé et la cause renvoyée à la cour cantonale pour instruction et nouvelle décision dans le sens des considérants.
3.
Les frais de la procédure, arrêtés à 2'500 fr., sont mis à la charge de l'intimé.
4. L'intimé versera au recourant A.X._ une indemnité de 3'000 fr. à titre de dépens.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 21 décembre 2017
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget