Faits :
A.
Par contrat du 1er avril 1960, C._, à laquelle a succédé plus tard A._ (le 20 mai 2005), a remis à bail à C.B._, époux de B.B._, un appartement de 3 pièces à X._.
Après le décès de C.B._, un nouveau bail a été établi au nom de B.B._ le 1er avril 1986, d'une durée initiale de trois ans, renouvelable tacitement d'année en année, sauf résiliation par l'une des parties quatre mois avant son échéance.
A fin mars 2012, B.B._ a été hospitalisée. Durant son absence, sa fille, A.B._, et l'ami de celle-ci ont entrepris divers travaux dans l'appartement (peintures, pose de parquets clipsés, pose de carrelage, modernisation de la cuisine et changement de la baignoire notamment).
Le 1er juillet 2012, B.B._, qui a été mise au bénéfice d'une allocation pour impotent de l'assurance invalidité, a réintégré son domicile. Le 22 juin 2013, A.B._ a déménagé chez sa mère afin de s'occuper d'elle.
B.
B.a. Dans l'intervalle, le 24 avril 2012, A._ a résilié le bail à loyer de B.B._ pour le 30 avril 2013, indiquant comme motifs " Utilisation pour la famille du propriétaire, rénovation " (ci-après: la première résiliation).
Le 21 juin 2012, il a à nouveau résilié le bail pour le 31 juillet 2012, au motif de " Travaux importants effectués sans autorisation du bailleur, dommages volontaires à la propriété malgré mises en garde du bailleur " (ci-après: la deuxième résiliation).
B.B._ a contesté ces deux résiliations devant la Commission de conciliation du district de Lavaux-Oron. Les deux parties s'étant opposées à sa proposition de jugement du 2 juillet 2012, la Commission de conciliation leur a délivré une autorisation de procéder le 15 août 2012.
Locataire et bailleur ont déposé chacun une demande devant le Tribunal des baux du canton de Vaud, respectivement les 14 et 18 septembre 2012. B.B._ a conclu à la nullité et à l'annulation des deux résiliations des 24 avril 2012 et 21 juin 2012, subsidiairement à la prolongation du bail pour une durée maximale. A._ a conclu principalement à l'entrée en force, subsidiairement à la validité de la résiliation du 21 juin 2012 et plus subsidiairement à la validité de la résiliation du 24 avril 2012.
B.b. Le 23 juillet 2012, A._ a à nouveau résilié le bail pour le 31 mars 2013, sans motivation, pour corriger sa première résiliation qui n'avait pas été donnée pour l'échéance contractuelle (ci-après: la troisième résiliation). La Commission a délivré une seconde autorisation de procéder.
Locataire et bailleur ont à nouveau déposé chacun une demande devant le Tribunal des baux du canton de Vaud, respectivement les 26 octobre et 19 novembre 2012. La locataire a conclu à la nullité et à l'annulation de la résiliation du 23 juillet 2012. Le bailleur a conclu à la validité de la résiliation du 23 juillet 2012.
C.
C.a. Examinant la validité des trois résiliations que le bailleur a signifiées à la locataire, le Tribunal des baux a, par jugement du 28 janvier 2013, dit tout d'abord que la deuxième résiliation, extraordinaire, est inefficace parce que les travaux entrepris par la locataire n'étaient que des travaux d'entretien, que l'appartement n'avait pas été régulièrement entretenu par les bailleurs successifs et était en très mauvais état, ceux-ci ayant quasi systématiquement refusé d'effectuer des travaux d'entretien, et qu'il ressortait clairement de l'entrevue que la fille de la locataire a eu avec le bailleur le 29 avril 2012 que la fixation d'un délai convenable au bailleur pour effecteur des travaux serait restée sans effet et était par conséquent superflue.
S'agissant des première et troisième résiliations, ordinaires, la troisième ayant pour but de corriger la première, le tribunal les a annulées, au motif que le bailleur n'a fourni aucun élément tendant à démontrer la réalité de ses projets, que ce soit en relation avec l'emménagement de sa mère ou avec les travaux envisagés, et que son manque de collaboration laissait supposer qu'il cherchait à cacher le véritable motif des congés.
Le tribunal a aussi estimé que la liste des témoins proposés par le bailleur en début d'audience était tardive et que sa requête de mise en oeuvre d'une inspection locale était inutile.
C.b. Statuant le 10 décembre 2013, la Cour d'appel civile du tribunal cantonal vaudois a rejeté l'appel du bailleur et confirmé le jugement attaqué.
D.
Contre cet arrêt, le bailleur a interjeté un recours en matière civile au Tribunal fédéral le 20 janvier 2014, concluant principalement à ce que la deuxième résiliation, extraordinaire (du 21 juin 2012), soit considéré comme valable, subsidiairement à ce que la troisième résiliation, ordinaire (du 23 juillet 2012) le soit, un court délai étant fixé à la locataire pour quitter les lieux; plus subsidiairement, il conclut à l'annulation et au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouveau jugement.
La locataire étant décédée le 5 septembre 2013, la procédure devant le Tribunal fédéral a été suspendue jusqu'à droit connu sur l'acceptation de sa succession. Invitée à produire un certificat d'héritiers officiel, la fille de la locataire ne s'est pas exécutée. Le Tribunal fédéral ayant sollicité d'office la Justice de paix, celle-ci a produit un certificat d'héritiers du 5 mars 2014, duquel il ressort que la fille de la défunte, A.B._, est la seule héritière instituée de la locataire.
Invitée à répondre, la fille de la locataire ne s'est pas déterminée. La cour cantonale s'est référée aux considérants de son arrêt.
Considérant en droit :
1.
Interjeté en temps utile (art. 100 al. 1 et 46 al. 1 let. c LTF) par le bailleur qui a succombé dans ses conclusions (art. 76 LTF), contre une décision finale (art. 90 LTF) prise en matière de bail à loyer (art. 72 al. 1 LTF) dans une cause dont la valeur litigieuse dépasse 15'000 fr. (arrêt 4A_634/2009 du 3 mars 2010 consid. 1.1 et les arrêts cités) et rendue sur appel par le tribunal supérieur du canton (art. 75 LTF), le recours en matière civile est recevable.
2.
Le décès du locataire ne met en principe pas fin au contrat de bail. Celui-ci continue avec les héritiers, qui assument les droits et les obligations du défunt (art. 560 CC; arrêt 4A_397/2013 du 11 février 2014 consid. 3.3; 4C.252/2005 du 6 février 2006 consid. 3, publié in SJ 2006 I p. 365, avec références à la jurisprudence et à la doctrine). Les parties peuvent toutefois convenir que le bail prend fin avec le décès du locataire (ATF 115 II 258 consid. 3a p. 259).
En l'espèce, le bail du 10 février 1986 ne prévoit rien en cas de décès du locataire. La fille de la défunte, qui est sa seule héritière et qui a accepté la succession, succède donc dans les droits et obligations de la locataire. Le rubrum du présent arrêt sera donc modifié dans ce sens.
3.
Saisi d'un recours en matière civile, le Tribunal fédéral applique d'office le droit (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 et l'arrêt cité).
4.
Le recourant s'en prend principalement à la deuxième résiliation, extraordinaire, du 21 juin 2012 pour le 31 juillet 2012, en raison des travaux non autorisés effectués par la locataire, qui a été jugée inefficace.
4.1. La cour cantonale a refusé d'entrer en matière sur cette deuxième résiliation pour un motif de procédure. Elle a constaté que l'appelant a conclu à la réforme du premier jugement en ce sens que, textuellement, " la résiliation du 23 juillet 2012 pour le 31 mars 2013 est valable, subsidiairement que la résiliation ordinaire est valable ". Elle a estimé qu'au vu de ses conclusions claires, rédigées par un avocat, le bailleur n'a pas remis en cause l'inefficacité de la deuxième résiliation, extraordinaire, du 21 juin 2012, que les premiers juges avaient jugée inefficace parce que les travaux entrepris par la locataire constituaient des travaux d'entretien et non de rénovation et qu'au vu de l'attitude du bailleur, la fixation d'un délai convenable afin d'effectuer ces travaux d'entretien aurait de toute manière été vaine. La cour cantonale a donc jugé superflus les griefs de l'appel relatifs à cette deuxième résiliation, ainsi que les requêtes tendant à la tenue d'une inspection locale (en vue de constater que le logement n'est pas insalubre) et à l'audition de témoins (en vue d'apporter un témoignage utile sur les différents points contestés de l'état de fait).
Invoquant une erreur de plume, le recourant soutient en substance que les conclusions de son appel devaient être interprétées à la lumière des motifs de celui-ci, sous peine de formalisme excessif; il fait valoir la violation de son droit d'être entendu (art. 53 CPC et 29 Cst.).
4.2. Aux termes de l'art. 311 al. 1 CPC, l'appel, écrit et motivé, est introduit auprès de l'instance d'appel et, en vertu de l'art. 315 al. 1 CPC, l'appel suspend la force de chose jugée et le caractère exécutoire de la décision dans la mesure des conclusions prises en appel.
L'appel doit donc contenir, à l'instar de la demande (art. 221 al. 1 let. b CPC) et de la demande simplifiée (art. 244 al. 1 let. b CPC), des conclusions (ATF 138 III 213 consid. 2.3 p. 216). En outre, les conclusions portant sur des créances en argent doivent être chiffrées (ATF 137 III 617 consid. 4.4.2 p. 618 s.). Il découle toutefois du principe de l'interdiction du formalisme excessif (art. 29 al. 1 Cst.) que le tribunal doit entrer en matière même sur les conclusions formellement insuffisantes lorsqu'il résulte clairement des motifs du mémoire d'appel en relation avec la décision attaquée quelles sont exactement les conclusions prises et donc les modifications du jugement demandées ou, en cas de créances portant sur des sommes d'argent, quel montant est réclamé. Les modifications demandées dans les conclusions stricto sensu du mémoire d'appel doivent être interprétées à la lumière des motifs de celui-ci (ATF 137 III 617 consid. 6.2).
4.3. En l'espèce, les conclusions stricto sensu du mémoire d'appel contiennent une contradiction dès lors que l'appelant y demande que soient déclarées valables, principalement, la résiliation du 23 juillet 2012, qui est la résiliation ordinaire, et, subsidiairement, à nouveau, la résiliation ordinaire. Il résulte néanmoins clairement des motifs de l'appel que l'appelant demandait à la cour d'appel de considérer que la résiliation - extraordinaire - du 21 juin 2012 était valable et si, par impossible, cette résiliation n'était pas jugée valable, que les résiliations ordinaires le soient. En s'attachant à une lecture étroite des conclusions stricto sensu, dont les motifs de l'appel permettait pourtant de déceler l'erreur de plume du rédacteur et de déterminer clairement les modifications que l'appelant demandait, la cour cantonale est tombée dans le formalisme excessif et, partant, a violé l'art. 29 al. 1 Cst.
5.
Il s'ensuit que le recours - soit la conclusion " plus subsidiaire " prise par le recourant en lien avec sa conclusion principale - doit être admis, l'arrêt attaqué annulé et la cause renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants. L'intimée ne s'étant pas déterminée sur le recours et des frais ne pouvant être mis à la charge du canton (art. 66 al. 4 LTF), il ne sera pas perçu de frais judiciaires. Bien qu'étant avocat et ayant conclu à l'allocation de dépens, le recourant n'a pas droit à une indemnité dès lors que les conditions de la complexité de l'affaire et du temps important consacré à la défense de ses intérêts ne sont pas remplies s'agissant du présent recours (ATF 125 II 518 consid. 5b).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 17 octobre 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Klett
Le Greffier : Piaget