Faits : A. Par contrat du 1er avril 1960, C._, à laquelle a succédé plus tard A._ (le 20 mai 2005), a remis à bail à C.B._, époux de B.B._, un appartement de 3 pièces à X._. Après le décès de C.B._, un nouveau bail a été établi au nom de B.B._ le 1er avril 1986, d'une durée initiale de trois ans, renouvelable tacitement d'année en année, sauf résiliation par l'une des parties quatre mois avant son échéance. A fin mars 2012, B.B._ a été hospitalisée. Durant son absence, sa fille, A.B._, et l'ami de celle-ci ont entrepris divers travaux dans l'appartement (peintures, pose de parquets clipsés, pose de carrelage, modernisation de la cuisine et changement de la baignoire notamment). Le 1er juillet 2012, B.B._, qui a été mise au bénéfice d'une allocation pour impotent de l'assurance invalidité, a réintégré son domicile. Le 22 juin 2013, A.B._ a déménagé chez sa mère afin de s'occuper d'elle. B. B.a. Dans l'intervalle, le 24 avril 2012, A._ a résilié le bail à loyer de B.B._ pour le 30 avril 2013, indiquant comme motifs " Utilisation pour la famille du propriétaire, rénovation " (ci-après: la première résiliation). Le 21 juin 2012, il a à nouveau résilié le bail pour le 31 juillet 2012, au motif de " Travaux importants effectués sans autorisation du bailleur, dommages volontaires à la propriété malgré mises en garde du bailleur " (ci-après: la deuxième résiliation). B.B._ a contesté ces deux résiliations devant la Commission de conciliation du district de Lavaux-Oron. Les deux parties s'étant opposées à sa proposition de jugement du 2 juillet 2012, la Commission de conciliation leur a délivré une autorisation de procéder le 15 août 2012. Locataire et bailleur ont déposé chacun une demande devant le Tribunal des baux du canton de Vaud, respectivement les 14 et 18 septembre 2012. B.B._ a conclu à la nullité et à l'annulation des deux résiliations des 24 avril 2012 et 21 juin 2012, subsidiairement à la prolongation du bail pour une durée maximale. A._ a conclu principalement à l'entrée en force, subsidiairement à la validité de la résiliation du 21 juin 2012 et plus subsidiairement à la validité de la résiliation du 24 avril 2012. B.b. Le 23 juillet 2012, A._ a à nouveau résilié le bail pour le 31 mars 2013, sans motivation, pour corriger sa première résiliation qui n'avait pas été donnée pour l'échéance contractuelle (ci-après: la troisième résiliation). La Commission a délivré une seconde autorisation de procéder. Locataire et bailleur ont à nouveau déposé chacun une demande devant le Tribunal des baux du canton de Vaud, respectivement les 26 octobre et 19 novembre 2012. La locataire a conclu à la nullité et à l'annulation de la résiliation du 23 juillet 2012. Le bailleur a conclu à la validité de la résiliation du 23 juillet 2012. C. C.a. Examinant la validité des trois résiliations que le bailleur a signifiées à la locataire, le Tribunal des baux a, par jugement du 28 janvier 2013, dit tout d'abord que la deuxième résiliation, extraordinaire, est inefficace parce que les travaux entrepris par la locataire n'étaient que des travaux d'entretien, que l'appartement n'avait pas été régulièrement entretenu par les bailleurs successifs et était en très mauvais état, ceux-ci ayant quasi systématiquement refusé d'effectuer des travaux d'entretien, et qu'il ressortait clairement de l'entrevue que la fille de la locataire a eu avec le bailleur le 29 avril 2012 que la fixation d'un délai convenable au bailleur pour effecteur des travaux serait restée sans effet et était par conséquent superflue. S'agissant des première et troisième résiliations, ordinaires, la troisième ayant pour but de corriger la première, le tribunal les a annulées, au motif que le bailleur n'a fourni aucun élément tendant à démontrer la réalité de ses projets, que ce soit en relation avec l'emménagement de sa mère ou avec les travaux envisagés, et que son manque de collaboration laissait supposer qu'il cherchait à cacher le véritable motif des congés. Le tribunal a aussi estimé que la liste des témoins proposés par le bailleur en début d'audience était tardive et que sa requête de mise en oeuvre d'une inspection locale était inutile. C.b. Statuant le 10 décembre 2013, la Cour d'appel civile du tribunal cantonal vaudois a rejeté l'appel du bailleur et confirmé le jugement attaqué. D. Contre cet arrêt, le bailleur a interjeté un recours en matière civile au Tribunal fédéral le 20 janvier 2014, concluant principalement à ce que la deuxième résiliation, extraordinaire (du 21 juin 2012), soit considéré comme valable, subsidiairement à ce que la troisième résiliation, ordinaire (du 23 juillet 2012) le soit, un court délai étant fixé à la locataire pour quitter les lieux; plus subsidiairement, il conclut à l'annulation et au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouveau jugement. La locataire étant décédée le 5 septembre 2013, la procédure devant le Tribunal fédéral a été suspendue jusqu'à droit connu sur l'acceptation de sa succession. Invitée à produire un certificat d'héritiers officiel, la fille de la locataire ne s'est pas exécutée. Le Tribunal fédéral ayant sollicité d'office la Justice de paix, celle-ci a produit un certificat d'héritiers du 5 mars 2014, duquel il ressort que la fille de la défunte, A.B._, est la seule héritière instituée de la locataire. Invitée à répondre, la fille de la locataire ne s'est pas déterminée. La cour cantonale s'est référée aux considérants de son arrêt.