Faits :
A.
A.a. H.X._ et F.X._ sont locataires d'un appartement de 4,5 pièces de 122 m2 au 2e étage (ci-après: les locataires du 2e étage) d'un immeuble appartenant désormais à A._ depuis le 15 décembre 1983, en vertu d'un contrat de bail du 6 décembre 1983. Depuis le 1er avril 2013, le loyer net est de 1'125 fr. par mois.
Y._ et Z._ sont locataires d'un appartement de 4,5 pièces de 122 m2 au 1er étage (ci-après: les locataires du 1er étage) dans le même immeuble depuis le 1er mai 2011, en vertu d'un contrat de bail du 21 mars 2011. Le loyer net a été fixé à 2'400 fr.
A.b. L'immeuble en question est un bâtiment séculaire, classé en note 3 au recensement architectural vaudois. Deux locaux commerciaux occupent le rez-de-chaussée et les trois étages supérieurs se composent chacun d'un appartement de 1,5 pièces et d'un appartement de 4,5 ou 5 pièces.
Le bailleur a entrepris d'importants travaux dans l'immeuble, qui ont duré du 8 avril 2013 au mois de juillet 2014. Ces travaux ont consisté principalement en la réfection complète de la toiture avec ajout d'une isolation, le ravalement des façades sans apport d'isolation, la peinture de la cage d'escalier, le remplacement de certaines fenêtres et la création d'un appartement dans les combles. Ils ont nécessité la pose d'échafaudages, avec un toboggan pour l'évacuation des déchets.
Le montant de ces travaux de rénovation a été arrêté à 302'162 fr. 30. L'état locatif annuel est de 179'040 fr.
A.c. Les locataires du 2e étage ont sollicité une baisse de loyer en raison de la baisse du taux hypothécaire le 6 décembre 2013. Le bailleur leur a notifié une hausse de loyer sur formule officielle du 20 mars 2014, fixant le nouveau loyer à 1'285 fr. net à compter du 30 septembre 2014, en se fondant sur la baisse du taux hypothécaire, le renchérissement du capital exposé au risque, ainsi que les prestations supplémentaires du bailleur.
Les locataires du 1er étage ont sollicité une baisse de loyer le 17 décembre 2013 pour la prochaine échéance. Le bailleur leur a opposé en compensation la répercussion du coût des importants travaux effectués et leur a annoncé une hausse de loyer pour l'échéance du 30 avril 2015. Celle-ci leur a été notifiée sur formule officielle le 1er avril 2014, le nouveau loyer étant fixé à 2'450 fr. dès le 1er avril 2015.
B.
Contre les modifications de leurs loyers, les locataires ont à chaque fois saisi la Commission de conciliation et, après délivrance des autorisations de procéder, le bailleur a déposé devant le Tribunal des baux du canton de Vaud une demande de hausse contre les locataires du 2e étage et deux demandes, l'une de rejet de la demande de baisse et l'autre de validité de la demande de hausse contre les locataires du 1er étage, toutes procédures que la présidente du Tribunal a jointes en vue d'une instruction et d'un jugement commun.
Le Tribunal des baux a tenu une audience le 23 janvier 2015 et a interrogé six témoins. Il a ordonné un complément d'instruction et a repris l'audience le 4 mai 2015.
Par jugement du 1er juin 2015, le Tribunal des baux a fixé le loyer des locataires du 2e étage à 1'123 fr. 05 dès le 1er avril 2014 (ch. III) et celui des locataires du 1er étage à 2'221 fr. 45 dès le 1er mai 2014 (ch. IV). Il a admis une hausse de loyer à raison de la plus-value des travaux de 28 fr. 45 pour chaque appartement.
Les réductions de loyer pour les nuisances subies pendant les travaux de rénovation et en raison du dégât d'eau survenu dans l'immeuble ne sont plus litigieuses.
Statuant le 13 avril 2016, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel du bailleur et réformé le jugement attaqué en ce sens que le loyer des locataires du 2e étage est fixé à 1'231 fr. 10 dès le 1er octobre 2014 (ch. III) et celui des locataires du 1er étage à 2'329 fr. 50 dès le 1er mai 2014 (ch. IV).
C.
Contre cet arrêt, les deux groupes de locataires ont interjeté un recours en matière civile au Tribunal fédéral le 15 septembre 2016, concluant principalement sur le fond à sa réforme dans le sens de la confirmation du premier jugement et, subsidiairement, à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Ils reprochent à la cour cantonale d'avoir calculé la hausse de loyer selon la méthode forfaitaire et la fourchette de 50 à 70 % de l'art. 14 al. 1 2e phr. OBLF, plutôt que selon la méthode concrète en fonction des plus-values effectives; subsidiairement, ils font valoir que même la méthode forfaitaire contient une erreur de calcul dans la prise en compte des frais financiers relatifs aux investissements; enfin, ils relèvent une erreur dans l'entrée en vigueur de la hausse en ce qui concerne les locataires du 1er étage.
Le bailleur intimé conclut au rejet du recours dans la mesure où il est recevable et à la confirmation de l'arrêt attaqué.
La cour cantonale se réfère aux considérants de son arrêt.

Considérant en droit :
1.
Interjeté en temps utile (<ref-law>) par les locataires consorts qui ont succombé dans leurs conclusions (<ref-law>) dans une contestation de baisse, respectivement de hausse de loyer en raison de travaux effectués par le bailleur (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu sur appel par un tribunal cantonal supérieur (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de bail à loyer (art. 74 al. 1 let. a, art. 51 al. 1 let. a et al. 4 et art. 52 LTF), le recours en matière civile est recevable au regard de ces dispositions.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
Le Tribunal fédéral se montre réservé en matière de constatations de fait et d'appréciation des preuves, vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales (<ref-ruling> consid. 4b; <ref-ruling> consid. 9 et les références). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 1.4.3; <ref-ruling> consid. 2.1).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 261/262).
Les faits nouveaux sont irrecevables devant le Tribunal fédéral (<ref-law>).
3.
Les recourants contestent tout d'abord le choix de la méthode de calcul applicable pour arrêter le montant de la hausse de loyer en raison des travaux effectués dans l'immeuble.
3.1. Ne sont en règle générale pas abusifs les loyers qui sont justifiés par des prestations supplémentaires du bailleur (<ref-law>). Sont réputés être de telles prestations (1) les investissements qui aboutissent à des améliorations créant des plus-values, (2) l'agrandissement de la chose louée, (3) les prestations accessoires supplémentaires (art. 14 al. 1 1ère phr. OBLF) et (4), partiellement, les importantes réparations, qui sont considérées, à raison de 50 à 70%, comme des investissements créant des plus-values (art. 14 al. 1 2e phr. OBLF). Sont aussi réputées prestations supplémentaires les améliorations énergétiques énumérées à l'<ref-law>.
Sont des investissements qui aboutissent à des améliorations créant des plus-values, les travaux et installations nouvelles qui accroissent la valeur de la chose louée, en améliorent la qualité, l'adaptent au goût du jour, en procurant en règle générale un meilleur confort au locataire (DAVID LACHAT, Le droit du bail à loyer, 2008, p. 478 n. 5.1.4). Seule la part de ceux-ci qui excède le coût de rétablissement ou de maintien de l'état initial de la chose louée est considérée comme prestation supplémentaire (<ref-law>; LACHAT, op. cit., p. 479 n. 5.1.4).
Sont des importantes réparations au sens de l'art. 14 al. 1 2e phr. OBLF, les travaux extraordinaires qui dépassent les réparations habituelles et l'entretien courant d'un point de vue quantitatif, qui concernent simultanément plusieurs parties essentielles de l'immeuble et qui génèrent un coût considérable en comparaison de l'état locatif de l'immeuble (arrêts 4A_102/2012 du 30 mai 2012 consid. 2.3; 4A_495/2010 du 20 janvier 2011 consid. 6.1 et les références citées). Les travaux qui ne correspondent qu'à l'entretien différé et ne comportent aucun élément de plus-value ne peuvent pas être considérés comme d'importantes réparations justifiant une majoration du loyer (LACHAT, op. cit., p. 480). La règle selon laquelle les frais causés par ces importantes réparations constituent, à raison de 50 à 70%, des investissements à plus-values à des fonctions simplificatrice et incitatrice: elle est simplificatrice en ce sens qu'elle vise à éviter d'avoir à déterminer la part exacte des travaux à plus-value; elle est incitatrice en ce qu'elle vise à encourager ou du moins à ne pas décourager les bailleurs d'entreprendre des travaux plus importants que nécessaires, ce dont les locataires bénéficient également. La présomption est certes réfragable, mais il ne saurait être question de l'écarter purement et simplement; une détermination concrète de la part à plus-value ne doit intervenir que lorsqu'il est aisé de distinguer la part qui donne lieu à plus-value (<ref-ruling> consid. 3a p. 417; arrêt 4A_102/2012 précité consid 2.4).
3.2. Il résulte tout d'abord des constatations de fait que la cour cantonale a écarté du tableau récapitulatif des coûts établi par le bailleur les éléments liés à l'aménagement du nouvel appartement dans les combles et des éléments non suffisamment précisés et qu'elle a arrêté les travaux de rénovation proprement dits à 302'162 fr. 30. Par comparaison, le revenu locatif n'est que de 179'040 fr.
Le Tribunal des baux a estimé que seul un montant de 45'008 fr. 95 (correspondant aux isolations nouvelles et à une petite part des frais de bennes et d'échafaudages) sur le total de 302'162 fr. 30, soit moins de 15% des travaux, représentait une plus-value, alors que le reste du coût, soit 257'153 fr. 35 (correspondant à la rénovation des façades, de la cage d'escalier, de la toiture, des volets, et aux serrures et aux ampoules) ne constituait, selon lui, qu'un entretien différé.
De son côté, la cour cantonale a estimé que le calcul détaillé effectué par le Tribunal des baux pour retenir le montant de 45'008 fr. 95, soit moins de 15% du total des travaux, était difficilement compréhensible et que les chiffres qu'il indiquait ne correspondaient pas à sa motivation. Ensuite, en substance, pour les autres postes des travaux, elle a estimé ne pas pouvoir suivre l'appréciation du tribunal, que, même si l'immeuble était vétuste, il n'était pas possible d'admettre que le montant de 257'153 fr. 35 pût correspondre exclusivement à un entretien négligé et qu'il fallait admettre qu'ils comportaient au moins une part de plus-value.
Procédant dès lors à une substitution de motifs, la cour cantonale a jugé que, faute de pouvoir facilement distinguer la part d'entretien de la part de plus-value, il convenait de s'en tenir à la présomption légale de l'art. 14 al. 1 2e phr. OBLF et, puisque le bailleur se contentait du taux minimum de 50%, ce qui était justifié par l'ancienneté de l'immeuble, dont les façades et la toiture n'avaient jamais été rénovées ou alors pas depuis longtemps, elle a retenu le montant de 151'081 fr. 15.
3.3. Les recourants, qui veulent en revenir au résultat du calcul effectué par le Tribunal des baux, ne s'en prennent pas directement aux raisons pour lesquelles la cour cantonale a estimé ne pas pouvoir suivre ce calcul. Ils n'exposent pas pourquoi, selon eux, celui-ci serait compréhensible.
Ils se limitent à se plaindre d'arbitraire en ce qui concerne l'état de l'immeuble. Dès lors que les recourants ne font que proposer leur propre interprétation de l'état de l'immeuble, en prenant le contre-pied de l'appréciation de la cour cantonale, leur critique est de nature appellatoire, partant irrecevable. Il est certes vrai que la cour cantonale n'a mentionné comme entretien que la réfection de la ferblanterie de deux lucarnes, mais elle ne l'a fait qu'à titre exemplatif.
En tant qu'ils soutiennent que c'est la création d'un nouvel appartement dans les combles qui a entraîné la réfection de la toiture et du plancher des combles et a obligé à repeindre les façades, les recourants proposent à nouveau leur propre interprétation des faits.
Les recourants ne parviennent pas à démontrer que les travaux entrepris ne correspondaient qu'à un entretien différé et ne comportaient aucun élément de plus-value. Il s'ensuit que la cour cantonale n'a pas violé l'art. 14 al. 1 2e phr. OBLF. D'ailleurs, les recourants semblent totalement perdre de vue que, pour la cour cantonale, l'état vétuste de l'immeuble (entretien différé) a été pris en considération pour la moitié (50%) du coût des travaux, soit pour 151'081 fr. 15.
4.
Subsidiairement, les recourants reprochent également à la cour cantonale d'avoir commis une erreur dans l'utilisation de la méthode forfaitaire de l'art. 14 al. 1 2e phr. OBLF.
Le Tribunal des baux avait admis un rendement admissible du capital de 2,5%. La cour cantonale a repris ce même pourcentage, qui n'était pas contesté par le bailleur, et retenu un chiffre de 3'777 fr. (2,5% de 151'081 fr. 15).
Les recourants estiment que c'est un taux de 1,25% qui aurait dû être pris en compte, en se basant en fait sur un taux hypothécaire de référence qui ne résulte pas de l'arrêt attaqué et en droit sur la jurisprudence qui permet d'effectuer le calcul.
Dès lors qu'ils n'indiquent pas avoir contesté ce rendement de 2,5%, qui est un fait, dans leur réponse à l'appel, leur grief est nouveau et, partant, irrecevable (<ref-law>).
5.
Les recourants reprochent enfin à la cour cantonale d'avoir prévu que la hausse du loyer des locataires du 1er étage devait prendre effet au 1er avril 2014 alors qu'elle ne devait entrer en vigueur que le 1er mai 2015. Ils relèvent une contradiction entre l'arrêt p. 12 qui indique que le bailleur a notifié une hausse de loyer, selon eux, pour le 1er mai 2015. L'entrée en vigueur aurait ainsi été avancée à tort d'une année.
Force est de constater tout d'abord que les recourants eux-mêmes se basent sur des dates erronées: le dispositif de l'arrêt attaqué retient la date du 1er mai 2014, alors que la hausse avait été notifiée par le bailleur pour le 1er avril 2015.
Cela étant, les recourants (soit ici les locataires du 1er étage) oublient que le dispositif de l'arrêt cantonal prévoit pour eux toujours une baisse de loyer (2'329 fr.50 à la place de celui de 2'400 fr. prévu initialement). Les recourants n'ont donc aucun intérêt à ce que l'entrée en vigueur d'une baisse de loyer, par ailleurs correctement fixée dans le dispositif, soit reportée à une date ultérieure.
Il n'y a donc pas lieu d'entrer en matière sur ce point.
6.
Au vu des considérants qui précèdent, le recours doit être rejeté dans la mesure où il est recevable, aux frais des recourants (<ref-law>). L'intimé ayant procédé sans l'assistance d'un avocat, il n'a pas droit à l'allocation de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis solidairement à la charge des recourants.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 11 avril 2017
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget