Faits : A. A.a. H.X._ et F.X._ sont locataires d'un appartement de 4,5 pièces de 122 m2 au 2e étage (ci-après: les locataires du 2e étage) d'un immeuble appartenant désormais à A._ depuis le 15 décembre 1983, en vertu d'un contrat de bail du 6 décembre 1983. Depuis le 1er avril 2013, le loyer net est de 1'125 fr. par mois. Y._ et Z._ sont locataires d'un appartement de 4,5 pièces de 122 m2 au 1er étage (ci-après: les locataires du 1er étage) dans le même immeuble depuis le 1er mai 2011, en vertu d'un contrat de bail du 21 mars 2011. Le loyer net a été fixé à 2'400 fr. A.b. L'immeuble en question est un bâtiment séculaire, classé en note 3 au recensement architectural vaudois. Deux locaux commerciaux occupent le rez-de-chaussée et les trois étages supérieurs se composent chacun d'un appartement de 1,5 pièces et d'un appartement de 4,5 ou 5 pièces. Le bailleur a entrepris d'importants travaux dans l'immeuble, qui ont duré du 8 avril 2013 au mois de juillet 2014. Ces travaux ont consisté principalement en la réfection complète de la toiture avec ajout d'une isolation, le ravalement des façades sans apport d'isolation, la peinture de la cage d'escalier, le remplacement de certaines fenêtres et la création d'un appartement dans les combles. Ils ont nécessité la pose d'échafaudages, avec un toboggan pour l'évacuation des déchets. Le montant de ces travaux de rénovation a été arrêté à 302'162 fr. 30. L'état locatif annuel est de 179'040 fr. A.c. Les locataires du 2e étage ont sollicité une baisse de loyer en raison de la baisse du taux hypothécaire le 6 décembre 2013. Le bailleur leur a notifié une hausse de loyer sur formule officielle du 20 mars 2014, fixant le nouveau loyer à 1'285 fr. net à compter du 30 septembre 2014, en se fondant sur la baisse du taux hypothécaire, le renchérissement du capital exposé au risque, ainsi que les prestations supplémentaires du bailleur. Les locataires du 1er étage ont sollicité une baisse de loyer le 17 décembre 2013 pour la prochaine échéance. Le bailleur leur a opposé en compensation la répercussion du coût des importants travaux effectués et leur a annoncé une hausse de loyer pour l'échéance du 30 avril 2015. Celle-ci leur a été notifiée sur formule officielle le 1er avril 2014, le nouveau loyer étant fixé à 2'450 fr. dès le 1er avril 2015. B. Contre les modifications de leurs loyers, les locataires ont à chaque fois saisi la Commission de conciliation et, après délivrance des autorisations de procéder, le bailleur a déposé devant le Tribunal des baux du canton de Vaud une demande de hausse contre les locataires du 2e étage et deux demandes, l'une de rejet de la demande de baisse et l'autre de validité de la demande de hausse contre les locataires du 1er étage, toutes procédures que la présidente du Tribunal a jointes en vue d'une instruction et d'un jugement commun. Le Tribunal des baux a tenu une audience le 23 janvier 2015 et a interrogé six témoins. Il a ordonné un complément d'instruction et a repris l'audience le 4 mai 2015. Par jugement du 1er juin 2015, le Tribunal des baux a fixé le loyer des locataires du 2e étage à 1'123 fr. 05 dès le 1er avril 2014 (ch. III) et celui des locataires du 1er étage à 2'221 fr. 45 dès le 1er mai 2014 (ch. IV). Il a admis une hausse de loyer à raison de la plus-value des travaux de 28 fr. 45 pour chaque appartement. Les réductions de loyer pour les nuisances subies pendant les travaux de rénovation et en raison du dégât d'eau survenu dans l'immeuble ne sont plus litigieuses. Statuant le 13 avril 2016, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel du bailleur et réformé le jugement attaqué en ce sens que le loyer des locataires du 2e étage est fixé à 1'231 fr. 10 dès le 1er octobre 2014 (ch. III) et celui des locataires du 1er étage à 2'329 fr. 50 dès le 1er mai 2014 (ch. IV). C. Contre cet arrêt, les deux groupes de locataires ont interjeté un recours en matière civile au Tribunal fédéral le 15 septembre 2016, concluant principalement sur le fond à sa réforme dans le sens de la confirmation du premier jugement et, subsidiairement, à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Ils reprochent à la cour cantonale d'avoir calculé la hausse de loyer selon la méthode forfaitaire et la fourchette de 50 à 70 % de l'art. 14 al. 1 2e phr. OBLF, plutôt que selon la méthode concrète en fonction des plus-values effectives; subsidiairement, ils font valoir que même la méthode forfaitaire contient une erreur de calcul dans la prise en compte des frais financiers relatifs aux investissements; enfin, ils relèvent une erreur dans l'entrée en vigueur de la hausse en ce qui concerne les locataires du 1er étage. Le bailleur intimé conclut au rejet du recours dans la mesure où il est recevable et à la confirmation de l'arrêt attaqué. La cour cantonale se réfère aux considérants de son arrêt.