Citation: 4A_531/2016 E. A

A.a. H.X.________ et F.X.________ sont locataires d'un appartement de 4,5 pièces de 122 m2 au 2e étage (ci-après: les locataires du 2e étage) d'un immeuble appartenant désormais à A.________ depuis le 15 décembre 1983, en vertu d'un contrat de bail du 6 décembre 1983. Depuis le 1er avril 2013, le loyer net est de 1'125 fr. par mois. Y.________ et Z.________ sont locataires d'un appartement de 4,5 pièces de 122 m2 au 1er étage (ci-après: les locataires du 1er étage) dans le même immeuble depuis le 1er mai 2011, en vertu d'un contrat de bail du 21 mars 2011. Le loyer net a été fixé à 2'400 fr. A.b. L'immeuble en question est un bâtiment séculaire, classé en note 3 au recensement architectural vaudois. Deux locaux commerciaux occupent le rez-de-chaussée et les trois étages supérieurs se composent chacun d'un appartement de 1,5 pièces et d'un appartement de 4,5 ou 5 pièces. Le bailleur a entrepris d'importants travaux dans l'immeuble, qui ont duré du 8 avril 2013 au mois de juillet 2014. Ces travaux ont consisté principalement en la réfection complète de la toiture avec ajout d'une isolation, le ravalement des façades sans apport d'isolation, la peinture de la cage d'escalier, le remplacement de certaines fenêtres et la création d'un appartement dans les combles. Ils ont nécessité la pose d'échafaudages, avec un toboggan pour l'évacuation des déchets. Le montant de ces travaux de rénovation a été arrêté à 302'162 fr. 30. L'état locatif annuel est de 179'040 fr. A.c. Les locataires du 2e étage ont sollicité une baisse de loyer en raison de la baisse du taux hypothécaire le 6 décembre 2013. Le bailleur leur a notifié une hausse de loyer sur formule officielle du 20 mars 2014, fixant le nouveau loyer à 1'285 fr. net à compter du 30 septembre 2014, en se fondant sur la baisse du taux hypothécaire, le renchérissement du capital exposé au risque, ainsi que les prestations supplémentaires du bailleur. Les locataires du 1er étage ont sollicité une baisse de loyer le 17 décembre 2013 pour la prochaine échéance. Le bailleur leur a opposé en compensation la répercussion du coût des importants travaux effectués et leur a annoncé une hausse de loyer pour l'échéance du 30 avril 2015. Celle-ci leur a été notifiée sur formule officielle le 1er avril 2014, le nouveau loyer étant fixé à 2'450 fr. dès le 1er avril 2015.