Faits :
A.
A.a. Par contrat signé les 30 septembre et 1er octobre 2013, B._ et C._ (ci-après: les locataires, les demandeurs ou les intimés) ont pris à bail un appartement de 4 pièces, d'une surface de 114 m2, au 1er étage d'un immeuble à Commugny appartenant à A._ (ci-après: le bailleur, le défendeur ou le recourant). Le bail, conclu pour une durée initiale de cinq ans, du 1er décembre 2013 au 30 novembre 2018, est reconductible tacitement pour cinq ans et ainsi de suite de cinq ans en cinq ans, sauf avis de résiliation reçu par l'une ou l'autre des parties au moins trois mois avant la prochaine échéance. Les locataires peuvent cependant également résilier le bail en tout temps pour la fin d'un mois, sauf pour le 31 décembre, moyennant préavis donné et reçu trois mois à l'avance (ch. 6.6 du contrat; complètement selon l'art. 105 al. 2 LTF).
Le loyer mensuel net convenu s'élève à 2'550 fr. (acompte de frais accessoires en sus). Sous ch. 3.7 (" Critères de fixation du loyer "), il est précisé que le taux hypothécaire n'a pas été pris en considération et que le taux de l'indice suisse des prix à la consommation (ci-après: l'ISPC) est de 98.90 au 31 août 2013. Sous ch. 6.7 des dispositions complémentaires, il est prévu que, sans dénonciation du bail, mais moyennant un préavis d'un mois, notifié sur la formule officielle, le loyer pourra être modifié proportionnellement à la variation de l'ISPC en prenant pour base celui indiqué au ch. 3.7, une telle modification ne pouvant toutefois intervenir qu'une fois par année.
Durant la période initiale de cinq ans, les locataires ont obtenu une baisse de loyer de 25 fr. par mois, fondée sur la baisse de l'ISPC.
Par contrat de bail séparé, les locataires ont également pris à bail une place de parc intérieure, pour une durée indéterminée, dont le loyer mensuel de 120 fr. est fixe. Ce contrat est résiliable par chacune des parties pour la fin d'un mois, moyennant un préavis de trois mois.
A.b. Par courrier du 10 juillet 2018, les locataires ont requis, avec effet à l'expiration de la durée initiale de cinq ans convenue, intervenant le 30 novembre 2018, une baisse de loyer (art. 270a CO). Le bailleur, par sa régie, a refusé d'entrer en matière.
B.
Le 6 août 2018, les locataires ont saisi la Commission de conciliation en matière de baux à loyer du district de Nyon, concluant à une baisse de loyer (art. 270a CO) et requérant la production de toutes les pièces nécessaires au calcul du rendement net.
Les locataires s'étant opposés à la proposition de jugement qui leur avait été faite par la Commission et ayant obtenu une autorisation de procéder, ils ont déposé leur demande devant le Tribunal des baux du canton de Vaud le 19 novembre 2018, concluant en substance à la réduction du loyer mensuel convenu de 2'550 fr. au montant de 1'500 fr., montant qu'ils ont ensuite réduit à 1'200 fr., puis encore à 1'000 fr. et enfin, dans leurs dernières conclusions, à 1'050 fr. à compter du 1er décembre 2018. Ils ont également demandé la réduction du loyer mensuel de la place de parc à 110 fr., la restitution du trop-perçu, ainsi que la diminution de la garantie locative.
Par jugement du 20 juin 2019, le Tribunal des baux a fixé le loyer mensuel net des locataires à 1'050 fr. dès le 1er décembre 2018. Il a considéré que le bail était à loyers indexés et qu'en dépit de la reconduction du bail pour une durée de cinq ans, les locataires pouvaient requérir une adaptation de leur loyer, indépendante de l'évolution de l'ISPC et calculée en fonction du rendement net procuré au bailleur; il a calculé pour l'appartement en question un montant de 1'042 fr. 25 par mois et, ne pouvant statuer ultra petita, a fixé le loyer mensuel à 1'050 fr. dès le 1er décembre 2018 (ch. I du dispositif) et ordonné la restitution des loyers perçus en trop (ch. II). Il a par ailleurs fixé à 113 fr. 20 le loyer mensuel de la place de parc dès le 1er décembre 2018 (ch. III) et rendu son jugement sans frais judiciaires ni dépens (ch. IV).
Statuant le 16 décembre 2019, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel du bailleur et confirmé le jugement attaqué. Après avoir rappelé que, pour un bail à loyer fixe, la méthode relative s'applique (art. 270a CO) et que le locataire ne peut par ce biais remettre en cause le loyer initial (art. 270 CO), la cour cantonale a considéré qu'il en va différemment lorsque le bail est à loyers indexés. Examinant tout d'abord la jurisprudence (ATF 123 III 76 consid. 4c, confirmé dans l'arrêt 4A_489/2010 du 6 janvier 2011 consid. 4.2 et auquel l'ATF 142 III 568 consid. 1.3 se réfère sans réserve), au sujet de laquelle le bailleur avait relevé qu'elle datait de plus de 20 ans, elle en a déduit que les parties peuvent prétendre à une hausse, respectivement à une baisse du loyer, en se fondant sur la méthode absolue (implicitement) du rendement net, indépendamment de savoir si l'on se trouve en période de taux hypothécaire élevé ou non. Puis elle a écarté les objections du bailleur: premièrement, si elle admet que cette solution revient à permettre au locataire de contester le loyer initial lors de la reconduction du bail, elle relève que le bailleur dispose de la même possibilité. Secondement, on ne pourrait pas opérer de distinction selon que le taux hypothécaire est monté ou descendu. Elle a ensuite contrôlé le calcul du rendement net et confirmé la réduction du loyer à 1'050 fr. par mois (ch. II du dispositif) et mis les frais de l'instance d'appel à la charge du défendeur (ch. III).
C.
Contre cet arrêt qui lui avait été notifié le 9 janvier 2020, le bailleur a interjeté un recours en matière civile au Tribunal fédéral le 10 février 2020, concluant à sa réforme en ce sens que la demande des locataires est rejetée dans la mesure où elle est recevable. Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à la cour cantonale ou au Tribunal des baux pour nouvelle décision dans le sens des considérants.
En bref, en ce qui concerne l'appartement, il demande premièrement une modification de la jurisprudence: il relève que celle-ci, soit l'ATF 123 III 76, date de plus de 20 ans et a été rendue à une époque où les taux hypothécaires de référence étaient montés jusqu'à 7 %, que le Tribunal fédéral n'y explique pas pourquoi la méthode absolue devrait s'appliquer, que, dans les arrêts ultérieurs, soit il ne le fait pas non plus, soit la méthode relative était invoquée, que l'application de la méthode absolue ne peut être justifiée par le caractère aléatoire du bail à loyers indexés, qu'il n'y a pas de raison de faire une différence avec le bail de même durée à loyer fixe, qu'il y a une différence entre le bail à loyers indexés et le bail à loyers échelonnés, qu'il n'y a pas de raison d'offrir au locataire une nouvelle occasion de contester le loyer initial cinq ans après la conclusion du contrat, et ainsi de suite tous les cinq ans et que le fait que le bailleur pourrait également le faire ne constitue pas une justification. Selon le bailleur, la méthode relative est suffisante pour apporter les correctifs nécessaires. Secondement, il reproche à la cour cantonale de n'avoir pas calculé un rendement net des fonds propres qui lui procure un rendement suffisant, et en particulier d'avoir retenu le taux de 0,5 % en sus du taux hypothécaire de référence pour le rendement admissible des fonds propres.
Les locataires intimés concluent au rejet du recours. Ils relèvent que si, dans un contexte de hausse des taux hypothécaires, le bailleur avait intérêt à demander l'adaptation du loyer pour obtenir un rendement suffisant en application de la méthode absolue, dans un contexte de baisse des taux, c'est le locataire qui a intérêt à obtenir la diminution du loyer selon cette méthode. La jurisprudence serait bien établie et les critiques de la doctrine ne seraient guère étayées.
Les parties ont encore déposé chacune des observations.
La cour cantonale se réfère aux considérants de son arrêt.
Considérant en droit :
1.
Interjeté en temps utile (art. 100 al. 1 et art. 45 al. 1 LTF) par le bailleur qui a succombé dans ses conclusions (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu sur appel par un tribunal cantonal supérieur (art. 75 LTF) dans une affaire de diminution du loyer en cours de bail (art. 72 al. 1 LTF), dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de bail à loyer (art. 74 al. 1 let. a LTF), le recours en matière civile est recevable au regard de ces dispositions.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Si une partie souhaite obtenir un complètement de l'état de fait, elle doit démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (ATF 140 III 86 consid. 2 p. 90). Si sa critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (art. 106 al. 2 LTF; ATF 140 III 86 consid. 2 p. 90; ATF 140 III 16 consid. 1.3.1 p. 18). De son côté, le Tribunal fédéral peut compléter d'office les constatations de fait (art. 105 al. 2 LTF).
2.2. Le Tribunal fédéral applique d'office le droit (art. 106 al. 1 LTF) à l'état de fait constaté dans l'arrêt cantonal (ou à l'état de fait qu'il aura rectifié). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'art. 42 al. 2 LTF, il n'examine pas, comme le ferait un juge de première instance, toutes les questions juridiques qui pourraient se poser, mais uniquement celles qui sont soulevées devant lui (ATF 140 III 86 consid. 2 p. 88; 137 III 241 consid. 5 p. 243, 580 consid. 1.3 p. 584), à moins que la violation du droit ne soit manifeste (ATF 140 III 115 consid. 2 p. 116; arrêt 5A_621/2013 du 20 novembre 2014 consid. 2.2, non publié in ATF 141 III 53). Dès lors qu'une question est discutée, le Tribunal fédéral n'est lié ni par les motifs invoqués par les parties, ni par l'argumentation juridique retenue par l'autorité cantonale; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 140 III 86 consid. 2 p. 89; 135 III 397 consid. 1.4 p. 400).
3.
Est litigieuse la question de savoir si, en présence d'un bail à loyers indexés d'une durée de cinq ans, reconductible tacitement de cinq ans en cinq ans, sauf résiliation, les locataires pourraient demander, à l'échéance de la durée initiale et donc pour la période suivante, une diminution de loyer en invoquant que le loyer convenu initialement serait excessif au regard du rendement net, contrôle qui s'effectuerait selon la méthode absolue. La cour cantonale l'a admis et a réduit le loyer de 2'550 fr. (initial) à 1'050 fr. par mois. Le bailleur le conteste, invoquant une violation des art. 269, 269a, 270aet 270c CO, ainsi que de l'art. 152 CPC.
Ni la cour cantonale, ni les parties ne discutent la question de savoir si la clause d'indexation devrait continuer à s'appliquer durant la période de reconduction tacite pour cinq ans, en dépit de la demande de baisse de loyer et, comme l'a fait la cour cantonale, de la fixation d'un nouveau loyer. Faute de grief, le Tribunal fédéral ne se prononcera donc pas sur cette question (cf. consid. 2.2 ci-dessus).
3.1. Conformément à l'art. 269b CO, les parties peuvent, à deux conditions, conclure un bail à loyers indexés en convenant d'une clause d'indexation: (1) le bail doit être conclu pour une période de cinq ans au moins et (2) l'indice d'indexation est l'ISPC. Selon la jurisprudence, il est exclu de par la loi de prévoir d'autres facteurs d'adaptation du loyer, à moins que la majoration ne soit justifiée par des prestations supplémentaires du bailleur et que le contrat de bail n'ait réservé expressément cette possibilité; il est également exclu de cumuler la clause d'indexation et une clause d'échelonnement (ATF 124 III 57 consid. 3a p. 59).
La clause d'indexation a pour but de garantir au bailleur que le loyer suivra l'évolution du coût de la vie et d'offrir au locataire un bail de longue durée et un mode de fixation clair du loyer (LACHAT/STASTNY, Le bail à loyer, 2019, p. 643 n. 2.1.2).
3.2. Au début du bail à loyers indexés, le locataire a la possibilité d'ouvrir action en contestation du loyer initial aux conditions de l'art. 270 CO, cette action étant expressément réservée par l'art. 270c CO.
3.3. Durant la durée initiale du bail - d'au moins cinq ans -, le loyer ne peut, par avis de majoration de loyer au sens de l'art. 269d CO, être adapté qu'au renchérissement selon l'ISPC, à l'exclusion de tout autre facteur de hausse (art. 17 al. 3 de l'ordonnance du 9 mai 1990 sur le bail à loyer et le bail à ferme d'habitations et de locaux commerciaux [RS 221.213.11; OBLF]), et aux conditions prévues par le contrat. Le locataire peut seulement rétorquer que l'augmentation n'est justifiée par aucune variation correspondante de cet indice (art. 270c CO).
De son côté, le locataire peut demander une diminution de loyer en cas de baisse de cet indice (art. 270a CO et art. 17 al. 2 OBLF). Le bailleur peut uniquement objecter que la diminution de loyer demandée par le locataire ne correspond à aucune variation de cet indice (art. 270c CO).
3.4. À l'expiration de la durée initiale du bail - d'au moins cinq ans -, que le bail prévoie une reconduction tacite pour une nouvelle durée de cinq ans ou pour une durée inférieure, chaque partie peut, en respectant le délai de résiliation, solliciter une modification du loyer (art. 269det 270a CO). La jurisprudence a en effet considéré que, comme l'évolution du taux hypothécaire de référence n'est pas prise en considération dans un bail à loyers indexés, ni le locataire, ni le bailleur ne peuvent prétendre, en se prévalant de la confiance éveillée par l'autre partie, qu'ils pouvaient penser que le loyer issu de la dernière indexation effectuée pendant la durée minimale du bail procure au bailleur un rendement suffisant de la chose louée (ATF 123 III 76 consid. 4c p. 80 s.).
Par conséquent, le bailleur peut réclamer une augmentation du loyer conformément à l'art. 269d CO et le locataire une diminution du loyer en vertu de l'art. 270a CO (" en cours de bail ").
3.4.1. Il n'est ni contesté ni contestable que le demandeur - locataire ou bailleur - puisse invoquer la méthode relative à l'appui de son action.
C'est de manière ambiguë que l'ATF 123 III 76 consid. 4c p. 81 mentionne le " rejet de la méthode relative, en tout cas dans la mesure où elle se fonderait sur la présomption voulant que le loyer issu de la dernière indexation effectuée pendant la durée minimale du bail procure au bailleur un rendement suffisant de la chose louée ", ce d'autant qu'il affirme plus loin également que le bailleur a le " choix entre la méthode absolue et la méthode relative " (ATF 123 III 76 consid. 4c p. 82).
Si le locataire demande une baisse de loyer fondée sur la méthode relative (art. 270a CO) en raison de la baisse du taux hypothécaire de référence, la comparaison doit s'effectuer avec le loyer fixé au début du bail (ATF 125 III 358 consid. 1b/bb p. 362; 123 III 76 consid. 4c p. 83). À titre de moyen de défense, le bailleur peut toujours exiger du juge qu'il vérifie au moyen de la méthode absolue du rendement si le loyer en vigueur est abusif ou non.
Si le bailleur invoque la méthode relative pour augmenter le loyer en fonction de la hausse du taux hypothécaire de référence (art. 269d CO), c'est également le taux hypothécaire de référence appliqué lors de la conclusion du contrat de bail qui est déterminant pour le calcul de la hausse de loyer. Comme on l'a vu, il n'y a en effet pas de présomption que le dernier loyer indexé assurerait un rendement suffisant au bailleur. Comme le précise l'ATF 123 III 76 consid. 4c p. 83, il va de soi que le locataire peut invoquer, de son côté (c'est-à-dire comme moyen de défense), que la majoration est abusive en se prévalant de la méthode absolue du rendement (cf. ATF 121 III 163 consid. 2d/aa p. 165).
3.4.2. La question de savoir si le demandeur - locataire ou bailleur - peut agir en réclamant une modification en application de la méthode absolue (c'est-à-dire du rendement net) n'a en réalité jamais été tranchée en tant que telle.
3.4.2.1. Dans l'ATF 123 III 76 consid. 4c p. 82 (et le consid. 5 de ce même arrêt 4C.296/1996 du 4 février 1997, non publié in ATF 123 III 76), le Tribunal fédéral a admis, alors que le bail avait été reconduit tacitement sans que les parties ne demandent la modification du loyer à l'expiration de la durée initiale (s'agissant d'un bail initial de dix ans renouvelable d'année en année, sauf résiliation douze mois avant son échéance), que le bailleur puisse ouvrir action en augmentation du loyer en invoquant la méthode absolue du rendement, appliquant par analogie, mutatis mutandis, la solution adoptée en matière de loyers échelonnés.
Or, d'une part, l'essentiel de la motivation de cet arrêt portait sur la question de savoir si, faute de contestation du loyer au moment de l'expiration de la durée initiale, l'inaction du bailleur pouvait lui être opposée pour la période postérieure.
D'autre part, la jurisprudence en matière de bail à loyers échelonnés concerne surtout les habitations neuves et d'un prix élevé, dont le bailleur ne peut obtenir le rendement brut nécessaire et admissible en raison de la situation du marché; grâce à l'échelonnement du loyer (art. 269c CO), le rendement brut d'abord insuffisant est progressivement augmenté de façon à couvrir les frais sur l'ensemble de la durée du contrat (ATF 121 III 397 consid. 2b/aa p. 401). Si, en présence d'un tel bail, le bailleur doit pouvoir, à titre actif, exiger l'application de la méthode absolue après la reconduction du bail à l'échéance de la durée initiale minimale de trois ans, dès lors qu'il s'agit de lui permettre d'obtenir après coup une augmentation du loyer de manière à couvrir le rendement brut de ses fonds propres, un tel motif ne paraît guère avoir de sens en matière de bail à loyers indexés, le but et le caractère aléatoire de la clause d'indexation étant fort différents (contestant la méthode absolue en faveur du bailleur, cf. ANITA THANEI, Die Rechtsprechung des Bundesgerichts zur Mietzinsfestsetzung, 2000, p. 40 s.).
La question de savoir si le bailleur peut agir ainsi n'a toutefois pas à être tranchée en l'espèce.
3.4.2.2. Dans l'ATF 123 III 76, statuant sur une demande d'augmentation du loyer formée par le bailleur, le Tribunal fédéral n'a évidemment pas tranché la question de savoir si le locataire pouvait agir en diminution du loyer en invoquant la méthode absolue du rendement net. C'est à la suite d'une mauvaise compréhension de cet arrêt que l'arrêt 4C.157/2001 du 1er octobre 2001 (statuant sur une demande d'augmentation du loyer, finalement abandonnée, à laquelle les locataires, qui requéraient une diminution du loyer, s'étaient opposés) en a extrapolé la même solution pour le locataire agissant en diminution du loyer, retenant en définitive que " les deux parties peuvent exiger la détermination d'un nouveau loyer selon la méthode absolue ", abandonnant dans la foulée l'application seulement mutatis mutandis de la jurisprudence en matière de loyers échelonnés (arrêt 4C.157/2001 précité consid. 1a; cf. ATF 121 III 397 consid. 2b/bb p. 404). Cette erreur a ensuite été reprise dans l'arrêt 4A_489/2010 du 6 janvier 2011 consid. 4.2, affirmant que la " majoration ou diminution peut être déterminée soit à l'aide de la méthode relative, soit au moyen de la méthode absolue, selon le choix de la partie requérante ", alors que le Tribunal fédéral était saisi d'un litige relatif à une requête de diminution du loyer formée par le locataire au motif de la baisse du taux hypothécaire de référence, le locataire se prévalant ainsi de la méthode relative. Cette erreur s'est perpétuée ensuite dans les ATF 137 III 580 consid. 1.1 p. 583 et 142 III 568 consid. 1.3 p. 574, qui ne font que résumer le précédent arrêt, ainsi que dans l'arrêt 4A_269/2015 du 2 novembre 2015 consid. 2.3, statuant lui aussi sur une demande de baisse de loyer en raison de la baisse du taux hypothécaire de référence et de l'ISPC.
La jurisprudence étant entachée sur ce point d'ambiguïtés, il s'impose de revoir la question de façon à lever, dans l'intérêt général, l'insécurité juridique constatée (cf. ATF 134 III 354 consid. 1.4 et 1.5 p. 357 s.).
3.5. Il convient donc de trancher la question de savoir si le locataire peut agir en diminution du loyer (art. 270a CO) avec effet à l'expiration de la durée initiale du bail à loyers indexés en invoquant la méthode absolue du rendement net.
Dès lors que le locataire a la possibilité d'agir en contestation du loyer initial (art. 270c CO) en invoquant la méthode absolue et le rendement net excessif (art. 269 CO) au début du bail à loyers indexés, lui donner la faculté de le faire à nouveau à l'expiration de la durée du bail initiale minimale de cinq ans, voire encore à chaque nouvelle reconduction tacite pour une durée de cinq ans au minimum, reviendrait à contourner le délai et les conditions de l'action en contestation du loyer initial de l'art. 270 CO. En effet, non seulement cette contestation pourrait intervenir plusieurs années après la conclusion du bail, mais encore elle ne serait pas soumise aux autres conditions de l'art. 270 CO. Pour ce motif déjà, il y a lieu de refuser au locataire le droit d'invoquer la méthode absolue à l'appui d'une diminution de loyer à l'expiration de la durée initiale (art. 270a CO) et, partant, le droit d'exiger du bailleur qu'il fournisse toutes les pièces nécessaires au calcul du rendement net de la chose louée (dans ce sens: tant pour le bailleur que pour le locataire, THANEI, loc. cit.; pour le cas où le bail est reconduit pour au moins cinq ans, sauf circonstances exceptionnelles, LACHAT/STASTNY, op. cit., p. 657 n. 2.3.4). S'il entendait contester le loyer initial convenu, le locataire pouvait le faire dans le délai de 30 jours à réception de la chose louée. Il ne peut être tiré aucun argument de la faculté reconnue au locataire d'exiger une diminution du loyer à la sortie du contrôle étatique des loyers, dès lors qu'en pareille situation, le locataire n'a pas disposé de la possibilité de contester le loyer initial devant le juge civil aux fins de faire vérifier par celui-ci que le rendement net est excessif et le loyer abusif selon les critères de l'art. 269 CO (arrêt 4A_157/2019 du 21 avril 2020 consid. 3.2.2, destiné à la publication).
Ainsi, comme dans le cas d'un bail à loyer fixe, conformément à la règle de l'art. 270a CO (" rendement excessif [...] à cause d'une notable modification des bases de calcul, résultant en particulier d'une baisse des frais "), le locataire ne peut invoquer à l'expiration de la durée initiale du bail à loyers indexés qu'une diminution de loyer fondée sur des facteurs relatifs. À cette demande de baisse ainsi fondée sur la méthode relative, le bailleur peut opposer l'exception que le (dernier) loyer indexé n'est pas abusif malgré la modification des bases de calcul parce qu'il ne lui procure pas un rendement net excessif selon la méthode absolue (ATF 121 III 163 consid. 2d/bb p. 168).
3.6. Il n'y a pas lieu d'examiner les autres cas de figure évoqués dans l'ATF 123 III 76 consid. 4c p. 82 s.
3.7.
3.7.1. En l'espèce, il ressort des faits constatés que le bail d'une durée minimale de cinq ans a été renouvelé pour une nouvelle période de cinq ans.
Pour la période postérieure à l'échéance de la durée initiale de cinq ans du bail, soit dès le 1er décembre 2018, les locataires ont demandé une diminution de loyer fondée sur l'art. 270a CO et requis que le bailleur produise toutes les pièces nécessaires au calcul du rendement net de la chose louée.
C'est à tort que les instances cantonales ont admis que les locataires pouvaient agir ainsi en exigeant l'application de la méthode absolue du rendement net, cette solution ayant pour effet de contourner la règle et les principes jurisprudentiels applicables à la contestation du loyer initial de l'art. 270 CO.
La méthode absolue n'étant pas applicable, il n'y a pas lieu d'examiner la recevabilité de la pièce no 101 produite par les locataires intimés, soit un extrait du registre foncier listant les propriétés du bailleur. Il est aussi superflu d'examiner le second grief du bailleur tiré du taux admissible du rendement des fonds propres, étant précisé toutefois qu'entretemps, le Tribunal fédéral a modifié sa jurisprudence (cf. arrêt 4A_554/2019 du 26 octobre 2020, destiné à la publication).
3.7.2. L'action en diminution du loyer de l'art. 270a CO est soumise au principe de disposition (art. 58 CPC) et à la maxime inquisitoire simple (ou sociale) (art. 247 al. 2 let. a CPC; ATF 141 III 569 consid. 2.3 et 2.3.1 p. 575). Il appartient au demandeur de prendre des conclusions, même à titre subsidiaire, pour le cas où ses conclusions principales seraient rejetées. Il lui incombe également de motiver ses différentes conclusions.
En l'occurrence, les locataires ont conclu à la réduction de leur loyer au montant de 1'050 fr. par mois et ont fondé cette demande de réduction sur la méthode absolue du rendement net. Ils n'ont fourni aucune motivation sur la base de la méthode relative, en indiquant où ils auraient allégué les faits (la baisse du taux hypothécaire et l'augmentation de l'ISPC) à cet égard. Conformément à la jurisprudence (cf. consid. 2.2 ci-dessus), il ne se justifie dès lors pas de renvoyer la cause à la cour cantonale pour compléter l'état de fait et statuer à nouveau conformément à l'art. 107 al. 2 LTF.
4.
En ce qui concerne la place de parc intérieure, le bail est de durée indéterminée et résiliable par chacune des parties pour la fin d'un mois, moyennant un préavis de trois mois. Le loyer mensuel est de 120 fr. et n'est pas soumis à indexation. Le tribunal l'a réduit au montant de 113 fr. 20 dès le 1er décembre 2018. Ni en appel, ni devant le Tribunal fédéral, le bailleur n'a motivé son chef de conclusions sur ce point. Il s'ensuit qu'il est irrecevable.
5.
Au vu de ce qui précède, le recours doit être admis, dans la mesure où il est recevable, l'arrêt attaqué annulé en tant qu'il confirme les ch. I et II du jugement de première instance et réformé en ce sens qu'en tant qu'elle concerne l'appartement loué, la demande de réduction du loyer et de restitution du trop-perçu formée par les locataires est rejetée. Il n'y a pas lieu d'annuler le ch. III dudit jugement, dès lors que la conclusion tendant à son annulation est irrecevable.
Les frais judiciaires et les dépens sont mis, solidairement, à la charge des locataires intimés qui succombent sur l'essentiel, l'irrecevabilité du chef de conclusions du recourant tendant à l'annulation du ch. III du jugement du Tribunal des baux n'ayant occasionné aucuns frais et les intimés ne s'étant pas déterminés à ce sujet (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF). La cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais de l'instance d'appel.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, dans la mesure où il est recevable.
L'arrêt attaqué est annulé en tant qu'il confirme les ch. I et II du jugement du Tribunal des baux et il est réformé en ce sens que la demande est rejetée sur ces deux points.
Le ch. III de l'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais de l'instance d'appel.
2.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis solidairement à la charge des intimés.
3.
Les intimés, débiteurs solidaires, verseront au recourant une indemnité de 7'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 janvier 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : Douzals