Faits :
A.
A.a. Par contrat du 29 novembre 2003, A._ (ci-après: le bailleur) a remis à bail à B._ (ci-après: le locataire) un appartement duplex au 1 er étage d'un immeuble sis à C._ dans le canton de Vaud. Le bail, conclu pour une durée d'un an, soit du 1 er janvier 2004 au 31 décembre 2004, se renouvelait ensuite d'année en année, sauf avis de résiliation signifié par l'une ou l'autre des parties au moins trois mois à l'avance. Le loyer mensuel net prévu dans le contrat s'élevait à 2'100 fr., montant auquel s'ajoutaient un acompte pour les frais de chauffage, d'eau chaude et les frais accessoires, le loyer du garage de 160 fr. et le loyer de la place de parc extérieure de 70 fr.
La formule officielle de notification du loyer initial pour la conclusion d'un nouveau bail n'a pas été remise au locataire.
A.b. Le 3 février 2016, le locataire a conclu avec le bailleur un accord en vertu duquel il s'engageait à participer financièrement à l'installation de caméras de surveillance dans l'immeuble à hauteur de 1'896 fr.
A.c. Par courrier du 23 juin 2016, le locataire et son épouse, qui habitait également l'appartement, ont résilié le contrat de bail de façon anticipée pour le 31 juillet 2016, subsidiairement pour le 31 décembre 2016.
Un litige a surgi entre les parties au sujet de la restitution anticipée de l'appartement, le bailleur considérant que celle-ci n'était pas valable et que le locataire restait ainsi redevable du loyer jusqu'à la fin du bail.
A.d. Le locataire s'est acquitté de tous les loyers depuis le début du bail jusqu'au 31 août 2016. Il a en outre versé au bailleur un montant de 2'304 fr. en date du 24 octobre 2016.
B.
Le 11 octobre 2017, le bailleur a saisi le Tribunal des baux du canton de Vaud d'une demande dans laquelle il a conclu au paiement par le locataire de la somme de 10'715 fr. 30, intérêts en sus, pour les loyers en souffrance de septembre 2016 à décembre 2016.
Après l'échec de la procédure de conciliation initiée le 5 juillet 2017, le locataire a déposé une demande devant le Tribunal des baux le 24 octobre 2017, concluant à la constatation de la nullité du loyer initial, à la fixation de celui-ci à 1'200 fr. dès le 1 er janvier 2004, montant qu'il a ensuite modifié à 1'000 fr., et à la restitution du trop-perçu. Il a également sollicité la radiation de la poursuite n o ddd introduite à son encontre par le bailleur, et réclamé le remboursement de la somme de 1'896 fr. à titre de participation aux frais d'installation des caméras de surveillance dans l'immeuble.
Le bailleur a conclu au rejet de la demande, en soulevant notamment l'exception de prescription.
Par jugement du 17 juillet 2018, le Tribunal des baux a fixé le loyer initial à 1'650 fr. par mois dès le 1 er janvier 2004. Examinant l'exception de prescription soulevée par le bailleur, il a retenu que le locataire avait eu connaissance de la nullité du loyer initial lorsqu'il avait pris contact avec son assureur protection juridique en date du 6 juillet 2016. En saisissant l'autorité de conciliation en matière de baux à loyer le 5 juillet 2017, le locataire avait ainsi respecté le délai de prescription relatif d'une année prévu par l'<ref-law>. S'agissant de la prescription absolue de dix ans, le tribunal a considéré que le délai ne commençait pas à courir dès la conclusion du bail mais indépendamment pour chaque loyer à compter du moment où le locataire avait versé chacun d'eux. Partant, l'action en enrichissement illégitime était partiellement prescrite, le locataire ne pouvant prétendre qu'au remboursement des parts de loyer versées indûment dans les dix ans précédant le dépôt de la requête de conciliation. Par ailleurs, le tribunal a estimé que le locataire devait s'acquitter du loyer et des frais accessoires jusqu'au 31 décembre 2016, dans la mesure où les conditions de l'<ref-law> (restitution anticipée de la chose) n'étaient pas remplies. Après compensation des créances réciproques, il a condamné le bailleur à payer au locataire la somme de 43'834 fr.
Statuant le 8 juillet 2019, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a partiellement admis l'appel interjeté par le bailleur et a rejeté l'appel joint formé par le locataire. Contrairement aux premiers juges, la cour cantonale a considéré qu'aucune pièce n'attestait du versement effectif par le locataire de la somme de 1'896 fr. au titre de participation aux frais d'installation des caméras de surveillance, de sorte que ce montant restait dû. Elle a dès lors réformé le jugement de première instance en portant à 41'938 fr. (43'834 fr. - 1'896 fr.) la somme due par l'appelant au locataire. Pour le surplus, elle a confirmé ce jugement.
C.
Le 30 septembre 2019, A._ (ci-après: le recourant) a formé un recours en matière civile au Tribunal fédéral. Il conclut, en substance, à la réforme de l'arrêt cantonal, en ce sens que le locataire soit condamné au paiement de la somme de 8'912 fr., intérêts en sus, et que les frais et dépens de la procédure de deuxième instance soient mis à la charge du locataire.
Au terme de sa réponse du 2 décembre 2019, B._ (ci-après: l'intimé) a conclu au rejet du recours.
L'autorité précédente, qui a produit le dossier de la cause, s'est référée à son arrêt.

Considérant en droit :
1.
Interjeté en temps utile (<ref-law>) par le bailleur qui a succombé dans ses conclusions (<ref-law>) tendant au rejet de l'action du locataire en fixation du loyer initial et en restitution du trop-perçu (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu sur recours par un tribunal cantonal supérieur (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de bail à loyer (<ref-law>), le recours en matière civile est recevable au regard de ces dispositions.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). "Manifestement inexactes" signifie ici "arbitraires" (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling>, précité, consid. 1.3.1 p. 18).
Le Tribunal fédéral applique d'office le droit (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal. Cela n'implique pas qu'il examine toutes les questions juridiques qui pourraient se poser, à l'instar d'un juge de première instance. Eu égard à l'obligation de motiver imposée par l'<ref-law>, l'autorité de céans ne traite que les questions qui sont soulevées devant elle par les parties, à moins que la violation du droit ne soit manifeste (<ref-ruling>, précité, consid. 2 p. 116; <ref-ruling> consid. 2).
3.
En vertu de l'<ref-law>, en cas de pénurie de logements, les cantons peuvent rendre obligatoire, sur tout ou partie de leur territoire, l'utilisation de la formule officielle, mentionnée à l'<ref-law>, pour la conclusion de tout nouveau bail. Le canton de Vaud a fait usage de cette faculté.
3.1. La formule officielle doit être notifiée au locataire au moment de la conclusion du bail ou, au plus tard, le jour de la remise de la chose louée (sur le contenu de la formule, cf. art. 19 al. 1 et 1bis OBLF [RS 221.213.11], applicable par analogie lors de la conclusion d'un nouveau contrat de bail en vertu de l'<ref-law>). Elle a pour but d'informer le locataire de sa possibilité de saisir l'autorité de conciliation afin de contester le montant du loyer en lui fournissant toutes les indications utiles. Elle sert à empêcher les hausses abusives de loyer lors d'un changement de locataires. L'indication du loyer versé par le précédent locataire doit y figurer (<ref-ruling> consid. 3.1 p. 586 et les arrêts cités; arrêts 4A_254/2016 du 10 juillet 2017 consid. 3.1.1; 4A_398/2015 du 19 mai 2016 consid. 3, non publié in <ref-ruling>; 4A_517/2014 du 2 février 2015 consid. 4.1.1).
3.2. Si la formule officielle lui a été communiquée, le locataire peut saisir l'autorité de conciliation, dans les 30 jours qui suivent la réception de la chose, pour contester le loyer initial et en demander la diminution, pour autant que le montant convenu soit abusif et que les autres conditions de l'<ref-law> soient remplies (<ref-ruling> consid. 3). A défaut, il est réputé avoir accepté le loyer et il est déchu du droit de le contester (délai de péremption; <ref-ruling> consid. 3.2 p. 570). Selon la jurisprudence, si la formule officielle lui est communiquée plus tard, mais dans les 30 jours après son entrée dans les locaux, le point de départ du délai pour agir est reporté au moment de cette communication. En revanche, une communication intervenant au-delà de ce délai de 30 jours équivaut à une absence de notification (<ref-ruling>, précité, consid. 3.1 p. 586 s. et les arrêts cités; arrêts 4A_254/2016, précité, consid. 3.1.2; 4A_398/2015, précité, consid. 3).
3.3. Lorsque le bail a été conclu sans que soit communiquée la for-mule officielle ou sans que la hausse de loyer par rapport à celui payé par le précédent locataire n'y soit motivée, le loyer fixé est nul (nullité partielle du contrat) (<ref-ruling>, précité, consid. 3.2.1 et 3.2.2; arrêts 4A_254/2016, précité, consid. 3.1.3; 4A_398/2015, précité, consid. 3; 4A_517/2014, précité, consid. 4.1.1).
3.4. Le locataire qui n'a pas reçu la formule officielle peut agir en fixation judiciaire du loyer initial et en restitution de l'éventuel trop-perçu. Il s'agit là d'un cumul d'actions (<ref-law>) : la première action tend, après constatation, à titre préjudiciel, de la nullité du loyer convenu, à la fixation judiciaire de celui-ci et la seconde action, en tant que conséquence de la première, vise à la restitution des prestations effectuées sans cause conformément aux règles de l'enrichissement illégitime (<ref-law>) (<ref-ruling>, précité, consid. 3.2.3 p. 588 et les arrêts cités; arrêts 4A_254/2016, précité, consid. 3.1.3.1; 4A_517/2014, précité, consid. 4.1.2). L'action du locataire qui réclame la restitution des parts de loyer versées indûment en raison de la nullité de la fixation du loyer n'est en effet pas de nature contractuelle (<ref-ruling> consid. 6.2).
3.5. Dans plusieurs arrêts, le Tribunal fédéral a considéré que seules les règles de la prescription de l'action en enrichissement illégitime peuvent constituer une limite à l'intérêt du locataire à agir en fixation judiciaire du loyer puisque le législateur n'a pas prévu de règle limitant l'invocation du vice de forme dans le temps, par exemple à la durée du bail. Par conséquent, tant que cette action n'est pas prescrite en vertu de l'<ref-law> ou que le débiteur n'a pas soulevé l'exception de prescription (<ref-law>), le locataire dispose également d'un intérêt à ouvrir action en fixation du loyer (<ref-ruling>, précité, consid. 3.2.3; arrêts 4A_254/2016, précité, consid. 3.1.3.1; 4A_398/2015, précité, consid. 3.3; 4A_517/2014, précité, consid. 4.1.2). Sur ce point, la jurisprudence en question a été critiquée par plusieurs auteurs (BLAISE CARRON, in Droit du bail [DB] 2015 n. 16 p. 37, à propos de l'arrêt 4A_517/2014 du 2 février 2015; PATRICIA DIETSCHY MARTENET, in Commentaire pratique, Droit du bail à loyer et à ferme, 2 e éd. 2017, n° 81a ad <ref-law>; la même, in DB 2019 n. 12 p. 40, à propos de l'arrêt rendu le 3 septembre 2018 par la Chambre des baux et loyers de la Cour de justice du canton de Genève; la même, in Newsletter bail.ch, août 2017, à propos de l'arrêt 4A_254/2016 du 10 juillet 2017; THOMAS KOLLER, Einmal Mehr: Fragwürdiges im Mietrecht vom Mon-Repos, in Jusletter du 20 novembre 2017, n. 10-12; BEAT ROHRER, in MRA 2017 p. 193 s., à propos de l'arrêt 4A_254/2016 du 10 juillet 2017; BIERI/ETEMI, Nullité du loyer et créance en remboursement du trop-versé, in Jusletter du 17 février 2020, n. 20). Comme ces auteurs le font observer avec pertinence, les principes dégagés par la jurisprudence concernant l'intérêt à agir ne s'appliquent que lorsque le demandeur ouvre action en restitution du trop-perçu alors que le bail a déjà pris fin. Il y a lieu d'admettre avec ces auteurs que, tant que dure le bail, le locataire peut en principe toujours se prévaloir du vice de forme affectant la notification du loyer initial. Durant le bail, le locataire possède en effet un intérêt à agir en fixation judiciaire du loyer, ne serait-ce que pour la fixation des loyers futurs, et ce indépendamment de l'éventuelle prescription de l'action en restitution des parts de loyer versées indûment, l'abus de droit étant naturellement réservé (<ref-law>).
4.
Le recourant soutient que l'action du locataire fondée sur l'enrichissement illégitime serait entièrement prescrite.
4.1.
4.1.1. La restitution, sur la base des règles de l'enrichissement illégitime, de prestations versées à titre périodique, comme des montants payés indûment sur les loyers, est soumise à l'<ref-law>, l'<ref-law> ne s'appliquant pas (<ref-ruling> consid. 3.2.3; arrêts 4A_254/2016, précité, consid. 3.1.3.1; 4C.134/2001 du 18 octobre 2001 consid. 4b; cf. aussi SÉBASTIEN FETTER, La contestation du loyer initial, 2005, n. 578-580 p. 265 ss; CARMEN WETTSTEIN, in Das Mietrecht für die Praxis, 9 e éd. 2016, n. 13.1.5 p. 299; PASCAL PICHONNAZ, in Commentaire romand, Code des obligations, vol. I, 2 e éd. 2012, n° 7 ad <ref-law>; IRENE BIBER, in Das Schweizerische Mietrecht, 4 e éd. 2018, n o 15 ad <ref-law>; DENIS PIOTET, La restitution des loyers ou d'acomptes de frais accessoires perçus à tort: un autre avis sur la question de la prescription et du transfert de la chose louée, in CdB 2006 p. 2; PHILIPPE CONOD, Action en répétition de l'indu. Qualité pour défendre et prescription, in CdB 2005 p. 100; ARIANE MORIN, La restitution des paiements en matière de bail, in 15 e Séminaire sur le droit du bail, 2008, p. 147; d'un avis contraire : ROGER WEBER, Rückforderungsansprüche im Mietrecht, in MP 2005 p. 16; KARL SPIRO, Die Begrenzung privater Rechte durch Verjährungs-, Verwirkungs- und Fatalfristen, vol. I, 1975, p. 714). En effet, l'<ref-law>, qui institue un régime spécifique, dérogeant au système ordinaire des art. 127 et 128 CO, ne contient aucune règle particulière pour les prestations périodiques. On ne saurait, faute de disposition légale expresse et claire, introduire un délai de prescription spécial de cinq ans; seul le législateur pourrait le faire. Il n'est dès lors pas possible d'esquiver la réalité de l'<ref-law> (arrêt 4C.134/2001, précité, consid. 4b).
4.1.2. L'<ref-law> prévoit deux délais de prescription: le premier délai d'un an, relatif, court à partir du jour où la partie lésée a eu connaissance de son droit de répétition; le second délai de dix ans, absolu, court dès la naissance de ce droit. A la suite de la révision du droit de la prescription, entrée en vigueur le 1 er janvier 2020, le délai de prescription relatif de l'action en enrichissement illégitime a été porté à trois ans, l'<ref-law> demeurant pour le reste inchangé (RO 2018 5343; s'agissant du droit transitoire, cf. l'<ref-law>).
4.1.3. Dans plusieurs arrêts, le Tribunal fédéral a dû se prononcer sur la question du respect du délai de prescription relatif de l'action en restitution des parts de loyer versées indûment (<ref-ruling>, précité, consid. 3.3.1; arrêts 4A_254/2016, précité, consid. 3.1.3.1; 4A_517/2014, précité, consid. 4.1.2). Il a précisé que le créancier a connaissance de son droit de répétition - et le délai de prescription relatif d'un an commence à courir (<ref-law>) - lorsqu'il connaît suffisamment d'éléments pour fonder et motiver son action en justice, laquelle n'a pas besoin d'être chiffrée (<ref-law>). Cela suppose qu'il ait connaissance de la mesure approximative de l'atteinte à son patrimoine, de l'absence de cause du déplacement de patrimoine et de la personne de l'enrichi. Est déterminant le moment de la connaissance effective de sa prétention, et non celui où il aurait pu connaître son droit en faisant preuve de l'attention commandée par les circonstances (<ref-ruling> consid. 3.4; <ref-ruling> consid. 2). Dans le cas du locataire qui n'a pas reçu la formule officielle, obligatoire en vertu de l'<ref-law>, et dont l'ignorance est présumée, la connaissance effective intervient lorsqu'il sait que l'absence de cette formule, respectivement de l'indication du loyer du locataire précédent ou de la motivation de la hausse, entraîne la nullité du loyer initial, que le loyer qu'il a versé était trop élevé et qu'il était, partant, abusif, et non pas lorsqu'il aurait pu ou dû le savoir (<ref-ruling>, précité, consid. 3.2.2; arrêts 4A_254/2016, précité, consid. 3.1.3.1; 4A_517/2014, précité, consid. 4.1.2 et 4.2). A cet égard, on peut légitimement s'interroger sur le point de savoir si, de nos jours, l'ignorance présumée du locataire, quant au caractère obligatoire de la formule officielle et aux conséquences attachées à l'absence de celle-ci, se justifie encore, dès lors que l'usage de la formule officielle a été rendu obligatoire il y a plus de vingt-cinq ans dans le canton de Vaud, que cette exigence a été rappelée à réitérées reprises par le Tribunal fédéral dans plusieurs arrêts publiés, et qu'il est possible de se renseigner aisément sur ce point en effectuant une simple recherche sur internet ou en consultant le site d'associations militant en faveur de la défense des droits des locataires. Point n'est toutefois besoin de trancher cette question, dans la mesure où le recourant remet uniquement en question le dies a quo du délai de prescription absolu.
4.2. Le recourant ne conteste en effet pas que l'intimé a eu connaissance de la nullité du loyer initial le 6 juillet 2016 et qu'il a déposé sa requête de conciliation le 5 juillet 2017, respectant ainsi le délai de prescription relatif prévu par l'<ref-law>. Il soutient cependant que la prescription absolue était atteinte lorsque l'intimé a agi en justice. A l'en croire, le délai de prescription absolu de dix ans de l'<ref-law> aurait en effet commencé à courir dès le début du bail, soit le 1 er janvier 2004.
4.3.
4.3.1. Selon l'<ref-law>, la prescription court dès que la créance est exigible. A défaut de terme stipulé ou résultant de la nature de l'affaire, l'obligation est exigible immédiatement (cf. <ref-law>). A teneur de l'<ref-law>, le délai de prescription absolu de dix ans court dès la naissance du droit à répétition ( Entstehung des Anspruchs; giorno in cui è nato tale diritto). Ainsi, les prétentions fondées sur l'enrichissement illégitime naissent et deviennent immédiatement exigibles lorsque tous les éléments fondant l'obligation de restituer les montants indûment perçus sont réunis. Le dies a quo du délai de prescription absolu est celui de l'exigibilité de la créance en enrichissement illégitime (<ref-ruling> consid. 2b; BRUNO HUWILER, in Basler Kommentar, Obligationenrecht I, 7e éd. 2019, n o 3 ad <ref-law>; BENOÎT CHAPPUIS, in Commentaire romand, Code des obligations, vol. I, 2 e éd. 2012, n° 5 ad <ref-law>).
4.3.2. A plusieurs reprises, le Tribunal fédéral a souligné que, lorsque l'enrichissement illégitime découle d'une prestation effectuée sans cause valable, la prescription absolue de l'action en répétition de l'indu commence à courir au moment de l'exécution de la prestation litigieuse (<ref-ruling> consid. 3a et les références citées; arrêt 4C.389/1992 du 10 mars 1993 consid. 3; cf. aussi HUWILER, op. cit., n° 3 ad <ref-law>; CHAPPUIS, op. cit., n° 5 ad <ref-law>).
4.3.3. Lorsque, comme en l'espèce, plusieurs paiements effectués sans cause valable se succèdent, se pose la question de savoir si la prescription commence à courir séparément pour chacun des paiements.
Lorsque la fixation du loyer initial est nulle, certains auteurs soutiennent que l'action en restitution des montants versés indûment à titre de loyer se prescrit au plus tard dix ans après la conclusion du bail (TRABICHET-CASTAN/JOHNER, Les limites posées à l'admission d'une requête en fixation du loyer initial, in Plaidoyer 3/2019 p. 35; LAURE MEYER, note relative à l'arrêt rendu le 3 septembre 2018 par la Chambre des baux et loyers de la Cour de justice du canton de Genève, in CdB 2018 p. 132; DAVID LACHAT, Le bail à loyer, 2008, p. 398, en précisant que cette mention n'apparaît plus dans la dernière édition dudit ouvrage). L'action en répétition de l'indu serait en effet une prétention unique et non une succession de plusieurs créances, raison pour laquelle l'action se prescrirait par dix ans à compter du début du bail (TRABICHET-CASTAN/JOHNER, op. cit., p. 35; MEYER, op. cit., p. 132). L'approche visant à fixer le dies a quo de la prescription absolue au début de la relation contractuelle garantirait en outre une " justice équilibrée " préservant équitablement les intérêts du bailleur et ceux du locataire (TRABICHET-CASTAN/JOHNER, op. cit., p. 35).
Pour un autre courant doctrinal, le dies a quo du délai de prescription absolu coïncide avec l'exigibilité de la prétention en enrichissement illégitime, soit au moment de chaque paiement indu (DIETSCHY-MARTENET, in DB 2019 n. 12 p. 40; BIERI/ETEMI, op. cit., n. 10; FETTER, op. cit., n. 582 p. 267; FRANÇOIS BOHNET, Les termes et délais en droit du bail à loyer, in 13 e séminaire sur le bail à loyer, 2004, p. 17; FRANÇOIS KNOEPFLER, Problèmes posés par les loyers payés à tort, in 2 e Séminaire sur le bail à loyer, 1982, p. 12).
4.3.4. L'opinion professée par ces derniers auteurs mérite d'être approuvée. En effet, seule une prétention qui a déjà pris naissance peut être atteinte par la prescription (<ref-ruling> consid. 1.2; <ref-ruling>; <ref-ruling> consid. 2d). Or, lorsque l'enrichissement illégitime résulte de plusieurs prestations successives effectuées sans cause valable, les prétentions en répétition de l'indu naissent et deviennent exigibles lorsque tous les éléments fondant l'obligation de restituer les montants indûment perçus sont réunis, c'est-à-dire à chaque versement. Admettre que les prétentions en enrichissement illégitime puissent commencer à se prescrire dès le début du contrat de bail reviendrait à considérer que des prétentions non encore nées, puisque fondées sur un enrichissement illégitime du bailleur encore inexistant à cette époque, pourraient se prescrire, ce qui est contraire à la jurisprudence du Tribunal fédéral. Le fait que les différents paiements procèdent d'une décision unique et soient tous en lien avec le contrat de bail conclu par les parties n'y change rien, car chacun d'eux constitue un acte nouveau et distinct des autres (<ref-ruling> consid. 7). A titre de comparaison, on notera encore que le Tribunal fédéral a retenu une solution similaire, en matière contractuelle, en considérant que le délai de prescription de l'<ref-law> de l'action du mandant en restitution des rétrocessions touchées par le mandataire commence à courir, pour chaque créance, le jour où le mandataire a touché le montant à rétrocéder (<ref-ruling> consid. 5.3.2 et 5.3.3). Il y a dès lors lieu d'admettre, à l'instar de la cour cantonale, que le délai de prescription absolu a commencé à courir séparément pour chacun des versements effectués par l'intimé.
4.4. Se référant à l'<ref-law>, le recourant soutient que les prétentions de l'intimé seraient prescrites car le rapport de base sur lequel elles reposent, soit le contrat de bail, serait lui-même prescrit.
Semblable argumentation tombe à faux. En effet, en raisonnant ainsi, l'intéressé perd de vue que les prétentions élevées par l'intimé n'ont pas un fondement contractuel mais dérivent des règles sur l'enrichissement illégitime. Par conséquent, l'éventuelle prescription du rapport de base est dénuée de pertinence.
4.5. Considérée à la lumière de ce qui précède, l'argumentation du recourant ne saurait prospérer.
Contrairement à ce que laisse entendre l'intéressé, l'approche suivie par la cour cantonale n'a pas pour effet d'étendre le délai de prescription au-delà de la durée maximale de dix ans prévue par l'<ref-law>. En effet, le locataire qui invoque la nullité du loyer initial et réclame en justice la restitution des montants versés indûment peut uniquement rechercher le bailleur pour les paiements effectués sans cause durant les dix dernières années précédant le dépôt de la requête en justice, dans la mesure où le bailleur peut soulever l'exception de prescription pour les versements plus anciens.
Enfin quoi que prétende le recourant, l'on ne discerne pas en quoi la solution retenue par la cour cantonale serait de nature à créer une forte insécurité juridique.
5.
5.1. Dans un dernier moyen, le recourant fait valoir, en substance, que l'intimé aurait commis un abus de droit en contestant la validité du loyer initial, plus de treize ans et demi après la conclusion du bail, alors même qu'il a payé sans discuter le loyer convenu durant toute cette période.
5.2. L'abus manifeste d'un droit n'est pas protégé par la loi (<ref-law>). Ce principe permet de corriger les effets de la loi dans certains cas où l'exercice du droit allégué créerait une injustice manifeste. Le juge apprécie la question au regard des circonstances concrètes, qui sont déterminantes. L'emploi dans le texte légal du qualificatif "manifeste" démontre que l'abus de droit doit être admis restrictivement. Les cas typiques en sont l'absence d'intérêt à l'exercice d'un droit, l'utilisation d'une institution juridique de façon contraire à son but, la disproportion manifeste des intérêts en présence, l'exercice d'un droit sans ménagement ou l'attitude contradictoire (<ref-ruling> consid. 4.3; <ref-ruling> consid. 3.3.1).
Au titre de l'attitude contradictoire du locataire, la jurisprudence a retenu qu'une exception au droit de répétition des <ref-law> peut être admise, par exemple, lorsque le preneur s'est rendu compte du vice de forme et s'est abstenu de protester dans le dessein d'en tirer, le cas échéant, ultérieurement profit (<ref-ruling>, précité, consid. 3.2.4; <ref-ruling> consid. 2.3.2; <ref-ruling> consid. 1a) ou encore lorsque le locataire a renoncé expressément et en toute connaissance de cause à la notification de la formule officielle et a exécuté de son plein gré l'accord conclu (<ref-ruling>, précité, consid. 3.2.4; <ref-ruling> consid. 3c et 3d). En revanche, le seul fait d'avoir payé, sans discuter, le loyer pendant un long laps de temps ne saurait, à lui seul, conduire à la conclusion que le locataire commet un abus de droit (<ref-ruling>, précité, consid. 3.2.4; <ref-ruling>, précité, consid. 2.3.3; arrêt 4A_254/2016, précité, consid. 3.1.3.2).
Au titre de l'utilisation d'une institution juridique de façon contraire à son but, la jurisprudence a retenu, entre autres exemples, que le locataire qui soulève la nullité du loyer convenu pour s'opposer à la résiliation immédiate du contrat et à son expulsion commet un abus de droit (<ref-ruling>, précité, consid. 3.2.4; <ref-ruling>, précité, consid. 2.4; <ref-ruling> consid. 2.3).
5.3. Comme il ne ressort pas, en l'espèce, des faits de la cause que l'intimé se soit rendu compte de la nullité du loyer initial avant le 6 juillet 2016, on ne peut pas retenir un abus de droit, au sens de l'<ref-law>. Quoi qu'en dise le recourant, le simple fait que l'intimé a contesté le loyer initial plus de treize ans après le début de la relation contractuelle, tout en s'acquittant régulièrement du loyer tout au long de cette période, n'est pas décisif.
6.
Sur le vu de ce qui précède, il y a lieu de rejeter le recours et de confirmer l'arrêt attaqué. Le recourant supportera les frais de la procédure de recours (<ref-law>) et versera des dépens à l'intimé (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, fixés à 2'500 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimé une indemnité de 3'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 février 2020
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : O. Carruzzo