Faits :
A.
Par contrat du 26 août 2014, A._ (ci-après: le locataire, le demandeur, le recourant) a pris à bail un studio dans un immeuble sis place... à Rolle, propriété de B._ (ci-après: le bailleur, le défendeur, l'intimé). Le loyer mensuel net s'élevait à 850 fr.
Le contrat indiquait notamment que " par la signature du présent bail, le preneur reconnaît avoir reçu la notification de loyer lors de la conclusion d'un nouveau bail ". La formule officielle en possession du locataire ne comportait qu'un recto signé par le bailleur. Celle en possession du bailleur est une photocopie recto-verso d'une formule officielle sur laquelle ont été apposées les signatures du locataire et du bailleur, le lieu et la date. Aucun des deux documents n'est une copie de l'autre, les deux documents ayant été signés séparément, comme la différence calligraphique du lieu et de la date indiqués manuellement le démontre (<ref-law>).
Par courrier du 20 août 2018, le locataire a adressé une résiliation du contrat de bail au bailleur avec effet au 30 septembre 2018. Le bailleur lui a répondu par courrier recommandé du 24 août 2018 que la prochaine échéance du bail était au 31 août 2019, mais que le locataire pouvait être libéré avant cette date, aux conditions de l'<ref-law>.
Un litige est survenu entre les parties concernant l'état des lieux de sortie. Dans ce cadre, le locataire a consulté X._ qui lui a fait remarquer que son exemplaire de la formule officielle ne comportait pas la désignation des autorités compétentes conformément à l'OBLF. Le locataire s'est alors notamment prévalu par courrier du 3 octobre 2018 de la nullité de son loyer initial en raison du fait qu'il lui avait été notifié sur une formule officielle viciée par son absence de verso où auraient dû être indiquées les voies de droit à la disposition du locataire. Seul ce point est encore litigieux à ce stade.
B.
B.a. A la suite de l'échec de la procédure de conciliation, le locataire a saisi le Tribunal des baux par demande du 27 décembre 2018. Par décision du 4 octobre 2019, le tribunal a considéré que la formule officielle remise au locataire à la conclusion du bail litigieux ne comportait qu'un recto, ce qui entraînait la nullité partielle du bail en ce qui concerne le loyer initial. Il a en outre rétroactivement fixé le loyer mensuel net du studio litigieux à 400 fr. et a condamné le bailleur à payer au locataire un montant de 22'050 fr. à titre de loyer perçu en trop durant la période du 1er septembre 2014 au 30 septembre 2018.
B.b. Par décision du 6 octobre 2020, la Cour d'appel civile du canton de Vaud a annulé le jugement de première instance. La cour cantonale a retenu qu'au vu de la contradiction apparente entre l'exemplaire original recto de la formule officielle en possession du locataire, d'une part, et l'exemplaire recto-verso du bailleur dont la copie avait été déposée à titre de preuve, d'autre part, le tribunal des baux aurait dû, en application de la maxime inquisitoire sociale, clarifier l'état de fait en ordonnant la production par le bailleur de l'original de sa version recto-verso.
Procédant elle-même aux mesures d'investigation qui lui paraissaient nécessaires, la cour cantonale a requis la production de la formule de notification originale en mains du bailleur et a constaté qu'elle comportait aussi un verso ainsi que la signature des deux parties sur le recto.
La cour cantonale a ensuite considéré que les versions des deux parties étaient vraisemblables. Elle a retenu que le contrat de bail spécifiait que le locataire, par sa signature, reconnaissait avoir reçu la notification de loyer lors de la conclusion d'un nouveau bail. Elle en a déduit qu'en vertu de la jurisprudence fédérale, une telle mention renversait le fardeau de la preuve de la notification de la formule officielle dès lors que le bailleur, selon l'expérience générale de la vie, était présumé avoir effectivement joint le contrat de bail et la formule officielle dans l'enveloppe envoyée, à condition qu'il soit en mesure de produire une copie de celle-ci contenant les indications nécessaires pour le bail en question. Par conséquent, la cour cantonale a retenu qu'il ne revenait pas au bailleur de prouver qu'il avait notifié la formule officielle au locataire, mais au locataire de prouver que la formule qu'il avait reçue était viciée. L'exigence de preuve à charge du locataire était atténuée au degré de la vraisemblance prépondérante.
La cour cantonale a finalement considéré que le bailleur, prouvant qu'il détenait une formule officielle signée des deux parties sur le recto et comportant un verso, avait satisfait à son devoir de prouver le fait qu'il avait notifié une formule officielle au locataire.
La cour cantonale est parvenue à la conclusion que le bailleur avait valablement notifié la formule officielle au locataire, et a réformé la décision de première instance en considérant que le bail était entièrement valable.
C.
Contre cet arrêt, le locataire a interjeté un recours en matière civile au Tribunal fédéral le 12 novembre 2020, concluant à sa réforme en ce sens que l'appel du bailleur contre la décision du tribunal des baux soit rejeté et que celle-ci soit confirmée. En substance, le recourant se plaint d'un établissement des faits en violation du droit, la cour cantonale ayant fait injustement bénéficier le bailleur d'une présomption de notification de la formule officielle complète. Le recourant a également requis d'être mis au bénéfice de l'assistance judiciaire.
L'intimé a conclu au rejet du recours.
La cour cantonale se réfère aux considérants de son arrêt.
La requête d'assistance judiciaire a été rejetée par ordonnance du 26 février 2021 rendue par les trois juges figurant dans le rubrum du présent arrêt, l'erreur de l'ordonnance envoyée qui ne mentionnait qu'un juge étant ainsi rectifiée.

Considérant en droit :
1.
Interjeté e n temps utile (<ref-law>) par la partie qui a succombé dans ses conclusions (<ref-law>), le recours est dirigé contre un arrêt final (<ref-law>) rendu sur appel par un tribunal cantonal supérieur (<ref-law>) dans une affaire civile de droit du bail (<ref-law>), dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en la matière (<ref-law>). Le recours en matière civile est recevable au regard de ces dispositions.
2.
2.1. Le recours en matière civile peut être exercé pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2, 115 consid. 2; <ref-ruling> consid. 1.3). Par exception à la règle selon laquelle il applique le droit d'office, il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 2.3; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4 in fine).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Relèvent de ces faits tant les constatations relatives aux circonstances touchant l'objet du litige que celles concernant le déroulement de la procédure conduite devant l'instance précédente et en première instance, c'est-à-dire les constatations ayant trait aux faits procéduraux (<ref-ruling> consid. 1.3.1 et les références citées). Le Tribunal fédéral ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes, c'est-à-dire arbitraires (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2; <ref-ruling> consid. 1.5) ou ont été établies en violation du droit au sens de l'<ref-law> (<ref-law>). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
3.
La question litigieuse en l'espèce est de savoir si le bailleur a établi avoir adressé au locataire une formule officielle et si celle-ci est valable en la forme.
3.1. La formule officielle exigée par l'<ref-law> doit être notifiée au locataire au moment de la conclusion du bail ou, au plus tard, le jour de la remise de la chose louée (sur le contenu de la formule, cf. art. 19 al. 1 et 1bis OBLF [RS 221.213.11], applicable par analogie lors de la conclusion d'un nouveau contrat de bail en vertu de l'<ref-law>). Elle a pour but d'informer le locataire, en lui fournissant toutes les indications utiles, de sa possibilité de saisir l'autorité de conciliation afin de contester le montant du loyer initial. Elle sert à empêcher les hausses abusives de loyer lors d'un changement de locataire, de sorte que l'indication du loyer versé par le précédent locataire doit y figurer (<ref-ruling> consid. 3.1 et les arrêts cités).
Pour tous les litiges fondés sur le droit privé fédéral, l'<ref-law>, en l'absence d'une règle spéciale instituant une présomption, répartit le fardeau de la preuve et détermine, sur cette base, laquelle des parties doit assumer les conséquences de l'échec de la preuve (<ref-ruling> consid. 2.2). La partie demanderesse doit prouver les faits qui fondent sa prétention, alors que son adversaire doit prouver les faits qui entraînent l'extinction ou la perte du droit (<ref-ruling> consid. 2.2). Le juge qui demeure dans le doute à l'issue de l'appréciation des preuves, doit trancher la question de fait litigieuse en défaveur de la partie qui assume le fardeau de la preuve (BERNARD CORBOZ, Commentaire de la LTF, 2ème éd. 2013, n° 55 ad <ref-law>).
3.2. Il n'est pas contesté en l'espèce que le locataire recourant a reçu la formule officielle de la part du bailleur. Invoquant la violation de l'<ref-law>, de l'<ref-law>, et de l'<ref-law>, le locataire recourant conteste la validité de celle-ci du fait qu'elle ne répond pas aux exigences de l'<ref-law> en ce qu'elle n'indique ni les conditions légales dans lesquelles le locataire peut contester son loyer (art. 19 al. 1 let. c ch. 1 OBLF), ni la liste des autorités de conciliation existant dans le canton et leur compétence à raison du lieu (art. 19 al. 1 let. c ch. 2 OBLF), indications qui auraient dû être imprimées au verso de la formule. Il considère qu'il a suffisamment prouvé ce fait par le dépôt du document original en sa possession.
3.3.
3.3.1. Dans la décision entreprise, la cour cantonale a appliqué les règles jurisprudentielles sur le fardeau de la preuve (<ref-law>) pertinentes pour la notification de la formule officielle. Elle a appliqué l'<ref-ruling> consid. 4.1 dans lequel le Tribunal fédéral retient comme règle générale qu'en cas de contestation de la remise de la formule officielle au locataire, il appartient au bailleur de prouver avoir effectivement mis le contrat de bail et la formule officielle dans l'enveloppe envoyée. Par exception, lorsque le contrat de bail, dont la réception n'est pas contestée, mentionne que la formule officielle y est annexée, alors la réception de celle-ci est présumée, pour autant que le bailleur soit en mesure de produire une copie ou une photocopie de cette formule officielle contenant les indications nécessaires pour le bail en question (<ref-ruling> consid. 4.1). En application de cette jurisprudence, la cour cantonale a considéré que la preuve apportée par le bailleur du fait qu'il détient un exemplaire photocopié recto-verso de la formule qu'il prétend avoir notifiée au locataire, en plus du fait que celle-ci est mentionnée dans le contrat de bail comme étant annexée, emporte présomption de la notification de la formule officielle recto-verso mentionnée dans le contrat de bail.
3.3.2. On ne saurait tirer de l'<ref-ruling> que le bailleur serait présumé avoir notifié une formule officielle complète par le simple fait qu'il indique sur le contrat de bail que la formule officielle y est annexée. Cette jurisprudence ne fonde qu'une présomption en faveur du bailleur, en ce sens que la formule officielle a été mise dans l'enveloppe d'envoi reçue par le locataire, mais pas que celle-ci comporte un recto et un verso ou soit complète. En l'occurrence le locataire ne se plaint pas de ne pas avoir reçu de formule officielle, mais bien que celle-ci soit viciée. La jurisprudence appliquée par la cour cantonale ne trouve donc pas application ici.
3.3.3. Conformément à l'<ref-law>, il appartient au bailleur d'apporter la preuve de la notification d'une formule valable et, par conséquent, celui-ci doit supporter l'échec de cette preuve. La cour cantonale a retenu que le locataire avait produit une formule en original ne comportant qu'un recto et que le bailleur avait produit la formule en original comportant un recto et un verso. Elle a estimé ne pas pouvoir départager les deux versions contradictoires des parties, qui lui paraissaient toutes deux vraisemblables. Comme on l'a vu c'est à tort que la cour cantonale a cru pouvoir appliquer l'<ref-ruling> pour présumer que le bailleur avait notifié une formule recto-verso au locataire. Par conséquent, il appartient au bailleur de prouver la notification d'une formule complète au locataire. Or, la preuve de la notification d'une formule officielle recto-verso n'a pas été apportée par le bailleur. Celui-ci supporte donc l'échec de la preuve de ce fait.
3.4. La formule officielle en mains du locataire ne comportant pas de verso, elle n'indique ni les conditions légales dans lesquelles le locataire peut contester le bien-fondé de la hausse de loyer, ni la liste des autorités de conciliation existant dans le canton et leur compétence à raison du lieu, deux indications qu'elle doit pourtant contenir, en vertu de l'art. 19 al. 1 let. c OBLF. Par conséquent, la formule officielle qui a été remise au locataire est incomplète. La notification d'un nouveau loyer ne respectant pas la formule officielle, elle est entachée d'un vice de forme qui entraîne la nullité du loyer (<ref-ruling> consid. 2a; <ref-ruling> consid. 2c; <ref-ruling> consid. 5d).
Il s'ensuit que l'action du locataire en contestation et en fixation judiciaire du loyer doit être admise. Le bailleur intimé ne remettant en cause ni le nouveau loyer initial fixé judiciairement ni la quotité du trop-perçu à rembourser, les montants arrêtés par le tribunal sont définitifs.
4.
Au vu de ce qui précède, le recours doit être admis et l'arrêt attaqué est réformé dans les termes du premier jugement. L'intimé qui succombe supportera les frais judiciaires et les dépens (art. 66 al. 1 et art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt attaqué est réformé comme suit:
Le recours est admis et l'arrêt attaqué est réformé comme suit:
I. La demande déposée le 27 décembre 2018 par A._ est admise.
I. La demande déposée le 27 décembre 2018 par A._ est admise.
II. Le loyer initial net de l'appartement au 1er étage de l'immeuble sis place..., à Rolle, propriété de B._ et loué par A._, est fixé à 400 fr. par mois.
III.
B._ doit payer à A._ la somme de 22'050 fr. à titre de loyer perçu en trop du 1er septembre 2014 au 30 septembre 2018.
B._ doit payer à A._ la somme de 22'050 fr. à titre de loyer perçu en trop du 1er septembre 2014 au 30 septembre 2018.
IV. La garantie de loyer constituée le 27 août 2014 par le locataire A._ auprès de la Banque C._ SA sur le compte n° xxx est libérée en faveur de A._.
IV. La garantie de loyer constituée le 27 août 2014 par le locataire A._ auprès de la Banque C._ SA sur le compte n° xxx est libérée en faveur de A._.
V. Le jugement est rendu sans frais ni dépens.
V. Le jugement est rendu sans frais ni dépens.
VI. Toutes autres ou plus amples conclusions sont rejetées.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera au recourant une indemnité de 2'500 fr.
4.
La cause est renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens de l'instance d'appel.
5.
Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 octobre 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : Botteron