Faits :
A.
A.a. B._ S.A. (ci-après: la bailleresse), dont l'administrateur est C._, est propriétaire d'une villa individuelle située à xxx.
Par courriel du 19 novembre 2015, D._, courtière en immobilier, a fait parvenir un projet de contrat de bail pour la location de cette villa à la Mission permanente de A._ (ci-après: la Mission), représentant les intérêts de l'Etat de A._ (ci-après: le locataire).
Les parties ont conclu un contrat de bail d'une durée de deux ans, du 15 décembre 2015 au 14 décembre 2017, renouvelable d'année en année. Il portait sur la villa et ses dépendances, comprenant une piscine, un garage et une annexe. Il était précisé que la propriété serait occupée par l'Ambassadrice de A._, E._, et sa famille. Le loyer annuel a été fixé à 168'000 fr., soit 14'000 fr. par mois, frais accessoires non compris. Une garantie de loyer de 42'000 fr. a été requise et constituée par le locataire auprès de F._ SA le 18 décembre 2015.
L'article 15 de l'annexe au bail, faisant partie intégrante du contrat, contenait une clause libératoire selon laquelle " en cas de force majeure (guerre, banqueroute, etc.) où le pays ne serait plus en mesure d'honorer ses engagements, à savoir le paiement du loyer, le contrat sera[it] résilié d'office. "
A.b. Le 10 décembre 2015, un avis de fixation du loyer a été remis au locataire. Il a été daté et signé par les parties, mais les différentes rubriques du formulaire n'ont pas été complétées. En particulier, il ne comportait pas d'indication relative à l'identité du bailleur, du locataire et de l'ancien locataire, ni au montant du loyer. Ce formulaire portait la mention selon laquelle le loyer pouvait être contesté dans un délai de trente jours si le locataire l'estimait abusif.
Le montant du loyer n'a pas fait l'objet d'une contestation judiciaire dans le délai précité.
A.c. Dès le mois de février 2016, les parties ont échangé des courriers au sujet de problèmes concernant la villa, de devis pour l'entretien du jardin et de la piscine, ainsi que d'une prétendue surestimation du loyer de la villa.
Le 8 mars 2016, C._ a transmis au locataire une évaluation de la villa effectuée par G._ en octobre 2014, estimant le loyer entre 15'000 fr. et 17'000 fr. par mois, hors charges.
Par courriel du 16 avril 2016, E._ a rappelé à C._ qu'ils avaient évoqué la possibilité d'une résiliation à l'amiable du contrat en raison notamment du montant du loyer.
C._ a répondu le 18 avril 2016 que le locataire avait reçu le formulaire de " la notification du loyer "et qu'il avait eu trente jours pour contester le loyer, ce qu'il n'avait pas fait. Il était donc lié jusqu'à l'échéance du contrat, à moins qu'il ne trouve un nouveau locataire solvable. De toute façon, le loyer n'était pas surestimé, ce que confirmait l'expertise établie en 2014.
Le 13 mai 2016, E._ a relancé C._ quant à une résiliation du bail à l'amiable en raison du loyer qu'elle estimait surestimé. Celui-ci a refusé cette proposition.
A.d. Par courrier du 15 août 2016 adressé à la Mission, la bailleresse a mis en demeure le locataire de lui payer les arriérés de loyers à compter du mois de juin 2016.
Par lettre du 25 août 2016, E._ a reproché à la bailleresse le " défaut de fixation du loyer lors de la conclusion du bail "et le fait d'avoir fait signer à la Mission un avis de fixation du loyer non rempli et sans référence à l'estimation réalisée en octobre 2014. Elle a ajouté qu'elle avait constaté qu'une crise frappait le marché immobilier et avait entraîné une chute vertigineuse des loyers durant les trois à quatre dernières années, obligeant les propriétaires à fixer des loyers, charges comprises, à 11'500 fr. Il était pour elle évident que le contexte particulier de son arrivée en Suisse quelques mois avant la signature du contrat avait largement influencé le montant du loyer et les conditions du contrat en faveur de la bailleresse. E._ a en outre manifesté son mécontentement quant à l'état du bien loué, précisant qu'elle quitterait la villa le 15 septembre 2016. Elle a encore indiqué qu'une fuite d'eau était présente dans le jardin depuis juin 2016 et que la bailleresse n'avait rien entrepris pour la réparer, malgré ses promesses. Cela engendrait des frais d'eau exorbitants.
Le même jour, la bailleresse a transmis à E._ le courrier qu'elle avait adressé à la Mission le 15 août 2016.
Par courrier du 30 août 2016, E._ a exposé que le locataire n'avait pas contesté le loyer dans le délai de trente jours en raison de divers contretemps, notamment un deuil familial au A._, où elle avait dû se rendre. Elle a indiqué qu'elle était disposée à procéder au règlement des sommes dues immédiatement en contrepartie d'une acceptation de la résiliation du bail pour le 15 septembre 2016, date à laquelle elle quitterait la villa.
Par courrier du 8 septembre 2016, la bailleresse a indiqué que les conditions d'une résiliation anticipée du bail n'étaient pas réalisées.
Le 12 septembre 2016, E._ s'est plainte de multiples défauts de l'objet loué, précisant que le loyer mensuel de celui-ci ne pouvait être estimé à plus de 10'500 fr. Le 26 septembre 2016 elle a proposé une réduction du loyer à 11'000 fr. à partir d'octobre 2016, en indiquant que cette demande faisait suite au contexte politique de son pays, notamment en lien avec la baisse du coût du pétrole et des contraintes financières du pays.
Le 4 octobre 2016, la bailleresse a refusé de baisser le loyer.
L'état des lieux de sortie a eu lieu le 30 novembre 2016.
A.e. Le 9 février 2017, la bailleresse a ouvert action contre le locataire devant le Tribunal des baux et loyers du canton de Genève, selon la procédure prévue pour les cas clairs (<ref-law>). Elle prétendait au paiement de 56'000 fr. avec intérêts et à la libération en sa faveur de la garantie bancaire.
Par jugement du 1er septembre 2017, le tribunal a déclaré la requête irrecevable. Il a retenu que l'avis de fixation du loyer initial ne répondait pas aux exigences de forme prescrites par la loi. Il convenait ainsi de déterminer si la villa louée était ou non une habitation de luxe. Ce point nécessitait une instruction approfondie, de sorte que la situation juridique n'était pas claire aux termes de l'<ref-law>.
Statuant le 9 avril 2018, la Chambre des baux et loyers de la Cour de justice a confirmé ce jugement.
Par arrêt du 26 novembre 2018, le Tribunal fédéral a rejeté le recours dirigé contre l'arrêt de la Cour de justice (arrêt 4A_285/2018).
B.
B.a. Le 31 août 2018, la bailleresse a saisi le tribunal d'une demande dirigée contre le locataire en vue d'obtenir le paiement de la somme de 98'000 fr. avec intérêts et la libération de la garantie bancaire de 42'000 fr. en sa faveur. La somme réclamée correspondait aux loyers des mois de novembre 2016 à mai 2017. La villa avait pu être relouée dès le mois de juin 2017 pour un loyer identique.
Par mémoire de réponse du 26 octobre 2018, le locataire a conclu, en substance, au déboutement de la bailleresse et à ce que le tribunal ordonne la libération de la garantie bancaire en sa faveur. Subsidiairement, il a conclu à la compensation de l'éventuelle créance de loyers réclamés avec le trop-perçu des loyers encaissés par la bailleresse entre le 15 décembre 2015 et le 31 octobre 2016. Il a également formé une demande reconventionnelle tendant à la condamnation de la bailleresse à lui rembourser les deux tiers de la facture d'eau causée par la fuite dans le jardin, montant chiffré à 11'239 fr. 76 ultérieurement.
Par mémoire du 15 janvier 2019, le locataire a notamment " déclaré la compensation "entre les loyers réclamés par la bailleresse et le trop-perçu des loyers encaissés du 15 décembre 2015 à fin octobre 2016, soit 31'500 fr. Il a mentionné que la bailleresse avait refusé d'envisager une réduction du loyer à 11'000 fr.
Dans un mémoire subséquent, le locataire a conclu au déboutement de la bailleresse de ses conclusions et, sur demande reconventionnelle, à ce qu'elle soit condamnée à lui payer la somme de 81'389 fr. 70 et à la libération de la garantie de loyer en sa faveur. Subsidiairement, il a conclu à la condamnation de la bailleresse au paiement de 8'750 fr. et à la libération de la garantie de loyer en sa faveur. Il a estimé que le loyer initial de la villa devait être fixé à 7'900 fr.
Par jugement du 7 novembre 2019, le tribunal a condamné le locataire à payer à la bailleresse la somme de 98'000 fr. avec intérêts, a condamné la bailleresse à verser au locataire le montant de 11'239 fr. 75, a dit que les parties étaient en droit de compenser leurs créances respectives précitées à due concurrence, a autorisé la bailleresse à prélever la somme qui lui était due sur la garantie de loyer constituée par le locataire, a déclaré irrecevable pour le surplus la demande reconventionnelle du locataire et a débouté les parties de toutes autres conclusions.
Le tribunal a considéré que la question de savoir si la villa devait être considérée comme un objet de luxe n'avait pas à être tranchée, car les éventuelles prétentions du locataire en restitution du trop-perçu découlant d'une action en fixation du loyer étaient prescrites. Il n'avait ainsi pas d'intérêt à agir en ce sens. En effet, il était informé, déjà en août 2016, que l'avis de fixation du loyer initial n'avait pas été correctement rempli et des conséquences de ces manquements. Il n'avait toutefois invoqué la " compensation " que le 26 octobre 2018, sans même prendre de conclusions explicites en fixation judiciaire du loyer. Par ailleurs, bien qu'ayant connaissance des vices affectant cet avis, le locataire n'avait pas agi en fixation du loyer mais avait cherché à utiliser la situation pour se départir du bail de manière anticipée, poursuivant ainsi un but étranger à la fixation du loyer. Cela constituait un abus de droit. Il n'y avait dès lors pas lieu de revenir sur le montant du loyer convenu dans le contrat de bail, de sorte que le locataire devait payer à la bailleresse le montant de 98'000 fr. avec intérêts. Cette dernière devait quant à elle prendre en charge une partie de la facture d'eau.
B.b. La Chambre des baux et loyers de la Cour de justice a confirmé ce jugement par arrêt du 21 septembre 2020.
C.
Le locataire (ci-après: le recourant) a exercé un recours en matière civile au Tribunal fédéral, en concluant à la réforme de l'arrêt attaqué en ce sens que la bailleresse (ci-après: l'intimée) soit déboutée de ses conclusions en paiement de la somme de 98'000 fr. et à ce que la libération du compte de garantie de loyer auprès de F._ SA soit ordonnée en faveur du recourant. Subsidiairement, il a conclu à l'annulation de l'arrêt attaqué et au renvoi de la cause à la Cour de justice pour nouvelle décision.
Dans sa réponse, l'intimée a conclu au rejet du recours.
L'autorité précédente s'est référée aux considérants de l'arrêt attaqué.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (<ref-law>) et au délai de recours (<ref-law>).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
3.
L'<ref-law> s'inscrit dans les dispositions sur la protection contre les loyers abusifs. Il prévoit qu'en cas de pénurie de logements, les cantons peuvent rendre obligatoire, sur tout ou partie de leur territoire, l'usage de la formule officielle mentionnée à l'<ref-law> pour la conclusion de tout nouveau bail. Le canton de Genève a fait usage de cette faculté.
Selon l'<ref-law>, les dispositions sur la protection contre les loyers abusifs et donc, l'<ref-law>, ne s'appliquent pas aux baux d'appartements et de maisons familiales de luxe comprenant six pièces ou plus (cuisine non comprise).
3.1.
La formule officielle doit être notifiée au locataire au moment de la conclusion du bail ou, au plus tard, le jour de la remise de la chose louée (sur le contenu de la formule, cf. art. 19 al. 1 et 1bis OBLF [RS 221.213.11], applicable par analogie lors de la conclusion d'un nouveau contrat de bail en vertu de l'<ref-law>). Elle a pour but d'informer le locataire de sa possibilité de saisir l'autorité de conciliation afin de contester le montant du loyer en lui fournissant toutes les indications utiles. Elle sert à empêcher les hausses abusives de loyer lors d'un changement de locataire. L'indication du loyer versé par le précédent locataire doit y figurer (<ref-ruling> consid. 3.1 et la référence citée; arrêt 4A_495/2019 du 28 février 2020 consid. 3.1, non publié in <ref-ruling>, et les arrêts cités).
Lorsque la formule officielle n'a pas été employée par le bailleur alors qu'elle était obligatoire ou que la hausse de loyer par rapport à celui payé par le précédent locataire n'y a pas été motivée, ce vice entraîne la nullité partielle du contrat, limitée à la fixation du montant du loyer (<ref-ruling> précité consid. 3.2.1 et 3.2.2; arrêt 4A_495/2019 précité consid. 3.3).
Lorsque la fixation du loyer initial est ainsi nulle, le locataire peut agir en fixation judiciaire du loyer initial et en restitution de l'éventuel trop-perçu. Il s'agit là d'un cumul d'actions (<ref-law>) : la première tend, après constatation, à titre préjudiciel, de la nullité du loyer convenu, à la fixation judiciaire de celui-ci et la seconde, en tant que conséquence de la première, vise à la restitution des prestations effectuées sans cause conformément aux règles de l'enrichissement illégitime (<ref-law>) (<ref-ruling> précité consid. 3.2.3; arrêt 4A_495/2019 précité consid. 3.4).
La restitution, sur la base des règles de l'enrichissement illégitime, de prestations versées à titre périodique, comme des montants payés indûment sur les loyers, est soumise à l'<ref-law>, l'<ref-law> ne s'appliquant pas (<ref-ruling> précité consid. 4.1.1; <ref-ruling> précité consid. 3.2.3). L'<ref-law> prévoit deux délais de prescription: le premier délai d'un an (teneur en vigueur jusqu'au 31 décembre 2019), relatif, court à partir du jour où la partie lésée a eu connaissance de son droit de répétition; le second délai de dix ans, absolu, court dès la naissance de ce droit.
3.2. L'abus manifeste de droit (<ref-law>) demeure toujours réservé. Ce principe permet de corriger les effets de la loi dans certains cas où l'exercice d'un droit allégué créerait une injustice manifeste. Le juge apprécie la question au regard des circonstances concrètes, qui sont déterminantes. L'emploi dans le texte légal du qualificatif " manifeste " démontre que l'abus de droit doit être admis restrictivement. Les cas typiques en sont l'absence d'intérêt à l'exercice d'un droit, l'utilisation d'une institution juridique de façon contraire à son but, la disproportion manifeste des intérêts en présence, l'exercice d'un droit sans ménagement ou l'attitude contradictoire (<ref-ruling> consid. 3.1; <ref-ruling> précité consid. 3.2.4 et les références).
Au titre de l'attitude contradictoire du locataire, la jurisprudence a retenu qu'une exception au droit de répétition des <ref-law> peut être admise, par exemple, lorsque le preneur s'est rendu compte du vice de forme et s'est abstenu de protester dans le dessein d'en tirer, le cas échéant, ultérieurement profit (<ref-ruling> précité consid. 3.2.4; <ref-ruling> consid. 2.3.2; <ref-ruling> consid. 1a). En revanche, le seul fait d'avoir payé, sans discuter, le loyer pendant un long laps de temps ne saurait, à lui seul, conduire à la conclusion que le locataire commet un abus de droit (<ref-ruling> précité consid. 3.2.4; <ref-ruling> précité consid. 2.3.3).
Au titre de l'utilisation d'une institution juridique de façon contraire à son but, la jurisprudence a retenu, entre autre exemple, que le locataire qui soulève la nullité du loyer conclu pour s'opposer à la résiliation immédiate du contrat et à son expulsion commet un abus de droit (<ref-ruling> précité consid. 3.2.4; <ref-ruling> précité consid. 2.4; <ref-ruling> consid. 2.3).
4.
En l'espèce, le recourant reproche d'abord à la cour cantonale d'avoir établi les faits de manière arbitraire en ne retenant pas que E._ venait d'arriver en Suisse lorsqu'elle avait conclu le contrat de bail, et en ne reproduisant pas l'entier du contenu du courrier établi le 15 août 2015 (recte: 2016) par l'intimée.
Le recourant omet toutefois de démontrer, par des renvois précis aux pièces du dossier, qu'il avait présenté ces faits aux autorités précédentes. Il ne s'est ainsi pas conformé aux exigences de motivation requises. En outre, ces éléments de fait n'ont aucune influence sur l'issue du litige (cf. consid. 6.2 infra). Le grief est dès lors irrecevable.
5.
5.1. Le recourant dénonce ensuite une violation de l'<ref-law>. Il soutient que la formule officielle qui lui avait été remise était affectée d'un vice, point qui avait été constaté par la Cour de justice dans son arrêt du 9 avril 2018, puis par le Tribunal fédéral. Le loyer convenu entre les parties était dès lors nul. Les juges précédents n'avaient toutefois pas fixé le montant du loyer. Ils ne pouvaient ainsi donner suite aux conclusions en paiement de loyer de l'intimée, formulées sur la base d'un loyer nul, sauf à violer l'<ref-law>. L'intimée, qui n'avait pas pris de conclusion formelle en fixation du loyer initial, aurait dû se voir débouter de sa conclusion en paiement.
5.2. Cependant, les juges précédents n'ont pas constaté la nullité du loyer initial. Ils ont au contraire laissé ouvert le point de savoir si la villa louée devait être considérée comme un objet de luxe, auquel cas les dispositions sur la protection contre les loyers abusifs, dont fait partie l'<ref-law>, ne sont pas applicables (cf. consid. 3 supra).
Les juges précédents ont considéré qu'il n'y avait pas lieu de se pencher sur le loyer arrêté dans le contrat de bail, car le recourant avait quoi qu'il en soit commis un abus de droit en invoquant la nullité du loyer initial. Le droit du recourant de se prévaloir d'une telle nullité peut effectivement être tenu en échec par l'interdiction de l'abus de droit (arrêt 4A_571/2017 du 10 juillet 2018 consid. 4.2).
6.
Dans une argumentation mêlant parfois les faits et le droit, le recourant reproche à la cour cantonale d'avoir apprécié les faits de manière arbitraire et d'avoir retenu, en violation de l'<ref-law>, qu'il avait commis un abus de droit.
6.1. L'autorité précédente a constaté que l'avis de fixation du loyer signé par le recourant mentionnait la possibilité de contester ce loyer, de sorte qu'il avait été informé de la possibilité que lui conférait la loi à cet égard. Il avait néanmoins versé le montant prévu contractuellement. Par la suite, il avait informé l'intimée qu'il considérait le loyer convenu comme trop élevé. Il n'avait cependant pas sollicité une baisse de loyer, mais une résiliation du bail. Même sans connaissance particulière du droit suisse, une demande de baisse du loyer apparaissait pourtant d'emblée comme une solution plus évidente, si le loyer était excessif, plutôt qu'une résiliation du bail. Il apparaissait ainsi que le recourant avait cherché en priorité, en invoquant que le loyer serait excessif, à quitter les locaux qui ne lui convenaient pas plutôt qu'à obtenir une baisse de loyer. Ce n'était que dans sa réponse du 26 octobre 2018 qu'il avait invoqué un trop-perçu de loyers par l'intimée. Par ailleurs, dans un courrier du 30 août 2016, E._ avait exposé que le loyer initial n'avait pas été contesté dans le délai de trente jours à cause de divers contretemps. Il apparaissait ainsi qu'elle avait connaissance du délai pour contester le loyer initial et qu'elle avait volontairement renoncé à le faire dans ce délai. Le recourant ayant renoncé à la contestation du loyer initial en toute connaissance de cause, pour des motifs qui lui étaient propres, son attitude consistant à invoquer par la suite la nullité du loyer initial était contradictoire et constitutive d'un abus de droit. Sous l'angle de la prescription des prétentions du recourant, la cour cantonale a également constaté, sur la base des courriers des 16 avril, 25 et 30 août 2016 de E._, qu'au plus tard à cette dernière date, le recourant savait que le formulaire de fixation du loyer n'était pas correctement rempli, que le loyer était selon lui abusif et qu'il pouvait le contester.
6.2. Même si les considérations de la cour cantonale peuvent prêter à confusion, il est clair que le fait de ne pas contester le loyer initial, alors que cette possibilité était indiquée dans la formule officielle, et de verser le montant fixé contractuellement durant une certaine période, puis d'invoquer la nullité du loyer initial dans un second temps, à la découverte de celle-ci, n'est pas en soi constitutif d'un abus de droit.
Toutefois, selon les constatations de la cour cantonale, le recourant a en réalité cherché à obtenir, en invoquant que le loyer serait excessif, la résiliation du bail en raison du fait que la villa ne lui convenait pas. Déterminer ce qu'une personne savait ou voulait à un moment donné est une question de fait (arrêt 4A_310/2014 du 10 octobre 2014 consid. 4.4.2), qui ne peut être examinée par le Tribunal fédéral que sous l'angle restreint de l'arbitraire. Or l'on ne décèle pas d'arbitraire dans la constatation précitée. L'appréciation selon laquelle, même sans connaissance particulière du droit suisse, la baisse du loyer apparaissait d'emblée comme une solution plus évidente, si le loyer était jugé excessif, plutôt que la résiliation du bail, n'est pas entachée d'arbitraire. Lorsque le recourant soutient qu'il avait requis une telle résiliation parce que le loyer était trop élevé et qu'il pensait ne pas pouvoir obtenir une réduction du loyer, il substitue son appréciation à celle de la cour cantonale, sans parvenir à démontrer qu'elle aurait versé dans l'arbitraire en ne retenant pas cette version-ci. En particulier, il ressort du courrier du 16 avril 2016 de E._ que la résiliation à l'amiable du contrat avait été discutée en raison de plusieurs motifs, et non uniquement en lien avec le montant du loyer. E._ s'est d'ailleurs plainte à plusieurs reprises de défauts entachant la villa. Le 30 août 2016, elle s'est déclarée disposée à régler le loyer dû seulement en contrepartie d'une acceptation de la résiliation du bail pour le 15 septembre 2016. Par ailleurs, contrairement à ce que fait valoir le recourant, la cour cantonale a pris en compte le fait qu'il ignorait le droit suisse, puisqu'elle a débuté son raisonnement par les termes " même sans connaissance particulière du droit suisse ". La cour cantonale n'y a certes pas évoqué les courriers de C._ indiquant que le loyer initial n'avait pas été contesté et que le recourant était lié par le contrat, mais ceci n'est pas suffisant pour retenir que son appréciation est arbitraire. Le fait que C._ aurait notamment écrit, dans son courrier du 15 août 2016, qu'il n'était pas exclu qu'il initie une procédure pénale à l'encontre du recourant, n'est pas non plus déterminant (cf. consid. 4 supra).
Par ailleurs, la cour cantonale a constaté, sur la base du courrier du 30 août 2016 de E._, que le recourant avait connaissance du délai pour contester le loyer initial mais avait renoncé à le faire. La cour cantonale a également déduit des pièces au dossier que le 30 août 2016 au plus tard, le recourant savait que le formulaire de fixation du loyer n'était pas correctement rempli, que le loyer était, selon lui, abusif et qu'il pouvait le contester. A nouveau, le recourant ne démontre pas d'arbitraire dans ces constatations. Les courriers des 25 et 30 août 2016 de E._ sont explicites, en particulier lorsqu'elle reproche à l'intimée le défaut de fixation du loyer lors de la conclusion du bail et le fait d'avoir dû signer un avis de fixation du loyer non rempli. Le recourant fait valoir que ce n'était qu'en février 2017, lors d'une consultation au..., qu'il avait appris que la formule officielle était viciée et qu'il avait droit à la restitution du trop-versé. Ses allégations, qui n'ont pas convaincu la cour cantonale, ne sauraient être prises en considération à ce stade, puisque le recourant ne fait qu'opposer sa propre appréciation à celle des juges précédents, sans réussir à en démontrer le caractère arbitraire. Le fait que E._ n'a pas, dans les courriers précités, mentionné la nullité du loyer initial et réclamé la restitution du trop-versé ne permet pas de considérer que la cour cantonale aurait sombré dans l'arbitraire en retenant que le recourant avait connaissance de ces éléments à ce moment. Même dans le cas où la solution alléguée par le recourant serait envisageable, voire préférable, il n'en résulterait pas encore une appréciation arbitraire des faits par la cour cantonale (cf. consid. 2.2 supra).
Enfin, c'est également sans arbitraire que l'autorité précédente a constaté que le recourant avait attendu le 26 octobre 2018 pour invoquer un trop-perçu de loyers encaissés par l'intimé. Même si la date du 1er septembre 2017 devait être retenue, comme l'affirme le recourant, cela ne changerait rien au fait qu'il a attendu une longue période, soit plus d'une année, avant de faire valoir ses droits.
En définitive, il convient de se fonder sur les constatations de la cour cantonale, soit que le recourant savait, au plus tard le 30 août 2016, que la formule officielle n'était pas correctement remplie, que le loyer était selon lui abusif et qu'il pouvait le contester, qu'il avait cherché à résilier le bail de la villa, qui ne lui convenait pas, en invoquant un prétendu loyer excessif, et qu'il n'avait formellement invoqué un trop-perçu que plus d'une année après.
Or, le but de la formule officielle est d'informer le locataire de sa possibilité de saisir l'autorité de conciliation afin de contester le montant du loyer en lui fournissant toutes les indications utiles. Il n'est pas d'obtenir la résiliation du contrat de bail au motif que plusieurs éléments concernant le bien loué - même si l'un d'entre eux est le montant du loyer - ne conviennent pas au locataire. En se prévalant de la problématique liée au loyer afin de résilier le bail, le recourant a utilisé cette institution juridique de façon contraire à son but et a commis un abus de droit. Au demeurant, on pourrait également retenir qu'il a adopté une attitude contradictoire en cherchant d'abord à résilier le contrat puis, bien plus tard, en invoquant un trop-perçu de loyers. Dans ces conditions, le loyer fixé contractuellement doit être confirmé.
6.3. Pour le surplus, étant donné que le loyer n'a pas à être réduit, il est superflu d'examiner si le recourant pouvait opposer en compensation ses prétentions de loyers versés en trop.
6.4. Les autres arguments du recourant liés à l'appréciation arbitraire des faits ne seront pas analysés, dès lors qu'ils n'ont aucune influence sur le sort du litige, au vu de ce qui précède.
7.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Le recourant, qui succombe, prendra en charge les frais judiciaires (<ref-law>). Il versera en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 6'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 12 mars 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz