Faits :
A.
A.a. B._ AG est une société ayant notamment pour but le conseil commercial, financier et juridique aux entreprises et assurances. Jusqu'en 2003, C._ et D._ faisaient partie de son conseil d'administration. B._ AG a son siège à xxx à Genève, auprès de X1._ SA (anciennement X2._ SA) (ci-après: la Banque).
B._ AG est entièrement détenue par la Banque. Cette dernière est elle-même détenue entièrement par X._ SA.
X._ SA est la société mère du groupe formé par la Banque et ses filiales, ainsi que par X3._ SA.
A.b. M.A._ a été employé par la Banque entre 1996 et 2005, puis membre du conseil d'administration de celle-ci du 18 février 2005 au 14 octobre 2014, de B._ AG du 14 février 2003 au 9 décembre 2015 et de X._ SA du 3 juillet 2006 au 13 avril 2016.
Le père de M.A._, N.A._, a été membre du conseil d'administration de la Banque de 2015 à 2018.
A.c. Par contrat du 9 octobre 2002, X4._ Ltd a prêté à B._ AG le montant de 18'500'000 fr. afin que cette dernière acquière les deux immeubles situés à xxx à Genève.
Par la suite, par contrat du 30 juin 2006, X._ SA a pris la place de X4._ Ltd en tant que prêteur.
A.d. B._ AG est devenue propriétaire des immeubles précités en 2002. Ils comportaient un sous-sol et huit étages. La surface totale des locaux s'élevait à 2'102,7 m2, plus une terrasse de 48,3 m2.
Les locaux du sous-sol, du rez-de-chaussée et du premier étage étaient partiellement occupés par E._ SA, et ceux du sixième étage étaient loués à X3._ SA.
A.e. La Banque était titulaire d'un contrat de bail à loyer portant sur 1'228 m2 situés dans les immeubles susmentionnés. La Cour de justice a retenu que les pièces produites ne permettaient pas de déterminer de quels locaux spécifiques il s'agissait, et en particulier, si ce bail portait sur les septième et huitième étages.
La Banque payait chaque mois un loyer de 74'078 fr. 25 pour les locaux loués.
Des factures pour les années 2016 à 2018 produites par B._ AG indiquaient que le loyer mensuel se décomposait en 50'509 fr. 50 pour le loyer des premier au cinquième étages, et 23'568 fr. 75 pour celui des septième et huitième étages.
A.f. Par courrier du 23 octobre 2017, B._ AG a signifié à M.A._ qu'en raison d'un grave conflit d'intérêts, elle avait pris la décision, sur demande du conseil d'administration de X._ SA, " de ne plus mettre à [sa] disposition " le bureau situé au septième étage.
M.A._ a répondu que l'occupation des locaux aux septième et huitième étages reposait sur un contrat de bail oral conclu pour une longue durée et par acte concluant entre d'une part, N.A._ et lui-même, et d'autre part, B._ AG. Il a contesté la résiliation du bail.
A.g. Par requête de mesures provisionnelles et superprovisionnelles du 1er novembre 2017, M.A._ a conclu en substance à ce qu'il soit fait interdiction à B._ AG d'entraver l'accès aux locaux situés aux septième et huitième étages des immeubles précités. Cette requête a été rejetée par ordonnance du 21 décembre 2017, confirmée par arrêt de la Cour de justice du 16 avril 2018.
A.h. Depuis le 23 octobre 2017, M.A._ s'est rendu à plusieurs reprises dans les locaux précités.
Par courriers des 4 décembre 2017 et 3 avril 2018, B._ AG et la Banque ont indiqué à M.A._ qu'en étant ni employé, ni organe de la Banque, il n'était pas autorisé à utiliser ces locaux.
A.i. Le 11 décembre 2017, C._ a établi une attestation par laquelle il déclarait avoir agi comme administrateur de B._ AG et avoir eu connaissance d'un prêt consenti par des entités du " Groupe X._ " à la Banque pour un montant de 52'000'000 fr. en lien avec l'acquisition des immeubles situés à xxx. Il avait eu connaissance de discussions relatives au fait que les conditions du prêt comportaient des accords oraux entre la Banque et B._ AG, aux termes desquels certains bureaux devaient être mis à disposition de O.A._, N.A._ et M.A._, ainsi que d'autres membres de la famille, lors de leur passage à Genève, et ce pour une durée indéterminée. C'était dans ce contexte et compte tenu des nombreux services fournis par les membres de la famille A._ que les septième et huitième étages de l'immeuble étaient exclusivement mis à leur disposition, et en particulier à celle des trois prénommés.
A la même date, D._ a signé une attestation par laquelle, en sa qualité d'ancien administrateur de B._ AG, il déclarait que les locaux des septième et huitième étages avaient été loués dès l'acquisition de l'immeuble à N.A._ et M.A._ pour une durée indéterminée, du fait, d'une part, de la mise à disposition sans intérêts de " fonds propres de la banque " par le " Groupe X._ " et, d'autre part, en raison de services non rémunérés rendus tant à la Banque qu'au " Groupe X._ ".
A.j. Par décision de l'assemblée générale extraordinaire de la Banque du 28 mars 2018, le mandat d'administrateur de N.A._ a été révoqué avec effet immédiat.
Le 9 avril 2018, la Banque en a informé N.A._, en lui précisant qu'il n'avait plus accès aux locaux susmentionnés.
N.A._ a contesté la validité de la décision de l'assemblée générale. Il a initié une procédure judiciaire en ce sens, qui était encore en cours au moment du jugement du Tribunal des baux et loyers du canton de Genève.
A.k. Le 11 avril 2018, le Ministère public a ordonné une perquisition des locaux de X3._ SA, voire de toute autre pièce occupée par N.A._ ou M.A._. Les indications suivantes figuraient sur le rapport de police:
" Relevons que la société X3._ occupe le sixième étage du bâtiment, alors que la banque X1._ SA occupe le reste du bâtiment, notamment les septième et huitième étages. M. F._, directeur général de la banque X1._ SA, [...] nous a expliqué qu'au septième étage, les nommés N.A._ et M.A._ occupent chacun un bureau respectif, loué aux intéressés. "
A.l. Après avoir constaté qu'il n'avait pas la possibilité d'accéder aux locaux précités, N.A._ s'en est plaint auprès de B._ AG le 18 avril 2018.
Le 4 mai 2018, B._ AG a expliqué à M.A._ et N.A._ que ces bureaux étaient loués à la Banque et que la jouissance à bien plaire de ces locaux par N.A._ avait pris fin en même temps que la révocation de son mandat d'administrateur.
A.m. Le 11 mai 2018, M.A._ et N.A._ ont déposé une nouvelle requête de mesures provisionnelles et superprovisionnelles, tendant à ce qu'il soit ordonné à B._ AG de leur restituer la possession de ces locaux. Leur requête a été rejetée par ordonnance du 10 juillet 2018, confirmée par la Cour de justice le 10 décembre 2018.
B.
B.a. En parallèle, le 3 mai 2018, au bénéfice d'une autorisation de procéder, M.A._ et N.A._ ont saisi le Tribunal des baux et loyers du canton de Genève. Ils ont conclu principalement à ce que le tribunal constate l'existence et la conclusion d'un contrat de bail à loyer les liant à B._ AG portant sur les locaux précités, subsidiairement, à ce qu'il constate la nullité de la résiliation de leur bail et à ce qu'il fasse interdiction à B._ AG d'entraver l'accès aux locaux.
A l'appui de leurs conclusions, ils ont notamment allégué que le " Groupe X._ " était un conglomérat de sociétés fondé par leur père et dirigé par ses quatre fils, à savoir O.A._, P.A._, N.A._ et Q.A._. Les quatre frères détenaient en main commune l'intégralité du conglomérat, notamment les sociétés X._ SA et la Banque. Ce mode de fonctionnement en société simple avait été formalisé par un contrat signé en 2014 entre les frères. M.A._, fils de N.A._, avait assumé diverses responsabilités au sein du " Groupe X._ " l'amenant à des fonctions dirigeantes dans d'autres sociétés du " Groupe ". X4._ Ltd avait consenti un prêt de 52'100'000 fr. à B._ AG pour que cette dernière acquière les immeubles précités. Elle ne payait pas d'intérêts débiteurs sur ce prêt en vertu d'une convention de renonciation conclue entre le " Groupe X._ " et la Banque. B._ AG et le " Groupe X._ " avaient décidé que le " Groupe " et ses représentants à Genève bénéficieraient de l'usage des locaux sis aux septième et huitième étages. Depuis 2003, M.A._ et d'autres membres du " Groupe " occupaient ainsi les locaux en contrepartie du fait que la Banque ne payait aucun intérêt sur le prêt et de nombreux services rendus par les membres du " Groupe " à la Banque, laquelle détenait entièrement B._ AG.
A l'audience du 1er mars 2019, M.A._ et N.A._ ont modifié certains de leurs allégués, affirmant désormais que le montant du prêt s'élevait à 18'500'000 fr. Ils ont notamment sollicité l'audition de témoins, ainsi que la production des originaux des avis de crédit relatifs au paiement du loyer par la Banque à B._ AG depuis la conclusion du bail, et des pièces relatives à la décision du Conseil d'administration de la Banque de leur retirer les accès aux locaux litigieux.
Par ordonnance du 28 juin 2019, le tribunal a rejeté les mesures d'instruction requises. Il a expliqué que l'appréciation anticipée des preuves déjà administrées l'avait suffisamment renseigné sur la nature des relations entre les parties, rendant inutiles des mesures probatoires supplémentaires.
Par jugement du 13 novembre 2019, le tribunal a débouté M.A._ et N.A._ de leurs conclusions.
B.b. M.A._ et N.A._ ont interjeté appel à l'encontre de ce jugement auprès de la Chambre des baux et loyers de la Cour de justice du canton de Genève. Ils ont réitéré leurs réquisitions de preuves tendant à l'audition de témoins et la production de pièces.
Statuant le 21 décembre 2020, la cour cantonale a confirmé le jugement attaqué et débouté les parties de toutes autres conclusions.
C.
M.A._ et N.A._ (ci-après: les recourants) ont formé un recours en matière civile au Tribunal fédéral. Ils ont repris, en substance, les conclusions formulées dans leur demande.
Dans sa réponse, B._ AG (ci-après: l'intimée) a conclu au rejet du recours.
La cour cantonale s'est référée aux considérants de son arrêt.
Les recourants ont déposé une réplique spontanée, suscitant une duplique de l'intimée.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (art. 74 al. 1 let. a LTF) et au délai de recours (art. 46 al. 1 let. c et 100 al. 1 LTF).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (art. 95 let. a LTF). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Eu égard, toutefois, à l'exigence de motivation qu'impose l'art. 42 al. 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2). Le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
3.
Tout d'abord, les recourants reprochent à la cour cantonale d'avoir procédé à une appréciation des preuves et un établissement des faits arbitraires sur plusieurs points. Il s'agit des surfaces des différents étages des immeubles concernés, de la surface précise louée par la Banque, des fonctions occupées par les témoins dont l'audition a été requise, ainsi que d'éléments que les recourants souhaitent voir apparaître dans l'état de fait de l'arrêt attaqué et non seulement au stade de la motivation juridique.
Cependant, les différents points soulevés par les recourants ne seraient pas susceptibles d'influencer le sort de la cause, au vu des considérations qui suivent (cf. consid. 4 et 5 infra). Il n'y a dès lors pas lieu d'entrer en matière sur ce grief.
4.
Les recourants dénoncent ensuite une violation des art. 29 al. 2 Cst., 8 CC et 152 CPC. Ils font grief à la cour cantonale d'avoir violé leur droit à la preuve en refusant l'administration de moyens de preuve qu'ils avaient sollicités dans le cadre de leur appel.
4.1. Le droit à la preuve - qui découle tant du droit d'être entendu garanti par l'art. 29 al. 2 Cst. que, en droit privé fédéral, de l'art. 8 CC et qui est, depuis l'entrée en vigueur du CPC, également consacré à l'art. 152 CPC -, octroie à toute personne à laquelle incombe le fardeau de la preuve le droit, pour établir un fait pertinent contesté, de faire administrer les moyens de preuve adéquats, pour autant qu'ils aient été proposés régulièrement et en temps utile (<ref-ruling> consid. 9.3.2; <ref-ruling> consid. 7.1; arrêt 4A_280/2020 du 3 mars 2021 consid. 8.1).
En revanche, le droit à la preuve n'est pas mis en cause lorsque le juge, par une appréciation anticipée, arrive à la conclusion que la mesure requise n'apporterait pas la preuve attendue, ou ne modifierait pas la conviction acquise sur la base des preuves déjà recueillies (<ref-ruling> consid. 9.3.2; <ref-ruling> consid. 6.3.1; <ref-ruling> consid. 4.3.2). Le recourant doit alors invoquer l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves, en motivant son grief conformément aux exigences plus strictes de l'art. 106 al. 2 LTF (ATF <ref-ruling> consid. 4.3.2; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.2).
4.2. En l'espèce, la cour cantonale a relevé que les mesures probatoires supplémentaires étaient inutiles au vu des éléments de preuve déjà administrés et n'étaient pas susceptibles de changer l'issue du litige. Il n'est pas ici question du droit à la preuve, mais bien de l'appréciation anticipée des preuves effectuée par les magistrats cantonaux. Il appartenait ainsi aux recourants d'invoquer l'arbitraire dans cette appréciation, ce qu'ils n'ont pas fait.
Un tel arbitraire n'est d'ailleurs pas décelable. On doit relever, à l'instar de l'instance précédente, que les preuves administrées avaient déjà apporté suffisamment d'éléments permettant de statuer, de sorte que les auditions requises étaient superflues (cf. consid. 5.4 infra). De plus, comme l'a souligné à juste titre la cour cantonale, les auditions de témoins sur des services rendus par les recourants à la Banque n'étaient pas nécessaires, car ces services ne sauraient constituer une contre-prestation issue d'un prétendu contrat de bail entre les recourants et l'intimée.
La production de pièces supplémentaires relatives aux versements effectués par la Banque à l'intimée n'était pas non plus déterminante s'agissant des liens entre cette dernière et les recourants.
Pour le surplus, l'instance précédente pouvait, sans arbitraire, refuser par appréciation anticipée des preuves d'admettre la production de documents qui étaient destinés, selon les recourants, à démontrer un manque de crédibilité de l'intimée. Ici aussi, les éléments administrés suffisaient pour statuer (cf. consid. 5.4 infra), indépendamment de cela.
Ainsi, s'il est certes étonnant que la cour cantonale ait déclaré examiner la situation au moment où les accès ont été retirés aux recourants, et non à l'époque de la conclusion du prétendu contrat de bail, on ne décèle nul arbitraire dans son appréciation anticipée des preuves.
5.
Enfin, les recourants font grief à la cour cantonale d'avoir nié l'existence d'un contrat de bail les liant à l'intimée, en violation de l'art. 253 CO. Ils soutiennent que le règlement du loyer s'effectuait par la renonciation à percevoir des intérêts sur le prêt que X4._ Ltd, puis X._ SA avait octroyé à l'intimée pour acheter les immeubles en question, et par les services qu'ils rendaient à la Banque.
5.1. Selon l'art. 1 al. 1 CO, le contrat est parfait lorsque les parties ont, réciproquement et d'une manière concordante, manifesté leur volonté. Les parties doivent s'être mises d'accord sur tous les éléments essentiels du contrat, faute de quoi celui-ci n'est pas venu à chef (<ref-ruling> consid. 3d et les références citées; arrêt 4A_69/2019 du 27 septembre 2019 consid. 3.1).
Le bail à loyer est un contrat par lequel le bailleur s'oblige à céder l'usage d'une chose au locataire, moyennant un loyer (art. 253 CO). Le montant du loyer est un élément essentiel du contrat de bail; ce montant doit être déterminé ou à tout le moins déterminable sur la base de l'accord des parties (<ref-ruling> consid. 5a; arrêt 4C.162/2001 du 11 décembre 2001 consid. 2a).
Le loyer ne doit pas nécessairement consister en une somme d'argent. Il peut s'agir d'une contre-prestation en nature ou en travail; on se trouve dans ces cas en présence d'un contrat mixte ou composé (arrêt 4C.373/2006 du 29 janvier 2007 consid. 4.2 et les références; HIGI/BÜHLMANN, Zürcher Kommentar, 2019, n° 30 ad art. 253 CO; DAVID LACHAT, Le bail à loyer, 2019, p. 68, n° 1.6.5).
Le contrat de bail n'est pas soumis à une forme spéciale (arrêts 4A_415/2017 du 31 octobre 2017 consid. 3.3; 4A_75/2015 du 9 juin 2015 consid. 3.1.1).
5.2. Pour déterminer si un contrat a été conclu, quels en sont les cocontractants et quel en est le contenu, le juge doit interpréter les manifestations de volonté des parties (<ref-ruling> consid. 5.2; arrêt 4A_379/2018 du 3 avril 2019 consid. 3.1 et les références citées).
Selon les règles d'interprétation des contrats déduites de l'art. 18 CO, le juge doit d'abord rechercher la réelle et commune intention des parties (interprétation subjective) puis, à défaut, interpréter leurs comportements selon le principe de la confiance (interprétation objective) (<ref-ruling> consid. 5.2.2 et 5.2.3; arrêts 4A_421/2020 du 26 février 2021 consid. 3.1; 4A_379/2018 du 3 avril 2019 consid. 3.1 et les références citées).
5.3. Selon le principe de la transparence, on ne peut pas s'en tenir sans réserve à l'existence formelle de deux personnes juridiquement distinctes lorsque tout l'actif ou la quasi-totalité de l'actif d'une société appartient soit directement, soit par personnes interposées, à une même personne, physique ou morale; malgré la dualité de personnes à la forme, il n'existe pas deux entités indépendantes, la société étant un simple instrument dans la main de son auteur, qui, économiquement, ne fait qu'un avec elle. On doit admettre que, conformément à la réalité économique, il y a identité de personnes et que les rapports de droit liant l'une lient également l'autre; ce sera le cas chaque fois que le fait d'invoquer la diversité des sujets constitue un abus de droit ou a pour effet une atteinte manifeste à des intérêts légitimes (art. 2 al. 2 CC; sur le principe de la transparence en général: cf. <ref-ruling> consid. 3.2).
L'application du principe de la transparence suppose donc, premièrement, qu'il y ait identité de personnes, conformément à la réalité économique, ou en tout cas la domination économique d'un sujet de droit sur l'autre; il faut deuxièmement que la dualité soit invoquée de manière abusive, c'est-à-dire pour en tirer un avantage injustifié (<ref-ruling> consid. 3.2; <ref-ruling> consid. 5a/aa; arrêt 4A_600/2019 du 17 juin 2020 consid. 4.1 et les références).
5.4. En l'espèce, la cour cantonale a d'abord considéré que les identités des parties au contrat n'étaient pas clairement établies, en particulier quant aux locataires. Selon les propres allégations des appelants, il pouvait s'agir de plusieurs membres du " Groupe X._ ", et non des appelants seuls, de sorte que ces derniers ne bénéficieraient pas seuls de la légitimation active. La cour cantonale a retenu, quoi qu'il en soit, que X4._ Ltd, puis X._ SA avaient consenti un prêt à l'intimée pour acquérir les immeubles sis à Genève. Le fait pour l'intimée de ne pas payer d'intérêts sur ce prêt ne permettait pas de conclure à une relation de bail à loyer entre l'intimée et les appelants. En effet, les parties au contrat de prêt et au prétendu contrat de bail étaient différentes. Le contrat de prêt ne mentionnait pas que le non-paiement des intérêts équivaudrait au loyer de locaux loués par les appelants. De plus, ces derniers avaient échoué à démontrer les éléments permettant d'appliquer le principe de la transparence. Ils ne pouvaient donc pas se prévaloir de cette renonciation à percevoir des intérêts. Au demeurant, la part du loyer relative à cette renonciation n'était pas déterminée, ni déterminable, car les appelants alléguaient seulement un taux d'intérêt théorique de 5 % l'an, et non le taux réel auquel avait renoncé le prêteur. Les appelants avaient en outre allégué un prêt de 52'100'000 fr., avant de réduire ce montant à 18'500'000 fr., ce qui modifiait sensiblement le montant des intérêts. Par ailleurs, l'application du principe de la transparence devait également être écarté s'agissant des services rendus par les appelants à la Banque. L'intimée et la Banque constituant deux entités distinctes, les services rendus par les recourants à cette dernière ne sauraient constituer un loyer issu d'un contrat de bail les liant à l'intimée. Pour le surplus, les appelants n'avaient ni allégué la teneur, ni l'ampleur de ces services.
5.5. Les recourants ne s'en prennent pas véritablement à la motivation de l'arrêt attaqué. Ils affirment de manière générale que conformément à l'art. 18 CO, la cour cantonale devait déterminer la réelle et commune intention des parties lors de la conclusion du contrat, puis retenir que les conditions légales d'un contrat de bail étaient remplies. En revanche, ils ne critiquent pas explicitement les considérations de la cour cantonale relatives à l'identité des parties au contrat. Ils ne discutent pas non plus les motifs de l'arrêt attaqué quant au principe de la transparence et à l'absence de contre-prestation de leur part. Enfin, ils ne s'en prennent pas valablement au raisonnement de l'instance précédente sur la teneur et l'ampleur des services rendus à la Banque ou sur le montant des intérêts du prêt. Or, les éléments précités, en particulier s'agissant des parties au contrat et de la contre-prestation des recourants, sont pertinents dans le cadre de l'analyse de la conclusion d'un prétendu contrat de bail, voire d'un contrat mixte. Ils devaient être discutés par les recourants pour répondre aux exigences de motivation prévalant devant le Tribunal fédéral.
En définitive, l'argumentation des recourants ne permet pas de retenir que la cour cantonale aurait violé le droit fédéral en niant l'existence d'un contrat de bail les liant à l'intimée portant sur les locaux litigieux.
6.
Par conséquent, le recours doit être rejeté dans la mesure où il est recevable.
Les recourants, qui succombent, prendronten charge les frais judiciaires (art. 66 al. 1 LTF). Ils verseront en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 12'000 fr., sont mis à la charge des recourants.
3.
Les recourants verseront à l'intimée une indemnité de 14'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 8 juillet 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz