Faits :
A.
A.a. B.X._ et A.X._ (ci-après: les locataires) et C._ SA (ci-après: la bailleresse) sont liés par un contrat de bail portant sur un appartement de cinq pièces situé au deuxième étage d'un immeuble à xxx.
Le contrat a été conclu le 17 juin 1980 entre B.X._ et les époux D._, alors propriétaires et bailleurs. Selon les dispositions du contrat, si le locataire estimait que des réparations étaient nécessaires en raison de l'état de l'appartement à la sortie du locataire précédent, il s'engageait à les faire exécuter par ses soins et à ses frais.
L'immeuble a par la suite été acquis par la bailleresse C._ SA.
A.b. Par courrier du 4 septembre 2003, la régie en charge de la gestion de l'immeuble a informé les locataires que la bailleresse souhaitait rénover ce dernier en entreprenant des travaux consistant en l'installation du chauffage central, avec passage des colonnes de chauffe dans les appartements, la pose de radiateurs, la distribution d'eau chaude depuis la chaufferie commune, la réfection de l'enveloppe du bâtiment et l'installation d'un ascenseur. Le loyer serait augmenté une fois les travaux exécutés.
Le 30 mars 2007, à la suite d'une contestation d'une majoration de loyer notifiée par la bailleresse, les parties sont parvenues à un accord devant la Commission de conciliation en matière de baux et loyers. Le loyer mensuel a été fixé à 1'288 fr. du 1er juillet 2007 au 31 décembre 2008 et à 1'344 fr. du 1er janvier 2009 au 30 juin 2010. Le bail a été prorogé au 30 juin 2010, renouvelable ensuite d'année en année. La bailleresse s'est engagée à exécuter des travaux de rénovation de la salle de bain (pose de catelles jusqu'au plafond), de réfection de la peinture des plafonds et murs de la cuisine, ainsi que de la chambre à coucher, d'ici à la fin du mois de mai 2007.
A.c. Le 2 mai 2007, la régie a visité le logement afin de planifier les travaux.
Le lendemain, le locataire lui a demandé si l'appartement serait habitable pendant la durée des travaux de trois semaines et le cas échéant, quelles mesures étaient prévues pour son relogement et celui de son épouse. Le locataire a relancé la régie le 5 mai 2007, en précisant qu'ils ne pourraient pas être logés ailleurs pendant les travaux qui devaient débuter le lundi suivant. Il a demandé à ce que la date de ces travaux soit différée.
Par courriers des 8 et 29 mai 2007, la régie a répondu au locataire que les travaux ne rendraient pas l'appartement inhabitable, seule la salle de bain devant être inutilisable durant trois semaines. L'appartement bénéficierait cependant d'un point d'eau et d'un WC. Elle l'a invité à proposer un nouveau jour de début des travaux et a rappelé qu'un mois de loyer gratuit avait été accordé en raison de ces travaux.
Le 11 juin 2007, le locataire a suggéré le 18 juin 2007 comme jour de début des travaux.
Le 14 juin 2007, la régie a répondu que le laps de temps pour contacter les entreprises était trop court et a proposé un rendez-vous le 20 juin 2007, reporté ensuite au 27 juin 2007 par courrier du 21 juin 2007.
Le 2 juillet 2007, le locataire s'est plaint à la régie de l'attitude de E._, administrateur de la société bailleresse, habitant l'immeuble. Plusieurs rendez-vous n'avaient pas été honorés par la régie ou les corps de métier. Il a demandé à ce que les travaux soient effectués par des personnes respectueuses et à ne plus avoir à traiter avec E._.
La régie a répondu favorablement au locataire. Elle lui a ensuite écrit à plusieurs reprises pour fixer la date des travaux.
Le 31 août 2007, la régie lui a indiqué qu'elle avait annulé l'intervention de différentes entreprises du fait que l'une d'elles avait attendu des heures que son épouse et lui se présentent au rendez-vous fixé sur place.
Le 4 septembre 2007, le locataire a informé la régie que les corps de métier qui devaient intervenir ne s'étaient pas présentés. Il a demandé que la planification des travaux lui soit transmise et que les entreprises soient invitées à prendre contact avec son épouse et lui afin de fixer leurs heures de présence et permettre l'accès à leur appartement.
A.d. Par courrier du 13 novembre 2009, les locataires ont été mis en demeure de respecter leur devoir de diligence et les égards envers leurs voisins, à la suite d'une plainte de E._ au sujet du bruit intempestif créé après différents claquements de leur porte d'entrée.
A.e. La bailleresse a résilié le bail par avis officiel du 8 mars 2011, pour sous-location non autorisée. Par jugement du 11 février 2014, le Tribunal des baux et loyers du canton de Genève a constaté l'inefficacité du congé, dans la mesure où la bailleresse n'avait pas pu démontrer l'existence de la sous-location.
A.f. Le 12 septembre 2012, un courrier a été adressé aux locataires pour leur fixer un délai afin d'agender un rendez-vous avec l'entreprise chargée de changer leur porte d'entrée, car malgré plusieurs avis laissés sur leur porte et dans leur boîte aux lettres, ils n'avaient pas pris contact.
A.g. Le 14 juin 2016, la bailleresse a écrit au locataire pour faire suite à une plainte de ce dernier formulée au sujet de l'installation d'une caméra de surveillance. La bailleresse a justifié celle-ci par divers cambriolages survenus dans l'immeuble.
A.h. Par avis officiels du 21 juin 2017, envoyés au locataire et à son épouse, la bailleresse a résilié le bail pour le 30 juin 2018.
Le 11 juillet 2017, les intéressés ont sollicité le motif de la résiliation.
Le 10 août 2017, la bailleresse a indiqué qu'elle avait l'intention d'exécuter des travaux de rénovation dans l'appartement vétuste et qui n'était plus aux normes en matière de sécurité et d'électricité.
B.
B.a. Le 18 octobre 2017, au bénéfice d'une autorisation de procéder, les locataires ont saisi le Tribunal des baux et loyers du canton de Genève d'une demande en vue d'obtenir, en substance, l'annulation du congé, subsidiairement l'octroi d'une prolongation de bail de quatre ans, avec adaptation du loyer en fonction de l'évolution des critères y relatifs.
Dans sa réponse, la bailleresse a conclu à ce que le congé soit validé. Elle a allégué que les travaux envisagés consistaient en la réfection intérieure complète des peintures, des carrelages, des boiseries, de la salle de bain, de la cuisine, ainsi qu'en la pose d'isolation thermique et acoustique dans tout l'appartement. La présence des locataires dans l'appartement durant les travaux en entraverait l'exécution et prolongerait considérablement leur durée. Des entreprises avaient déjà été mises en oeuvre afin notamment d'établir un diagnostic amiante. Les travaux en étaient au stade de la préparation du dossier d'autorisation de construire. La régie avait tenté de joindre les locataires pendant trois semaines afin de fixer un rendez-vous pour la venue d'une entreprise dans l'appartement. Elle avait finalement envoyé un courrier recommandé, demeuré sans réponse. Les locataires s'étaient opposés à ce que des photographies de l'appartement soient prises afin de les annexer à la demande d'autorisation de construire. Plusieurs courriers avaient été échangés pour fixer le rendez-vous. La bailleresse a produit des devis établis par une entreprise de béton armé, maçonnerie et carrelage, par F._ Sàrl, par G._ SA et H._ Sàrl, tous datés du mois d'octobre 2017.
Lors de l'audience du 23 janvier 2018, les locataires ont déposé des photographies de l'appartement prises le 18 janvier 2018, ainsi que des échanges de courriers avec la régie. Ils ont déclaré que certains travaux avaient déjà été effectués et que les autres n'exigeaient pas leur départ de l'appartement.
E._ a expliqué avoir acquis l'immeuble en 1999. Son projet de rénovation datait de l'acquisition et il avait depuis procédé à la rénovation de tous les appartements de l'immeuble, à l'exception de celui des locataires. L'électricité devait être refaite. La salle de bain était encore branchée à une ancienne colonne d'eau qui devait être supprimée. Des problèmes d'acoustique devaient être réglés. Les fenêtres avaient été changées mais il fallait procéder à l'isolation. La réfection complète de la cuisine et des sanitaires était également projetée. Les travaux visés par l'accord trouvé en 2007 n'avaient jamais pu être effectués, car les locataires n'avaient pas laissé les entreprises accéder à leur logement. S'agissant des autres appartements de l'immeuble, les travaux avaient été effectués lors de la vacance de leurs locataires. Les travaux de réfection intérieure n'avaient pas été exécutés en présence des locataires; seule l'installation du chauffage et des colonnes d'eau avait pu être faite avec des locataires sur place. E._ a indiqué que les travaux envisagés devaient durer entre deux et trois mois et qu'il avait sans doute contacté les entreprises durant l'été. La demande d'autorisation de construire n'avait pas encore été déposée car il manquait les photographies de l'appartement. Il n'avait pas contacté les locataires au sujet des travaux avant la résiliation.
Le conseil de la bailleresse a précisé qu'il y avait une trentaine d'appartements dans lesquels les mêmes entreprises intervenaient. Les devis étaient plus ou moins standards.
La locataire a déclaré qu'il y avait eu des malentendus avec les entreprises en lien avec l'accord intervenu en 2007. A la suite de ces malentendus, ils n'avaient plus eu de nouvelles de la bailleresse. Les travaux de rénovation des WC avaient été réalisés en 2002, le câblage pour la télévision avait été fait en 2007 ou 2008, le tableau électrique avait été changé et les travaux sur les embrasures des fenêtres avaient également déjà été effectués. Avant 2006, d'importants travaux avaient déjà été entrepris dans l'immeuble. La locataire et son époux avaient eux-mêmes réalisés des travaux dans l'appartement, notamment dans la cuisine, la salle de bain et au niveau des peintures. Selon elle, les travaux dans les autres appartements avaient eu lieu en présence des locataires. Son époux et elle n'avaient jamais reçu d'entreprises mandatées par la régie avant de prendre connaissance du congé. Elle avait elle-même contacté l'entreprise pour les prélèvements d'amiante; cette dernière était intervenue le 12 décembre 2017. Avec son époux, ils avaient une relation difficile avec E._, qui leur avait dit, à l'issue de la procédure de contestation du congé, qu'ils allaient partir de toute façon.
E._ a précisé que les contrecoeurs des fenêtres n'avaient pas été isolés, ce qui impliquait le démontage des radiateurs. Les travaux déjà effectués concernaient l'installation des nouvelles colonnes, mais certains appartements, dont celui des locataires, étaient encore raccordés aux anciennes colonnes qui allaient être supprimées. S'agissant de la visite de l'appartement pour le contrôle amiante, ce n'était qu'à la suite de nombreux appels et d'un courrier recommandé de la régie que la visite avait pu être organisée. Lors de celle-ci, les locataires avaient refusé que le représentant de la régie prenne des photographies pour le dépôt de la demande d'autorisation de construire et un nouveau rendez-vous avait dû être fixé. Il avait lui-même été insulté par les locataires et avait subi des voies de fait.
Les locataires ont contesté les faits allégués en lien avec la visite du contrôle amiante, les insultes et les voies de fait, mais ont confirmé leur refus au sujet des photographies.
Le locataire a déclaré que son épouse et lui étaient d'accord de laisser libre l'appartement pour la période des travaux, ayant la possibilité de s'arranger pour deux ou trois mois. Ils avaient une maison en France mais elle était difficilement habitable. Il savait que deux locataires avaient vu leur bail résilié en raison de leur mésentente avec E._. Le locataire a indiqué qu'il était âgé de 71 ans et travaillait encore, son lieu de travail se situant à cinq minutes à vélo de son logement.
Le 13 février 2018, la bailleresse a déposé des observations et pièces complémentaires, notamment des photographies dont il ressort que l'appartement des locataires est dans un bon état d'entretien. Elle a allégué que les travaux entrepris dans les WC en 2002 concernaient principalement des conduites et des tuyaux, ce qu'attestaient les rapports d'entreprises à ce sujet. Concernant l'état général de l'appartement, elle a produit la demande en contestation de la majoration de loyer dans laquelle le locataire soutenait avoir entretenu lui-même l'appartement et déplorait l'état général de ce dernier. Elle a encore produit la demande d'autorisation de construire, laquelle n'avait pu être déposée que récemment dès lors que la régie n'avait pu prendre de photographies de l'appartement. Cette demande portait sur des travaux de rénovation des lieux, ainsi que sur une inversion d'une chambre avec la cuisine, avec création d'une ouverture entre le séjour et la cuisine. Ces travaux correspondaient aux devis établis en octobre 2017.
Lors de l'audience du 20 février 2018, I._, en charge de la gérance administrative de l'immeuble, a déclaré que le bail avait été résilié car des travaux importants de rénovation complète de l'appartement étaient prévus. Ils étaient planifiés depuis longtemps et l'appartement des locataires était le dernier à devoir être rénové. Les travaux devaient durer entre trois et quatre mois et ne pouvaient être exécutés en présence des locataires. Il s'agissait de rénover complètement le système électrique qui n'était plus aux normes, les carrelages, les faïences et les canalisations. Lors de la rénovation des autres appartements, les occupants n'étaient pas présents. Le projet de rénovation avait été évoqué avec le propriétaire quelques mois avant l'envoi de la résiliation, mais le projet était envisagé depuis longtemps, ce dont les locataires avaient été informés en 2007. A l'époque, ces travaux n'avaient pas pu être effectués et auraient dû l'être sans la présence des locataires. Elle ne savait pas si l'ampleur des travaux était la même aujourd'hui. Il y avait eu d'autres résiliations dans l'immeuble pour le même motif. Il n'y avait pas eu de travaux de cette ampleur en présence des occupants. Elle n'était pas au courant d'éventuelles rocades dans l'immeuble pendant la rénovation des appartements. Elle avait toujours eu du mal à entrer en contact avec les demandeurs et à accéder à leur appartement pour faire des devis.
J._, travaillant pour l'entreprise de béton armé, maçonnerie et carrelage ayant effectué des rénovations dans l'immeuble, a déclaré que les rénovations des appartements avaient été faites au fur et à mesure. Pour l'appartement en cause, il avait établi un devis le 30 octobre 2017, qui avait été demandé un mois avant. Il s'agissait de percer les murs, de changer le carrelage, de démolir les chapes et de refaire la peinture. Ces travaux prenaient environ un mois et il était exclu de les réaliser en présence des locataires, l'appartement devant être complètement vide. Les autres rénovations dans l'immeuble avaient toujours été faites dans des appartements vides.
K._, administrateur de F._ Sàrl, a expliqué que son entreprise était intervenue pour la mise aux normes du système électrique dans l'immeuble. Il n'avait pas été contacté récemment pour un nouveau devis. Le système électrique n'était plus aux normes car il y avait encore des " fils en coton ", ce qui était prohibé aujourd'hui. Les travaux devisés impliquaient de couper l'électricité pendant un certain temps. Ce type de travaux s'étendait sur deux semaines au minimum et il fallait compter sur les interactions avec les autres corps de métier. Il était envisageable de faire les travaux en présence des locataires dans de grands appartements mais cela était " un enfer " pour eux car il fallait déplacer les meubles et qu'il y avait de la poussière. Il était toutefois possible de procéder par étapes, en coupant l'électricité par pièce. Concernant l'appartement en cause, il n'y avait qu'un seul fusible, si bien que tout devait être déconnecté. Après avoir relu le descriptif, K._ a constaté qu'il y avait un deuxième tableau électrique avec deux autres disjoncteurs.
L._, entrepreneur dans le sanitaire auprès de la société G._ SA, a indiqué qu'il était intervenu dans l'immeuble à plusieurs reprises, notamment pour le remplacement des colonnes et la réfection des salles de bain. Il n'avait pas visité l'appartement pour établir un devis, mais il connaissait l'immeuble et les appartements étaient identiques. Il fallait compter quinze jours pour l'établissement d'un devis et entre quinze jours et trois semaines pour la rénovation d'une salle de bain. Il était possible que les locataires soient présents dans les locaux, mais ceux-ci devaient être souples.
M._, travaillant pour H._ Sàrl, a déclaré qu'il était intervenu dans l'immeuble, y ayant lui-même ses locaux. Il n'avait jamais pu accéder à l'appartement des demandeurs et avait établi le devis sur la base des plans. Le devis devait avoir été demandé deux ou trois mois avant son établissement. Il avait essayé d'accéder à l'appartement à deux reprises par le passé, en vain. Une intervention sur les fenêtres avait eu lieu dans l'appartement; elle remontait à plus de treize ans.
Les parties ont déposé de nouvelles pièces. En particulier, la bailleresse a produit des échanges de courriers avec le Département de l'aménagement du logement et de l'environnement du canton de Genève (DALE). Il en ressort qu'elle a indiqué avoir trouvé des aménagements avec de nombreux locataires qui avaient été relogés dans l'immeuble et avaient pu réintégrer leur logement après les travaux, et que les demandeurs étaient intervenus dans la procédure administrative, notamment pour signaler une violation de l'art. 43 LDTR (loi genevoise sur les démolitions, transformations et rénovations de maisons d'habitation [mesures de soutien en faveur des locataires et de l'emploi] du 25 janvier 1996; RS/GE L 5 20).
Le 6 mars 2018, les locataires ont déposé des observations soulignant que leur attitude n'était pas obstructionniste. Des entreprises avaient pu intervenir chez eux dès 2002. En particulier, les conduites de gaz et le WC avaient été remplacés, la porte palière changée, les vitrages de l'appartement refaits et le diagnostic amiante opéré. Quant aux photographies de l'appartement, ils jugeaient qu'elles étaient inutiles au dépôt de la demande d'autorisation de construire. Dans tous les cas, le reportage photographique avait pu être réalisé. Le retard pris dans l'exécution des travaux était dû au comportement de E._. Plusieurs entreprises étaient intervenues en 2017 pour réparer la sonnette de la porte d'entrée et une fenêtre de la cuisine, contrôler les écoulements et la colonne de la cuisine, de même que la soupape de la salle de bain, ce qu'attestaient les bons d'intervention produits.
Par ordonnance du 21 mars 2018, le tribunal a clôturé la phase d'administration des preuves, jugeant, par appréciation anticipée, que les mesures d'instruction encore sollicitées par les locataires n'étaient pas pertinentes.
Les parties ont encore adressé des écritures au tribunal.
Le tribunal a rendu un jugement le 29 août 2018, qui a été annulé par arrêt du 8 juillet 2019 de la Chambre des baux et loyers de la Cour de justice du canton de Genève, en raison d'une violation du droit d'être entendus des locataires.
Le 16 octobre 2019, les locataires ont déposé au tribunal une réplique assortie de nouvelles pièces et de faits nouveaux. En particulier, ils ont invoqué le classement par le DALE de la demande d'autorisation de construire en date du 20 juillet 2018, la bailleresse ayant renoncé à poursuivre la procédure. Ils ont soutenu que le projet était d'emblée illusoire et que cette demande n'avait été introduite que pour les besoins de la cause.
La bailleresse a confirmé sa volonté d'effectuer des travaux, en relevant que le classement de la demande était le résultat des complications générées par les locataires.
Le tribunal a rendu un nouveau jugement le 17 décembre 2019, par lequel il a, en substance, déclaré valable le congé signifié aux locataires (ch. 2 du dispositif) et leur a accordé une unique prolongation de bail de deux ans, échéant au 30 juin 2020 (ch. 3 du dispositif).
B.b. Les locataires ont interjeté appel à l'encontre de ce jugement auprès de la Cour de justice. Ils ont notamment requis qu'elle procède à plusieurs mesures d'instruction ou renvoie la cause au tribunal à cette fin.
Le 15 mai 2020, les locataires ont invoqué des faits nouveaux, soit qu'à la date précitée, aucune demande d'autorisation de construire n'avait été déposée par la bailleresse auprès du DALE et que l'état parfait de l'appartement avait été confirmé par un constat d'huissier judiciaire établi le 18 mars 2020. A.X._ avait été atteinte par la COVID-19 et se trouvait en arrêt de travail du 31 mars au 20 mai 2020. La crise sanitaire avait des répercussions négatives sur le marché des biens immobiliers à louer, lequel s'était contracté de 17 % au cours des mois de mars et d'avril 2020. Les locataires ont produit des pièces nouvelles, à savoir un extrait du site du DALE au 15 mai 2020, le constat d'huissier judiciaire précité, un certificat médical établi au nom de la locataire le 21 avril 2020 et un article de presse sur le marché immobilier daté du 4 mai 2020.
Par arrêt du 1er février 2021, la cour cantonale a annulé le chiffre 3 du dispositif du jugement attaqué et, statuant à nouveau sur ce point, a accordé aux locataires une unique prolongation de trois ans, échéant le 30 juin 2021. Elle a confirmé le jugement attaqué pour le surplus et débouté les parties de toutes autres conclusions.
C.
Les locataires (ci-après: les recourants) ont formé un recours en matière civile au Tribunal fédéral, assorti d'une requête d'effet suspensif. En substance, ils ont conclu principalement à l'annulation de l'arrêt entrepris et au renvoi de la cause à la cour cantonale afin qu'elle procède à certaines mesures d'instruction et se prononce sur différents points. Subsidiairement, ils ont conclu à la réforme de l'arrêt attaqué en ce sens que le congé litigieux soit annulé. Plus subsidiairement encore, à sa réforme en ce sens qu'une unique prolongation de bail leur soit accordée jusqu'au 30 juin 2022.
Dans sa réponse, la bailleresse (ci-après: l'intimée) a conclu au rejet du recours.
La cour cantonale s'est référée aux considérants de son arrêt.
Les recourants ont déposé une réplique spontanée, suscitant une duplique de l'intimée.
Par ordonnance présidentielle du 20 mai 2021, l'effet suspensif a été octroyé au recours.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (<ref-law>) et au délai de recours (<ref-law>).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
2.3. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Les recourants méconnaissent ce principe lorsqu'ils produisent un certificat médical du 1er mars 2021 à l'appui de leur recours, en alléguant que l'état de santé de l'époux s'est détérioré consécutivement à la réception de l'arrêt attaqué. Cela ne relève clairement pas de l'exception prévue à l'<ref-law> (à ce sujet, cf. <ref-ruling> consid. 3.1.2; <ref-ruling> consid. 4.4.3; arrêts 5A_760/2016 du 5 septembre 2017 consid. 2.3; 4A_231/2016 du 12 juillet 2016 consid. 1.4). Ces pièce et fait nouveaux sont ainsi irrecevables.
Les recourants ont encore produit un extrait du 4 mars 2021 du site internet du DALE, sur la base duquel ils allèguent que l'intimée n'a, au jour du dépôt du recours, pas sollicité de nouvelle autorisation de construire. Il s'agit ici de faits notoires; en effet, en ce qui concerne les informations figurant sur Internet, le Tribunal fédéral a précisé que celles bénéficiant d'une " empreinte officielle " (par ex: Office fédéral de la statistique, inscriptions au registre du commerce, cours de change, horaire de train des CFF, etc.) peuvent en principe être considérées comme notoires (<ref-ruling> consid. 1.2; arrêts 2C_569/2018 du 27 mai 2019 consid. 3.2 et 3.3 non publié in <ref-ruling>; 1C_309/2019 du 8 mai 2020 consid. 3). Cet élément n'a quoi qu'il en soit aucune influence sur le sort de la cause (cf. consid. 12.2 et 12.3 infra).
3.
Tout d'abord, les recourants font valoir que l'arrêt cantonal est rédigé d'une manière qui laisse à désirer au regard des exigences de l'art. 112 al. 1 let. a et b LTF s'agissant de leur demande de compléter les faits constatés dans le jugement du tribunal de première instance. Selon les recourants, il se justifie de compléter l'état de fait sur plusieurs points, sur la base de l'<ref-law>.
3.1.
3.1.1. L'<ref-law> prescrit que l'arrêt cantonal doit contenir, en particulier, les conclusions, les allégués, les moyens de preuve offerts et les déterminations des parties lorsqu'elles ne résultent pas des pièces du dossier (let. a), ainsi que les motifs déterminants de fait et de droit, notamment les dispositions légales appliquées (let. b).
3.1.2. Dans la partie " en fait " de son arrêt, la cour cantonale a brièvement résumé les allégués des locataires quant à l'état de fait établi par l'autorité de première instance (cf. let. B.a de l'arrêt attaqué) et a mentionné les preuves et faits nouveaux invoqués (cf. let. B.c). Ils ressortent d'ailleurs des pièces du dossier, de sorte qu'aucune critique ne peut être formulée en lien avec l'<ref-law>.
Dans la partie " en droit ", la cour cantonale a déclaré recevables les pièces et les faits nouveaux (cf. ch. 2.2). Elle a détaillé les allégués pertinents (cf. ch. 4.1), puis a relevé qu'ils seraient pris en considération au fur et à mesure des développements qui suivaient sur la question de fond (cf. ch. 4.2). Tel est effectivement le cas (cf. ch. 5.2). Elle a indiqué, pour chaque point décisif, ce qu'elle retenait ou écartait; pour les faits contestés, elle a expliqué comment elle a apprécié les preuves et sur quelles bases elle a forgé son opinion (arrêt 4A_624/2011 du 27 janvier 2012 consid. 2.1). On ne saurait dès lors reprocher à la cour cantonale d'avoir enfreint l'<ref-law>.
3.2. Les recourants se plaignent encore d'arbitraire en lien avec plusieurs constatations de fait de la cour cantonale.
Les recourants soutiennent d'abord que l'instance précédente a, de manière arbitraire, constaté que leur appartement était le dernier à ne pas avoir subi les travaux de rénovation planifiés par l'intimée. Toutefois, la cour cantonale a expressément précisé que ce fait n'avait pas été contesté. Les recourants ne font pas valoir, ni a fortiori ne démontrent, qu'ils avaient contesté cet élément dans leur écriture d'appel. Ils se limitent à se référer à des photographies de leur logement et au rapport d'huissier judiciaire, en soulignant que leur appartement est en parfait état. Pour le surplus, il ressort de leur mémoire d'appel qu'ils avaient expliqué que certains travaux avaient déjà été effectués dans leur appartement; quoi qu'il en soit, le fait que certains travaux ont été entrepris dans leur logement ne permet pas de retenir que la cour cantonale aurait sombré dans l'arbitraire en constatant que leur appartement était le dernier à ne pas avoir subi l'entier des travaux considérés. En outre, cette constatation n'est pas contradictoire avec le fait que le logement des recourants est " bien entretenu ", selon le constat opéré par la cour cantonale.
Les critiques soulevées par les recourants en lien avec le prétendu caractère irréaliste et " inautorisable " du projet de travaux, ainsi que la nécessité et l'urgence de ces derniers, seront analysées ci-dessous (cf. consid. 10.1 et 10.3 infra).
4.
Les recourants dénoncent ensuite une violation des art. 29 al. 2 Cst. et 152 CPC. Ils font grief à la cour cantonale d'avoir violé leur droit à la preuve en refusant l'administration de moyens de preuve qu'ils avaient sollicités. Il s'agissait d'une inspection locale et de l'apport de la procédure administrative d'octroi de l'autorisation de construire.
4.1. Le droit à la preuve - qui découle tant du droit d'être entendu garanti par l'art. 29 al. 2 Cst. que, en droit privé fédéral, de l'<ref-law> et qui est, depuis l'entrée en vigueur du CPC, également consacré à l'<ref-law> -, octroie à toute personne à laquelle incombe le fardeau de la preuve le droit, pour établir un fait pertinent contesté, de faire administrer les moyens de preuve adéquats, pour autant qu'ils aient été proposés régulièrement et en temps utile (<ref-ruling> consid. 9.3.2; <ref-ruling> consid. 7.1; arrêt 4A_280/2020 du 3 mars 2021 consid. 8.1).
En revanche, le droit à la preuve n'est pas mis en cause lorsque le juge, par une appréciation anticipée, arrive à la conclusion que la mesure requise n'apporterait pas la preuve attendue, ou ne modifierait pas la conviction acquise sur la base des preuves déjà recueillies (<ref-ruling> consid. 9.3.2; <ref-ruling> consid. 6.3.1; <ref-ruling> consid. 4.3.2). Le recourant doit alors invoquer l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves, en motivant son grief conformément aux exigences plus strictes de l'<ref-law> (ATF <ref-ruling> consid. 4.3.2; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.2).
4.2. En l'espèce, la cour cantonale a considéré, à l'instar des premiers juges, que l'inspection locale de la chose louée n'était pas de nature à influer sur le sort du litige, puisqu'une telle inspection ne serait pas susceptible d'amener des éléments qui ne figuraient pas déjà au dossier. Il n'est pas ici question du droit à la preuve, mais bien de l'appréciation anticipée des preuves effectuées par les magistrats cantonaux. Les recourants ne parviennent pas à démontrer que cette appréciation serait arbitraire. On doit admettre, comme l'autorité précédente l'a implicitement fait, que les preuves déjà administrées - en particulier, des photographies des locaux produites par les parties et un constat d'huissier judiciaire comprenant également des photographies - avaient apporté suffisamment d'éléments permettant de statuer. L'inspection locale requise était ainsi superflue. Par ailleurs, les nouveaux points soulevés par les recourants dans leur réplique sont tardifs et n'ont pas à être pris en compte.
S'agissant de l'apport du dossier de la procédure administrative auprès du DALE, la cour cantonale a relevé que son contenu ne pouvait servir qu'à émettre des hypothèses quant au caractère réalisable ou non du projet de travaux de l'intimée, puisqu'aucune décision définitive n'avait été prise par l'autorité compétente. Les recourants soutiennent qu'ils avaient sollicité ce moyen de preuve non seulement en rapport avec le caractère réalisable de ces travaux, mais également s'agissant de la nécessité même de ces derniers. Quoi qu'il en soit, on peut relever que la cour cantonale avait déjà administré des éléments de preuve lui permettant de constater qu'une partie des travaux, à tout le moins, était nécessaire (cf. consid. 10.3 infra).
5.
Les recourants se prévalent également d'une violation de leur droit d'être entendus, en lien avec une motivation insuffisante de l'arrêt cantonal sur plusieurs points.
5.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2; <ref-ruling> consid. 3.2.1). L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 3.2). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (ATF <ref-ruling> consid. 3.2.1).
5.2. Les recourants font grief à la cour cantonale de ne pas avoir justifié de manière motivée son refus d'ordonner une inspection locale. Or, la cour cantonale a clairement expliqué, en particulier, qu'une telle inspection ne serait pas susceptible d'apporter des éléments qui ne figuraient pas déjà au dossier. On ne saurait lui reprocher de ne pas avoir détaillé les évidents éléments de preuve déjà administrés (photographies et constat d'huissier judiciaire, notamment) ayant fondé son appréciation.
Les recourants font encore valoir que l'arrêt attaqué n'est pas suffisamment motivé s'agissant de plusieurs de leurs arguments. Ils ne sauraient être suivis sur ces points-là également, tel qu'expliqué ci-dessous (cf. consid. 10.2, 10.3 et 10.5 infra).
6.
Ensuite, les recourants reprochent à l'autorité précédente d'avoir enfreint les art. 271 al. 1 et 271a al. 1 let. a CO, ainsi que les <ref-law> et 164 CPC en refusant d'admettre que le congé était contraire aux règles de la bonne foi. Ils allèguent d'abord que la résiliation constitue un congé-représailles (<ref-law>) puis, subsidiairement, qu'elle est abusive (<ref-law>). Ils soutiennent également que la cour cantonale a versé dans l'arbitraire dans la constatation de certains faits.
7.
7.1. Chaque partie est en principe libre de résilier un bail de durée indéterminée pour la prochaine échéance convenue en respectant le délai de congé prévu. La résiliation ordinaire du bail ne suppose pas l'existence d'un motif de résiliation particulier (cf. <ref-law>; <ref-ruling> consid. 3.1; <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 4.1).
Lorsque le bail porte sur une habitation ou un local commercial, la seule limite à la liberté contractuelle des parties réside dans les règles de la bonne foi: le congé qui y contrevient est alors annulable (<ref-law>; cf. également <ref-law>). De manière générale, un congé est contraire aux règles de la bonne foi lorsqu'il ne répond à aucun intérêt objectif, sérieux et digne de protection et qu'il apparaît ainsi purement chicanier ou consacrant une disproportion crasse entre l'intérêt du locataire au maintien du contrat et celui du bailleur à y mettre fin (<ref-ruling> consid. 3.1; <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 4.1). Il ne suffit pas que la résiliation entraîne des conséquences pénibles pour le locataire (ATF <ref-ruling> consid. 3.2.1) ou que l'intérêt du locataire au maintien du bail paraisse plus important que celui du bailleur à ce qu'il prenne fin (arrêt 4A_200/2017 du 29 août 2017 consid. 3.1.2 et les références citées).
Il appartient à la partie qui veut faire annuler le congé de prouver les circonstances permettant de déduire qu'il contrevient aux règles de la bonne foi. L'auteur du congé doit toutefois collaborer à la manifestation de la vérité en motivant la résiliation sur requête et, en cas de contestation, en fournissant les documents nécessaires pour établir le motif du congé (cf. <ref-law>; <ref-ruling> consid. 3.1; <ref-ruling> consid. 2.1). La motivation n'est pas une condition de validité du congé. Une motivation lacunaire ou fausse n'implique pas nécessairement que la résiliation est contraire aux règles de la bonne foi, mais elle peut constituer un indice de l'absence d'intérêt digne de protection à mettre un terme au bail. En particulier, le caractère abusif du congé sera retenu lorsque le motif invoqué n'est qu'un prétexte alors que le motif réel n'est pas constatable (<ref-ruling> consid. 3.1; <ref-ruling> consid. 5.3.1 et les références citées).
La loi ne précise pas jusqu'à quand les motifs pour un congé ordinaire peuvent être formulés. Le Tribunal fédéral en a déduit, au regard des dispositions de procédure sur les faits nouveaux, que les motifs du congé peuvent en principe encore être donnés lors de la procédure de première instance. Il n'est ainsi pas exclu, sous réserve de l'interdiction de l'abus de droit, d'alléguer ultérieurement les motifs de résiliation, une telle allégation pouvant néanmoins éventuellement constituer un indice en défaveur de la partie qui a donné le congé ou avoir une conséquence sur les frais. Enfin, le fait de compléter ou de préciser les motifs de résiliation déjà présentés est sans autre admis (ATF <ref-ruling> consid. 5.3.1; <ref-ruling> consid. 2.3).
7.2. Déterminer quel est le motif du congé et si ce motif est réel ou n'est qu'un prétexte relève des constatations de fait (<ref-ruling> consid. 3.1; <ref-ruling> consid. 2). Pour ce faire, il faut se placer au moment où le congé a été notifié (<ref-ruling> consid. 3.1; <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 4.1); à cet égard, des faits survenus ultérieurement peuvent tout au plus fournir un éclairage sur les intentions du bailleur au moment de la résiliation (arrêts 4A_460/2020 du 23 février 2021 consid. 3.1; 4A_33/2019 du 5 septembre 2019 consid. 4.1.1; 4A_113/2019 du 9 juillet 2019 consid. 3 et la référence).
En revanche, le point de savoir si le congé contrevient aux règles de la bonne foi est une question de droit que le Tribunal fédéral revoit librement (arrêts précités 4A_460/2020 consid. 3.1; 4A_33/2019 consid. 4.1.1; 4A_113/2019 consid. 3 et la référence).
8.
Il convient tout d'abord d'examiner quel est le motif du congé. La cour cantonale a considéré qu'il résidait dans la volonté de l'intimée d'entreprendre des travaux importants dans l'appartement, telle qu'invoquée à l'appui du congé, ce que les recourants contestent.
8.1. La cour cantonale a relevé que l'intimée avait renoncé à sa demande d'autorisation de construire déposée en février 2018, pour des raisons contestées par les recourants, et n'avait pas formé de nouvelle demande. Selon la cour cantonale, on ne pouvait toutefois tirer de cette renonciation que la volonté de l'intimée de réaliser des travaux de rénovation importants était mensongère ou qu'elle avait convenu du caractère illusoire du projet. Cette volonté d'entreprendre les travaux était corroborée par le fait que le dernier appartement de l'immeuble à ne pas avoir subi les travaux en question était celui des appelants, ce que ces derniers n'avaient pas contesté. Les témoins avaient confirmé la réalité des travaux entrepris dans les différents appartements de l'immeuble et des devis établis s'agissant du logement des appelants. Les représentants des divers corps de métier avaient indiqué que les mêmes travaux de rénovation étaient effectués depuis de nombreuses années dans les différents logements de l'immeuble. Les travaux qui avaient motivé le congé litigieux n'étaient pas les mêmes que ceux dont les appelants avaient été informés en 2007; ils en étaient en partie les suites (p. ex: raccordement de colonnes). Depuis au moins 2007, les rapports des appelants avec l'administrateur de l'intimée et la régie n'étaient pas exempts de conflits. Bien qu'on ne puisse tenir pour établi que les locataires avaient toujours été à l'origine des difficultés rencontrées, force était de constater, à teneur des nombreux échanges de correspondance produits, qu'ils ne faisaient pas preuve d'une souplesse particulière lorsqu'il s'agissait de faciliter l'accès à leur logement en vue de l'exécution de travaux ou de toute autre démarche. Il apparaissait ainsi compréhensible que l'intimée n'ait pas pris contact avec eux pour leur demander s'il leur était possible de quitter les lieux pendant plusieurs semaines en vue de l'exécution des travaux projetés, avant l'envoi de la résiliation. La cour cantonale a considéré que le fait que l'intimée disposait d'autres motifs de mettre un terme aux rapports contractuels, du fait de la mésentente entre les locataires et son administrateur, ne permettait pas, au vu de l'ensemble des circonstances, de nier la réalité du motif invoqué à l'appui du congé.
8.2. En tant que les recourants critiquent le motif du congé, en soutenant qu'il s'agissait en réalité d'un congé-représailles, donné parce qu'ils avaient fait valoir des prétentions découlant du bail (cf. <ref-law>), ils contestent une question de fait.
Or, on ne voit pas en quoi le motif de la résiliation retenu par l'instance précédente serait arbitraire, au vu des éléments antérieurs à la notification du congé (en particulier, la volonté de l'intimée de rénover tous les logements de l'immeuble et les travaux entrepris dans tous les autres appartements), de la motivation donnée à l'appui dudit congé, ainsi que des événements survenus après cette notification (établissement des devis, dépôt d'une demande d'autorisation de construire auprès du DALE). Ces derniers sont certes des faits postérieurs à la notification de la résiliation, mais ils fournissent néanmoins un éclairage sur les intentions de la bailleresse à ce moment-là. Par ailleurs, l'intimée a par la suite effectivement retiré sa demande d'autorisation de construire. La cour cantonale n'a pas tranché explicitement la question de savoir pour quelles raisons l'intimée avait agi ainsi. Cette dernière s'était prévalue des complications engendrées par l'attitude des recourants, générant de nombreuses incertitudes quant à la possibilité d'effectuer à terme les travaux envisagés, ce d'autant plus qu'une autorisation n'avait pas une durée illimitée. Pour leur part, les recourants avaient soutenu que l'intimée avait convenu que cette demande était illusoire. La cour cantonale a toutefois retenu que le retrait de cette demande ne démontrait pas que la volonté de l'intimée d'entreprendre des travaux était mensongère ou qu'elle aurait convenu du caractère illusoire du projet. On ne discerne aucun arbitraire dans cette appréciation.
Pour le surplus, les parties ont certes été opposées dans plusieurs procédures judiciaires et la résiliation a été notifiée quelques mois après la fin de la période de protection de trois ans de l'art. 271a al. 1 let. e CO, s'agissant du jugement rendu le 11 février 2014. Toutefois, cela ne suffit pas en soi à démontrer un congé-représailles, sauf à rendre superflu le délai prévu par cette disposition (arrêt 4A_33/2019 précité consid. 4.3.3). Sous l'angle de l'<ref-law>, les recourants se prévalent du fait qu'ils s'étaient plaints de l'installation d'une caméra de surveillance, ce qui avait suscité une réponse écrite de la bailleresse en juin 2016, soit une année avant la notification de la résiliation. Quoi qu'il en soit, au vu de l'ensemble des circonstances du cas décrites ci-dessus, la cour cantonale était fondée à écarter - implicitement - un rapport de cause à effet entre cette réclamation et la résiliation.
Pour appuyer leur thèse d'un congé-représailles, les recourants allèguent encore qu'une partie des travaux était déjà évoquée en 2003 sans que cela n'exige leur départ. Ce faisant, ils se fondent sur un élément de fait qui n'a pas été constaté par la cour cantonale. Quant au fait qu'aucun corps de métier ne serait passé chez eux pour émettre des devis, on doit relever que l'autorité précédente a constaté la réalité de ceux-ci, sans que les recourants ne se plaignent d'arbitraire à cet égard. Par ailleurs, la cour cantonale a expliqué, de manière convainquante, les raisons pour lesquelles elle a jugé compréhensible le fait que l'intimée n'a pas informé les recourants des travaux prévus, vu les difficultés rencontrées par le passé.
En définitive, les recourants ne parviennent pas à démontrer que la cour cantonale aurait sombré dans l'arbitraire en retenant que le motif du congé consistait en la volonté de l'intimée d'entreprendre d'importants travaux de rénovation dans l'appartement.
De plus, au vu de ce qui précède, les recourants ne sauraient être suivis lorsqu'ils dénoncent une violation des " <ref-law> et 164 CPC " en soutenant que l'autorité cantonale n'aurait " pas pris en considération l'ensemble des circonstances permettant de conclure à l'existence d'un congé représailles ". On ne voit d'ailleurs pas en quoi cette dernière disposition serait pertinente ici, ce que les recourants n'expliquent pas plus amplement.
9.
Il s'agit ensuite de déterminer si le congé fondé sur le motif retenu par la cour cantonale contrevient à la bonne foi (<ref-law>), ce que les recourants font valoir.
9.1. D'après la jurisprudence fédérale, ne contrevient pas à la bonne foi la résiliation de bail en perspective de travaux qui restreignent considérablement l'usage de la chose louée. Savoir si le maintien du locataire dans les locaux entraînerait des complications d'ordre technique et organisationnel, augmenterait les coûts ou prolongerait la durée du chantier dépend des travaux envisagés. Aussi faut-il qu'au moment de la résiliation, le bailleur dispose d'un projet suffisamment mûr et élaboré pour permettre de constater concrètement que la présence du locataire entraverait les travaux. Lorsque le projet est dépourvu de réalité tangible, respectivement lorsqu'il n'est pas possible d'apprécier l'importance des travaux envisagés et de déterminer si ceux-ci nécessitent le départ des locataires, le congé est abusif (ATF <ref-ruling> consid. 3.2.1 ss; <ref-ruling> consid. 4.2.2; <ref-ruling> consid. 4.2; arrêt 4A_491/2018 du 8 mai 2019 consid. 2.1.2 et les références). Le juge doit être convaincu de l'existence de cette condition, le degré de la preuve étant la certitude; la simple vraisemblance ne suffit pas (arrêts 4A_491/2018 précité consid. 2.1.2; 4A_200/2017 du 29 août 2017 consid. 3.1.3.1). A elle seule, la ferme intention générale de rénover et transformer un immeuble n'est pas suffisante (ATF <ref-ruling> consid. 4.2.2).
Un congé peut être abusif si le bailleur a résilié le contrat alors qu'il avait la garantie que le locataire irait se loger ailleurs pendant les travaux. Toutefois, le locataire doit avoir pris un tel engagement avant la résiliation; un engagement ultérieur ne saurait a posteriori transformer un congé licite en un congé abusif (arrêts 4A_127/2017 du 25 octobre 2017 consid. 3.2; 4A_503/2013 du 5 mars 2014 consid. 4.2; 4A_126/2012 du 3 août 2012 consid. 4.2). L'engagement doit être sérieux; on ne saurait exiger du bailleur qu'il renonce à mettre fin au contrat de bail sur la base de vagues promesses du locataire (arrêts 4A_437/2018 du 5 février 2019 consid. 4.1.3; 4A_127/2017 précité consid. 3.2; 4A_503/2013 précité consid. 4.2; 4A_126/2012 précité consid. 4.2).
La résiliation du bail est aussi abusive lorsque le projet du bailleur apparaît objectivement impossible, notamment parce qu'il est de toute évidence incompatible avec les règles du droit public applicables et que le bailleur n'obtiendra pas les autorisations nécessaires. La preuve de l'impossibilité objective incombe au locataire. La validité du congé ne suppose pas que le bailleur ait déjà obtenu les autorisations administratives nécessaires, ni même qu'il ait déposé auprès des autorités compétentes les documents dont elles dépendent (ATF <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 4.1; arrêts précités 4A_491/2018 consid. 2.1.2; 4A_200/2017 consid. 3.1.3.1). Il s'agit de pronostiquer si, au moment où le congé a été donné, l'autorisation des travaux envisagés paraissait de toute évidence exclue (ATF <ref-ruling> consid. 4.2.1; arrêt 4A_491/2018 précité consid. 2.1.2).
9.2. Les principes généraux sur la motivation du congé valent aussi en cas de résiliation fondée sur des travaux de rénovation ou de transformation; dans ce cas également, la motivation n'est pas une condition de validité du congé (ATF <ref-ruling> consid. 5.3.3, précisant les ATF <ref-ruling> consid. 4.2.2 et <ref-ruling> consid. 3.2.1).
10.
10.1. Les recourants soutiennent d'abord que le congé est abusif au motif que les travaux projetés étaient irréalistes et impossibles, et ne pouvaient faire l'objet d'une autorisation du DALE. De plus, dans la mesure où la cour cantonale n'avait pas constaté le caractère " inautorisable " de ces travaux, elle aurait établi les faits de manière arbitraire.
L'instance précédente a relevé que selon les locataires, une partie du projet, à savoir la permutation entre une chambre et la cuisine, ainsi que l'ouverture de la cuisine, n'était pas réalisable. A cet égard, elle a considéré que le caractère potentiellement non réalisable d'une partie du projet n'impliquait pas que l'autorisation de construire n'aurait pas pu être délivrée si l'intimée avait renoncé à la partie des travaux envisagés qui se serait avérée non autorisable. La cour cantonale a ajouté que la demande d'autorisation de construire comprenait également, en tous cas, la réfection des menuiseries et la pose d'un nouvel agencement de cuisine, la réfection complète des peintures, des installations électriques et sanitaires, ainsi que la réfection des carrelages de la cuisine et de la salle de bain. En outre, les représentants des divers corps de métier avaient indiqué que les mêmes travaux de rénovation étaient entrepris depuis de nombreuses années dans les différents logements de l'immeuble.
Les travaux décrits par la cour cantonale ne sont, à tout le moins dans l'ensemble, pas irréalistes. En outre, elle pouvait légitimement considérer que l'intimée aurait renoncé à une partie de son projet, s'il s'était avéré que celle-ci ne pouvait être autorisée. De plus, le simple fait que le DALE aurait sollicité de plus amples explications en lien avec certains travaux n'autorise pas à retenir que ceux-ci étaient d'emblée irréalisables. Au final, les recourants ne parviennent pas à démontrer que l'ensemble du projet était de toute évidence incompatible avec les règles de droit public applicables et que l'intimée ne pouvait assurément pas obtenir les autorisations nécessaires.
10.2. Les recourants allèguent également que le congé est abusif du fait qu'au moment où il a été signifié, le 21 juin 2017, un projet mûri et concret de travaux faisait défaut. Ils ajoutent que la cour cantonale n'a pas traité leur argument à cet égard, ce qui consacre une violation de leur droit d'être entendus.
Même si la cour cantonale n'a pas explicitement évoqué un " projet mûri ", il ressort de sa motivation, du moins implicitement, qu'elle a considéré que les travaux envisagés au moment de la notification du congé étaient suffisamment concrets. En effet, elle a mis en évidence les travaux effectués dans les autres logements de l'immeuble depuis de nombreuses années, en soulignant que celui des locataires était le dernier à ne pas avoir subi les travaux en question. Elle a également détaillé les travaux mentionnés dans la demande d'autorisation de construire et retenu qu'il s'agissait en partie des suites de ceux dont les locataires avaient été informés en 2007 (p. ex.: raccordement de colonnes).
Les considérations de la cour cantonale ne prêtent pas flanc à la critique. Elle était fondée à mettre en avant le fait qu'au moment où le congé avait été signifié, l'intimée avait déjà procédé aux travaux de rénovation dans les autres appartements de l'immeuble, comme l'on notamment confirmé les représentants des différents corps de métier interrogés, et qu'il ne restait plus que l'appartement des recourants à rénover. Les travaux planifiés dans cet appartement pouvaient ainsi être considérés comme concrets, même si les recourants avaient déjà procédé à certains travaux par eux-mêmes et à leurs frais. En particulier, l'intimée savait que le système électrique de l'appartement n'était plus aux normes et devait être remplacé. L'intimée a d'ailleurs indiqué aux recourants, en réponse à leur demande s'agissant du motif du congé, qu'elle avait l'intention de faire des travaux de rénovation dans leur appartement vétuste et ne répondant plus aux normes en matière de sécurité et d'électricité. L'établissement de plusieurs devis et le dépôt d'une demande d'autorisation de construire sont certes des faits intervenus après la notification de la résiliation. Toutefois, d'une part, selon la jurisprudence, la validité du congé ne suppose pas que le bailleur ait déposé auprès des autorités compétentes les documents dont dépendent l'autorisation de construire. D'autre part, ces devis et le dépôt de la demande d'autorisation de construire permettent de confirmer qu'à cette époque, l'intimée disposait déjà d'un projet suffisamment concret des travaux à entreprendre, lequel permettait d'apprécier la gêne qu'occasionnerait la présence des recourants pendant de tels travaux.
A cet égard, on peut relever que les recourants ne contestent pas que les travaux, tels que planifiés par l'intimée, ne pouvaient être effectués en leur présence.
10.3. Les recourants font ensuite valoir que le congé était abusif car il ne répondait à aucun intérêt digne de protection, puisque les travaux étaient inutiles. Ils n'étaient pas non plus urgents. Ils se prévalent d'une constatation des faits arbitraire et d'une violation de leur droit d'être entendus.
La cour cantonale a expressément relevé le grief des recourants quant au fait que les travaux ne seraient ni nécessaires, ni urgents. A cet égard, elle a expliqué qu'à tout le moins, les travaux envisagés sur le plan électrique, soit la réfection de l'intégralité des installations électriques de toutes les pièces de l'appartement, étaient clairement nécessaires; bien qu'un deuxième tableau électrique avait été mis en place, les installations électriques comprenaient des fils anciens isolés au coton, ce qui représentait un danger en matière de sécurité.
On ne décèle aucun arbitraire dans ces constatations, lesquelles font notamment référence à des considérations sécuritaires. Par ailleurs, le fait que les locaux soient, tel que l'a constaté l'autorité précédente, bien entretenus, ne permet en aucun cas de conclure que l'ensemble des travaux étaient inutiles.
Certes, la cour cantonale n'a pas traité explicitement à ce stade du caractère urgent des travaux projetés. Ce point n'est toutefois pas décisif ici. En effet, à ce sujet, les recourants se réfèrent à l'arrêt 4A_347/2017 du 21 décembre 2017, en reprochant à la cour cantonale de n'avoir pas suffisamment examiné la nécessité et l'urgence d'effectuer les travaux projetés. Toutefois, même si les recourants sont, comme dans cet arrêt, des personnes âgées ayant vécu dans leur appartement durant une longue période, leur cas diffère de l'arrêt précité du fait, notamment, que les autres appartements de l'immeuble ont tous été rénovés et qu'il s'agit ici en particulier de travaux liés à la sécurité.
10.4. Les recourants soutiennent encore que le congé est abusif du fait qu'ils ont proposé, lors de l'audience devant le tribunal de première instance, de libérer la chose louée durant les travaux, soit deux à trois mois. La cour cantonale aurait apprécié les preuves de manière arbitraire en considérant que leurs déclarations n'étaient pas sérieuses.
La cour cantonale a expliqué que le fait que les locataires aient déclaré en audience que leur maison située en France serait difficilement habitable n'était pas déterminant pour admettre un refus ou un accord de quitter leur appartement lors des travaux. Elle a souligné les difficultés rencontrées entre les parties depuis au moins 2007 et le manque de souplesse des locataires lorsqu'il s'agissait de faciliter l'accès à leur logement en vue de l'exécution de travaux ou de toute autre démarche. Elle a considéré qu'il apparaissait ainsi compréhensible que l'intimée n'ait pas pris contact avec eux pour leur demander s'il leur était possible de quitter les lieux pendant plusieurs semaines, avant l'envoi des congés. On ne pouvait tenir pour acquis que les locataires auraient garanti de quitter leur logement.
Contrairement à ce que soutiennent les recourants, la référence aux relations tendues entre les parties et aux difficultés rencontrées depuis au moins 2007 ne peut être qualifiée d'arbitraire, car cela fait partie de l'ensemble des circonstances du cas d'espèce à apprécier. En outre, la cour cantonale n'a pas versé dans l'arbitraire en retenant que les recourants n'avaient pas facilité l'accès à leur logement en vue de l'exécution des travaux. Même si elle a expliqué qu'elle ne pouvait tenir pour établi que c'étaient les locataires qui avaient toujours été à l'origine des difficultés rencontrées, il ressort clairement des éléments au dossier qu'ils n'ont en tous cas pas facilité l'accès à leur appartement.
L'intimée n'a pas averti les recourants des travaux envisagés avant la notification du congé. Ainsi, à ce moment, les recourants ne pouvaient lui garantir qu'ils iraient se loger ailleurs durant ceux-ci. Si les recourants ont par la suite indiqué en audience qu'ils libéreraient la chose louée pendant les travaux, cette simple déclaration, assortie d'aucune garantie de quelque sorte, ne suffit pas pour considérer, au vu de l'ensemble des circonstances, que l'intimée a agi de manière contraire à la bonne foi.
10.5. Pour finir, les recourants dénoncent une inégalité de traitement avec d'autres locataires, lesquels avaient bénéficié d'arrangements durant les travaux réalisés dans leur appartement. L'intimée n'avait en revanche pas tenté d'organiser l'exécution des travaux avec les recourants. De leur avis, cela rendrait le congé abusif. Ils reprochent également à la cour cantonale de ne pas avoir discuté ce grief, violant par là leur droit d'être entendus.
Cependant, la cour cantonale a présenté une motivation à cet égard. En effet, elle a d'abord relevé que les travaux avaient été exécutés dans différents logements lors de l'absence des locataires ou de vacance entre deux locataires successifs, voire que certains locataires avaient pu profiter de rocades lorsque des appartements étaient libres. Elle a ensuite précisé que les travaux effectués chez les voisins, en particulier les époux N._, n'étaient pas identiques à ceux prévus chez les recourants, puisqu'ils n'avaient notamment pas intégré de permutation de pièces. Elle en a conclu que le fait que les voisins avaient pu rester lors de ces travaux pouvait tout au plus constituer un indice du fait que la bailleresse n'avait pas souhaité traiter de la même manière les appelants et leurs voisins. Plus loin, la cour cantonale a relevé les difficultés survenues entre les parties depuis au moins 2007 et le manque de souplesse des locataires lorsqu'il s'agissait de faciliter l'accès à leur logement en vue de l'exécution de travaux ou de toute autre démarche.
On doit ainsi admettre que la cour cantonale a discuté le grief de l'inégalité de traitement. Il ressort de son arrêt, à tout le moins implicitement, que même s'il pouvait y avoir un indice que l'intimée avait voulu traiter les recourants différemment de leurs voisins, la situation concernant les recourants était toutefois particulière à plusieurs égards.
Cette appréciation doit être suivie. Au vu des événements s'étant déroulés entre les parties depuis 2007, le fait que l'intimée n'ait pas cherché à trouver des solutions avec les recourants, contrairement à d'autres locataires, ne saurait suffire pour conclure que le congé serait abusif. D'ailleurs, le bailleur privé n'est pas tenu de respecter l'égalité de traitement entre les locataires d'un même immeuble. En outre, les recourants n'ont ni allégué, ni établi qu'ils auraient pu rester dans l'appartement durant les travaux envisagés par l'intimée ou qu'ils auraient pu profiter d'une rocade avec un appartement libre.
11.
Il ressort de ce qui précède que la cour cantonale n'a pas violé le droit fédéral en considérant que le congé signifié aux recourants était valable.
12.
Enfin, les recourants se plaignent d'une violation de l'<ref-law>, ainsi que des <ref-law> et 164 CPC. Ils soutiennent être en droit de bénéficier d'une prolongation de bail de quatre ans.
12.1. Selon les art. 272 al. 1 et 272b al. 1 CO, le locataire peut demander la prolongation d'un bail d'habitation pour une durée de quatre ans au maximum, lorsque la fin du contrat aurait pour lui ou sa famille des conséquences pénibles sans que les intérêts du bailleur ne le justifient; dans cette limite de temps, le juge peut accorder une ou deux prolongations.
Le juge apprécie librement, selon les règles du droit et de l'équité (<ref-law>), s'il y a lieu de prolonger le bail et, dans l'affirmative, pour quelle durée. Il doit procéder à la pesée des intérêts en présence et tenir compte du but d'une prolongation, consistant à donner du temps au locataire pour trouver des locaux de remplacement ou à tout le moins pour adoucir les conséquences pénibles résultant d'une extinction du contrat (<ref-ruling> consid. 5.3.1). Il lui incombe de prendre en considération tous les éléments du cas particulier, tels que la durée du bail, la situation personnelle et financière de chaque partie, leur comportement, de même que la situation sur le marché locatif local (<ref-law>; <ref-ruling> consid. 5.3.2; <ref-ruling> consid. 6). Il peut tenir compte du délai qui s'est écoulé entre le moment de la résiliation et celui où elle devait prendre effet, ainsi que du fait que le locataire n'a pas entrepris de démarches sérieuses pour trouver une solution de remplacement (<ref-ruling> consid. 4c; arrêt 4A_460/2020 du 23 février 2021 consid. 5.1.2). Le juge tient compte de la situation présente au moment de son prononcé, telle qu'elle ressort des faits allégués et prouvés conformément aux règles du procès civil (arrêts 4A_443/2019 du 20 janvier 2020 consid. 9; 4A_128/2019 du 3 juillet 2019 consid. 5.1).
Le Tribunal fédéral ne revoit qu'avec réserve la décision d'équité prise en dernière instance cantonale. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou encore lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération; en outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.1.1).
12.2. La cour cantonale a retenu que les locataires occupaient l'appartement depuis 27 ans et qu'il s'agissait donc d'un bail de longue durée. Elle a relevé que lors de la résiliation, le locataire était âgé de 73 ans et travaillait encore, à proximité de son logement. Elle a ajouté que la situation socio-économique des locataires était inconnue, faute de précisions dans leurs allégués et de pièces produites. Par ailleurs, ils avaient expliqué l'absence de recherches de solution de relogement par l'incertitude de la situation liée aux aléas de la procédure. Quant à l'intimée, elle avait abandonné, du moins momentanément, son projet de travaux; elle ne se trouvait donc pas dans une situation d'urgence. La cour cantonale a conclu que l'unique prolongation de deux ans consentie par le tribunal de première instance n'apparaissait pas suffisante, et a fixé une unique prolongation de bail de trois ans, eu égard aux éléments précités et à la situation actuelle de pénurie de logements.
12.3. Certes, la cour cantonale a indiqué que les recourants occupaient l'appartement depuis 27 ans, au lieu de 37 ans. Malgré cette erreur (de plume), elle a pris en considération le fait que les recourants occupaient l'appartement depuis longtemps. Ces derniers reprochent également à la cour cantonale de n'avoir pas retenu que l'époux serait prochainement à la retraite, ce qui ne saurait améliorer leur situation socio-économique. Cependant, comme l'a relevé la cour cantonale, les recourants n'avaient formulé aucun allégué à cet égard, de sorte qu'ils ne sauraient se prévaloir de cet argument à ce stade. Par ailleurs, la cour cantonale a bel et bien tenu compte du défaut d'urgence de l'intimée à récupérer les locaux et de la situation de pénurie de logements. Les recourants ne peuvent lui faire grief de ne pas avoir expressément mentionné les effets de la crise sanitaire sur la situation des logements qu'ils avaient invoqués, fondés sur des chiffres des mois de mars et d'avril 2020 uniquement.
Ensuite, les recourants font valoir qu'il leur était impossible de trouver une solution de relogement entre la réception de l'arrêt de la cour cantonale, au début du mois de février 2021, et le terme de la prolongation de bail accordée, fixé au 30 juin 2021. Ce délai n'est toutefois pas pertinent. On doit relever que les recourants étaient informés depuis le mois de juin 2017 de la résiliation de leur bail au 30 juin 2018, et que le tribunal de première instance avait validé le congé. Ils n'ont néanmoins procédé à aucune démarche en vue de trouver un nouveau logement, sans que cette omission ne se justifie. Il s'agit là d'éléments dont il peut être tenu compte selon la jurisprudence. Par ailleurs, au vu des circonstances du cas d'espèce, si l'instance précédente n'a pas évoqué le fait que les recourants ont procédé à des travaux dans l'appartement à leurs frais, ou que l'épouse avait été atteinte de la COVID-19, on ne saurait toutefois retenir qu'il s'agit là d'éléments qui seraient propres à justifier une intervention du Tribunal fédéral pour prolonger le délai de trois ans fixé par la cour cantonale.
Enfin, c'est à tort que les recourants soutiennent que le Tribunal fédéral a fixé une prolongation du bail de quatre ans dans l'arrêt 4C.411/2006 du 9 février 2007; le Tribunal fédéral n'y a pas même analysé ce point. Au demeurant, la fixation d'une durée de prolongation de bail est strictement liée aux circonstances particulières du cas d'espèce et il est difficile de tirer des parallèles avec d'autres arrêts.
Au final, force est d'admettre qu'en accordant une prolongation unique de trois ans aux recourants, l'autorité précédente n'a pas excédé les limites du large pouvoir d'appréciation dont elle dispose.
13.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Les recourants, qui succombent, prendront en charge les frais judiciaires (<ref-law>). Ils verseront en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge des recourants.
3.
Les recourants verseront à l'intimée une indemnité de 3'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 31 août 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz