Faits :
A.
A.a. Par contrat du 27 septembre 2012, A._ et B._ (ci-après: les locataires, les demandeurs ou les recourants) ont pris à bail des locaux commerciaux, soit une arcade d'environ 70 m2 au rez-de-chaussée d'un immeuble sis à Genève appartenant à C._ SA (ci-après: la bailleresse, la défenderesse ou l'intimée). Les locaux étaient exclusivement destinés à l'exploitation d'un atelier de mécanique et d'électricité automobile.
Le contrat de bail a été conclu pour une durée de cinq ans, du 1er septembre 2012 au 31 août 2017, renouvelable ensuite de cinq ans en cinq ans, sauf résiliation moyennant le respect d'un préavis de six mois pour l'échéance.
Le loyer échelonné a été fixé à 21'600 fr. par an (soit 1'800 fr. par mois) pour la première année, à 22'200 fr. par an (soit 1'850 fr. par mois) pour les deux années suivantes, puis à 24'000 fr. par an (soit 2'000 fr. par mois).
Les locataires ont racheté le fonds de commerce de leur prédécesseur pour le montant de 30'000 fr.
A.b. Par avis du 7 février 2017, la bailleresse a, sans indiquer de motif, résilié le bail pour l'échéance de la durée initiale du bail, soit pour le 31 août 2017.
B.
Le 8 mars 2017, les locataires ont saisi la Commission de conciliation en matière de baux et loyers du canton de Genève d'une requête en contestation du congé et en prolongation du bail, puis, la conciliation ayant échoué, ils ont déposé leur demande devant le Tribunal des baux et loyers le 3 janvier 2018, concluant uniquement à l'octroi d'une prolongation du bail de six ans, soit jusqu'au 31 août 2013.
La bailleresse a conclu au rejet de la demande.
Par courrier du 12 avril 2018, les locataires ont modifié leurs conclusions, concluant, principalement, à l'annulation du congé et, subsidiairement, à l'octroi d'une prolongation du bail de six ans.
Par jugement du 3 septembre 2019, le Tribunal des baux et loyers a déclaré irrecevable la conclusion en annulation du congé formée par les locataires et leur a accordé une unique prolongation du bail de 28 mois, soit jusqu'au 31 décembre 2019.
Statuant le 6 août 2020, la Chambre des baux et loyers de la Cour de justice du canton de Genève a rejeté l'appel interjeté par les locataires et confirmé le jugement attaqué.
C.
Contre cet arrêt, qui leur a été notifié le 10 août 2020, les locataires ont interjeté un recours en matière civile au Tribunal fédéral le 14 septembre 2020, concluant à sa réforme en ce sens que la résiliation de leur bail soit annulée, subsidiairement qu'il leur soit accordé une prolongation du bail de six ans, soit jusqu'au 31 août 2023. Plus subsidiairement, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Ils invoquent la violation des art. 227 et 230 CPC et 273 CO, de l'<ref-law> et de l'<ref-law>.
La bailleresse intimée conclut au rejet du recours.
La cour cantonale se réfère aux considérants de son arrêt.
L'effet suspensif a été attribué au recours par ordonnance présidentielle du 27 octobre 2020, ni la cour cantonale, ni la partie adverse ne s'y étant opposées.

Considérant en droit :
1.
Interjeté en temps utile (art. 46 al. 1 let. b et art. 100 al. 1 LTF) par les locataires qui ont succombé dans leurs conclusions (<ref-law>) et dirigé contre une décision finale (<ref-law>) rendue sur appel par un tribunal cantonal supérieur (<ref-law>) dans une affaire civile (<ref-law>), dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de bail à loyer (<ref-law>), le recours en matière civile est recevable au regard de ces dispositions.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
2.2. Sous réserve de la violation des droits constitutionnels (<ref-law>), le Tribunal fédéral applique le droit d'office (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal ou, cas échéant, à l'état de fait qu'il aura rectifié. Il n'est toutefois lié ni par les motifs invoqués par les parties, ni par l'argumentation juridique retenue par l'autorité cantonale; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en procédant à une substitution de motifs (<ref-ruling> consid. 1.4 p. 400 et l'arrêt cité).
3.
En ce qui concerne le chef de conclusions en annulation du congé, la cour cantonale a confirmé qu'il était irrecevable dès lors que, dans leur demande en justice, les locataires n'ont conclu qu'à l'octroi d'une prolongation de leur bail. Les locataires recourants y voient une violation des art. 227 et 230 CPC et de l'<ref-law>.
3.1. En vertu des art. 271 et 271a CO, le congé est annulable lorsqu'il contrevient aux règles de la bonne foi.
3.1.1. Conformément à l'<ref-law>, l'action en annulation du congé doit être introduite par requête de conciliation devant l'autorité de conciliation dans les 30 jours qui suivent la réception du congé. Ce délai est un délai de péremption du droit matériel, dont le calcul est régi par les dispositions du CO (art. 76 ss et 132 CO; <ref-ruling> consid. 4.1 p. 18 et l'arrêt cité). Il ne peut être ni prolongé ni restitué (<ref-ruling> consid. 2a p. 435).
Une fois l'action en annulation du congé valablement introduite par requête de conciliation, le délai de droit matériel (<ref-law>) est sauvegardé et, au même moment, la litispendance est créée (art. 62 al. 1 et 64 al. 2 CPC). Dès ce moment, c'est le droit de procédure qui régit le déroulement du procès.
3.1.2. Après la délivrance de l'autorisation de procéder, le demandeur doit suivre en cause en introduisant sa demande devant le tribunal dans le délai de péremption fixé par l'art. 209 al. 3 et 4 CPC. Il s'agit d'un délai de péremption d'instance - à ne pas confondre avec le délai de péremption du droit matériel de l'<ref-law>. Le calcul de ce délai est soumis aux règles des <ref-law> (arrêt 4A_671/2016 du 15 juin 2017 consid. 2.1). Dans les litiges relatifs aux baux à loyer ou à ferme d'habitations ou de locaux commerciaux, ce délai est de 30 jours (<ref-law>).
Si la demande est déposée dans ce délai, la litispendance perdure, et ce même si l'une ou l'autre des conditions de recevabilité de celle-ci ne sont pas réunies (arrêt 4A_671/2016 précité consid. 2.1).
Si la demande est déposée hors délai, le tribunal prononce l'irrecevabilité de la demande (<ref-law>; arrêt 4A_671/2016 précité consid. 2.2).
Si le demandeur ne dépose pas sa demande dans le délai, la litispendance cesse, et ce de par la loi, sans aucune décision d'un tribunal, et l'autorisation de procéder se périme (arrêt 4A_671/2016 précité consid. 2.2). En elle-même, l'inobservation du délai de l'<ref-law> n'a d'effet que sur l'instance, et non sur le droit lui-même; l'instance seule se périme (<ref-ruling> consid. 2.2.2.4 p. 565 s.; <ref-ruling> consid. 2b p. 24). Toutefois, si le délai de droit matériel de l'<ref-law> a expiré dans l'intervalle et que, par conséquent, le demandeur ne peut plus valablement ouvrir action, la péremption de l'instance entraîne indirectement la perte du droit (<ref-ruling> consid. 2.2.2.4 p. 566).
3.2. Les mêmes règles s'appliquent à l'action en prolongation du bail de l'<ref-law>, qui doit être introduite dans le délai de 30 jours de l'<ref-law> lorsqu'il s'agit d'un bail de durée indéterminée.
3.3. Le locataire peut, à son choix, intenter l'action en annulation du congé ou l'action en prolongation du bail ou les deux, la première étant alors logiquement principale et la seconde subsidiaire.
Si l'<ref-law> déroge au principe de disposition (<ref-law>), en ce sens que, bien que saisie uniquement de l'action en annulation du congé, l'autorité compétente qui rejette celle-ci doit examiner d'office si le bail peut être prolongé, l'inverse n'est pas valable, la loi ne le prévoyant pas. Autrement dit, si le locataire ne forme qu'une action en prolongation du bail et si l'autorité compétente rejette cette action, celle-ci n'a pas à examiner d'office si le congé est annulable.
Lorsque le locataire introduit, dans le délai de l'art. 273 al. 1 et 2 CO, une action en annulation du congé et une action en prolongation du bail et que, après la délivrance de l'autorisation de procéder, il suit en cause en prenant dans sa demande en justice uniquement des conclusions en prolongation du bail, la litispendance de son action en annulation du congé, créée par sa requête de conciliation, cesse (<ref-law>). Il ne peut donc ensuite plus modifier ses conclusions puisque son action en annulation n'est plus pendante et que le délai de l'<ref-law>, qui n'est que de 30 jours, est désormais généralement échu et ne lui permet plus d'introduire une nouvelle action. Les possibilités de modification de la demande conformément aux art. 227 et 230 CPC présupposent que l'action soit pendante.
3.4. En l'espèce, les locataires ont, dans un premier temps, respecté le délai de 30 jours pour introduire leurs actions en annulation du congé et en prolongation du bail conformément à l'art. 273 al. 1 et 2 CO, en déposant leur requête de conciliation munie de conclusions dans ce sens. Après la délivrance de l'autorisation de procéder, ils n'ont toutefois pas respecté le délai de l'<ref-law> pour leur action en annulation du congé puisqu'ils n'ont pas suivi en cause en déposant une demande tendant à ce but devant le tribunal des baux, les conclusions de leur demande du 3 janvier 2018 ne tendant qu'à la prolongation du bail. La demande modifiée comprenant des conclusions en annulation du congé n'a été déposée que le 12 avril 2018, soit après la cessation de la litispendance de cette action et, donc, la péremption de l'instance (<ref-law>) et, à cette date, hors délai de l'<ref-law> pour déposer une nouvelle demande. C'est donc à raison que les instances cantonales successives ont considéré que le chef de conclusions en annulation du congé était irrecevable.
Contrairement à ce que croient les locataires recourants, il ne leur est pas imputé une renonciation, un abandon ou un retrait d'action. L'irrecevabilité de leurs conclusions modifiées résulte simplement du fait que la litispendance de leur action en annulation du congé a cessé d'exister à l'échéance du délai de l'<ref-law> et qu'ils ne pouvaient réintroduire valablement cette action par modification de leurs conclusions du 12 avril 2018 puisque le délai de péremption de droit matériel était alors échu et, donc, leur droit matériel éteint. Il ne leur sert à rien d'insister sur le fait que l'autorisation de procéder visait les deux actions, dès lors que les conclusions de leur demande se sont limitées à la seule action en prolongation du bail. Enfin, comme l'a précisé la cour cantonale, faute de demande en annulation déposée en temps utile, l'absence d'indication du motif de congé dans un premier temps ou son prétendu caractère mensonger n'y changent rien.
4.
En ce qui concerne la durée de la prolongation du bail, la cour cantonale a confirmé la prolongation de 28 mois accordée par le tribunal des baux. Les locataires recourants concluent à une prolongation d'une durée de six ans, invoquant la violation de l'<ref-law>.
4.1. Selon l'<ref-law>, le locataire peut demander la prolongation du bail lorsque la fin du contrat aurait pour lui ou sa famille des conséquences pénibles sans que les intérêts du bailleur ne le justifient. Pour trancher la question, le juge doit procéder à une pesée des intérêts en présence, en prenant en considération notamment les critères énumérés à l'al. 2 de cette disposition. Lorsqu'il s'agit de locaux commerciaux, la durée maximale de la prolongation est de six ans; dans cette limite, le juge peut accorder une ou deux prolongations (<ref-law>).
Selon la jurisprudence, la prolongation du bail n'a de sens que si le report du congé permet d'espérer une atténuation des conséquences pénibles qu'entraînerait ce congé et laisse prévoir qu'un déménagement ultérieur présenterait moins d'inconvénients pour le locataire, lequel ne saurait, en revanche, invoquer les conséquences nécessairement liées à la résiliation du bail en tant que telle. Il s'agit d'accorder au locataire plus de temps que ne lui en donne le délai de résiliation ordinaire pour chercher de nouveaux locaux, et non pas de lui donner l'occasion de profiter le plus longtemps possible de locaux au loyer avantageux (<ref-ruling> consid. 3b p. 448; arrêts 4A_639/2018 du 21 novembre 2019 consid. 6.1; 4A_556/2015 du 3 mai 2016 consid. 4.2).
Lorsqu'il doit se prononcer sur une prolongation du bail, le juge apprécie librement, selon les règles du droit et de l'équité (<ref-law>), s'il y a lieu de prolonger le bail et, dans l'affirmative, pour quelle durée. Il doit procéder à la pesée des intérêts en présence et tenir compte du but de la prolongation, consistant à donner du temps au locataire pour trouver des locaux de remplacement (<ref-ruling> consid. 4b p. 230) ou à tout le moins pour adoucir les conséquences pénibles résultant d'une extinction du contrat (<ref-ruling> consid. 3b p. 448 s.; arrêt 4C.139/2000 du 10 juillet 2000 consid. 2a). Il lui incombe de prendre en considération tous les éléments du cas particulier, tels que la durée du bail, la situation personnelle et financière de chaque partie, leur comportement, de même que la situation sur le marché locatif local (<ref-ruling> consid. 6 p. 195 et les arrêts cités; <ref-ruling> consid. 4b p. 230). Il peut tenir compte du délai qui s'est écoulé entre le moment de la résiliation et celui où elle devait prendre effet, comme de la durée de la procédure judiciaire qui prolonge en fait le bail (arrêts 4A_639/2018 précité consid. 6.1; 4A_545/2013 du 28 novembre 2013 consid. 3.1), ainsi que du fait que le locataire n'a pas entrepris de démarches sérieuses pour trouver une solution de remplacement (cf. <ref-ruling> consid. 4c p. 230 s.; arrêt 4C.425/2004 du 9 mars 2005 consid. 3.4). Le choix entre une ou deux prolongations doit permettre au juge de retenir la solution la plus adaptée aux circonstances (arrêts 4A_386/2014 du 11 novembre 2014 consid. 4.3.1; 4A_105/2009 du 5 juin 2009 consid. 3.1 et la référence au Message du Conseil fédéral); il peut donc, dans la pesée des intérêts des deux parties, décider d'accorder une première prolongation du bail ou une prolongation définitive et, cas échéant, en fixer la durée. Il n'y a pas de priorité de l'une de ces solutions par rapport à l'autre (arrêts 4A_386/2014 précité consid. 4.3.1; 4A_105/2009 précité consid. 3.2).
Le Tribunal fédéral ne revoit qu'avec retenue la décision d'équité (<ref-law>) prise en dernière instance cantonale, ce qui équivaut pratiquement à contrôler si cette décision est arbitraire en vertu de l'art. 9 Cst. (<ref-ruling> consid. 5.2 p. 180; arrêt 4A_461/2015 du 15 février 2016 consid. 3.1.3). Il n'intervient que lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou encore lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération. En outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 2 p. 123 s.; <ref-ruling> consid. 4b p. 230; arrêt 4A_198/2016 du 7 octobre 2016 consid. 5.1; voir aussi <ref-ruling> consid. 5.4 p. 211; <ref-ruling> consid. 2 p. 111 s.).
4.2. Après avoir écarté la requête d'audition de témoins présentée par les locataires, la cour cantonale a examiné uniquement les deux points critiqués par les locataires appelants pour lesquels ils sollicitaient l'administration de preuves, à savoir les démarches entreprises pour trouver de nouveaux locaux et les travaux réalisés dans les locaux. Avec les premiers juges, elle a retenu que, dès lors que l'avis de résiliation date du 7 février 2017, les locataires ont eu le temps de rechercher de nouveaux locaux et que les recherches que ceux-ci allèguent avoir faites, non documentées, sont insuffisantes. Quant aux éventuels investissements faits dans les locaux, la cour cantonale a retenu qu'il ne s'agissait pas d'un critère entrant en ligne de compte dans la pesée des intérêts pour la fixation de la durée de la prolongation.
En définitive, considérant que la prolongation de deux ans et quatre mois accordée par le tribunal tenait équitablement compte, d'un côté, du fait que le besoin de la bailleresse ne revêtait aucune urgence particulière et, de l'autre côté, du fait que l'impact de la résiliation sur l'activité des locataires ne serait pas moindre si une prolongation plus longue leur était octroyée, elle a confirmé le jugement attaqué.
4.3. Il est certes difficile pour le Tribunal fédéral de contrôler la pesée d'intérêts effectuée par la cour cantonale sur la base des différents éléments rappelés ci-dessus (cf. consid. 4.1 ci-dessus), puisque celle-ci s'est limitée à traiter les deux seuls éléments soulevés par les locataires appelants à l'appui de leur requête de preuves, à savoir les démarches qu'ils ont entreprises pour trouver de nouveaux locaux et les travaux réalisés dans les locaux. Le Tribunal fédéral peut toutefois se dispenser d'annuler l'arrêt attaqué et de renvoyer la cause à la cour cantonale pour compléter sa motivation (art. 112 al. 1 et 3 LTF), pour le motif qui suit.
Dans leur recours, les locataires font uniquement valoir " l'impossibilité de trouver un local adéquat à un loyer équivalant (sic) dans quatre mois, soit de la date du jugement [de première instance] à fin décembre 2019 " et ils se limitent à cette seule affirmation. Or, comme le précise la jurisprudence, le juge peut tenir compte du délai qui s'est écoulé entre le moment de la résiliation et celui où elle devrait prendre effet, et du fait que le locataire n'a pas entrepris de démarches sérieuses pour trouver une solution de remplacement. C'est ainsi non pas une prolongation de quatre mois, mais bien de deux ans et quatre mois que leur a accordée la cour cantonale. En outre, les locataires recourants ne remettent pas en cause le fait constaté par la cour cantonale que leurs recherches de locaux de remplacement, non documentées, ne sont pas suffisantes.
Le grief de violation de l'<ref-law> doit donc être rejeté dans la mesure où il est recevable.
5.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable, frais judiciaires et dépens solidairement à la charge de ses auteurs (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants, débiteurs solidaires, verseront à l'intimée une indemnité de 5'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre des baux et loyers.
Lausanne, le 15 décembre 2020
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Douzals