Faits :
A.
A une date indéterminée, B._ et C._ Sàrl (ci-après: l'intimée, la bailleresse) ont conclu un contrat de bail portant sur un appartement de 6 pièces situé au 3ème étage d'un immeuble sis rue xxx à Genève. L'échéance du contrat était fixée au 31 mai 2019.
B._ et A._ (ci-après: les recourants) ont résidé dans ce logement avec leurs enfants jusqu'en 2014, date à laquelle ils se sont installés aux Etats-Unis en raison des obligations professionnelles de B._. Ils ont cependant continué d'acquitter le loyer mensuellement et ont chargé une personne de confiance, à qui ils ont remis les clés de l'appartement, de s'y rendre pour vérifier son état et relever le courrier.
Par avis de résiliation du 2 juillet 2018 et lettre d'accompagnement du même jour, la bailleresse a résilié le bail pour le 31 mai 2019, indiquant qu'il apparaissait que l'appartement était soit inoccupé, soit sous-loué, en raison de l'absence des locataires du canton de Genève depuis plus de quatre ans. La bailleresse souhaitait remettre l'appartement de 6 pièces en location à une famille vivant à Genève, le canton souffrant d'une pénurie de grands appartements.
Les avis de résiliation au nom de A._ et B._ ont été envoyés par plis recommandés du 2 juillet 2018 à l'adresse de l'objet loué. Les prénommés ont été avisés pour retrait le 3 juillet 2018, selon le suivi des envois de la poste. Le lendemain, les plis étaient disponibles à l'office de poste, et ce jusqu'au 10 juillet 2018. Les plis ont été retournés à l'expéditeur le 11 juillet 2018, faute d'avoir été réclamés. Les envois ont été également expédiés sous pli simple et par courrier électronique.
B.
Par requête formée le 6 août 2018, A._ et B._ ont conclu à l'annulation du congé daté du 2 juillet 2018 pour le 31 mai 2019 et, subsidiairement, sollicité une prolongation de bail de quatre ans. Suite à l'échec de la conciliation du 27 août 2019, l'affaire a été portée le 25 septembre 2019 devant le Tribunal des baux du canton de Genève.
Par jugement du 21 avril 2020, le Tribunal des baux a déclaré la demande en contestation de congé irrecevable pour cause de tardiveté.
Les locataires ont saisi la cour cantonale d'un appel. Statuant le 14 décembre 2020, la Cour de justice du canton de Genève a confirmé le jugement entrepris.
C.
Contre cet arrêt qui leur a été notifié le 16 décembre 2020, A._ et B._ ont déposé un recours en matière civile le 1er février 2021. Ils concluent principalement à la réforme de l'arrêt attaqué, en ce sens que le congé ordinaire du 2 juillet 2019 soit annulé, subsidiairement qu'il leur soit accordé une prolongation de bail de quatre ans, et, plus subsidiairement, au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants.
Par ordonnance superprovisionnelle du 3 février 2021, la présidente de la Ire Cour de droit civil a rejeté la demande d'effet suspensif présentée, le recours apparaissant dénué de toute chance de succès.
La bailleresse intimée n'a pas été invitée à répondre.

Considérant en droit :
1.
Interjeté en temps utile (<ref-law> en lien avec l'<ref-law>) par la demanderesse qui a succombé dans ses conclusions (<ref-law>), le recours est dirigé contre un arrêt final (<ref-law>) rendu sur appel par un tribunal cantonal supérieur (<ref-law>) dans une affaire de droit du bail (<ref-law>), dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en la matière (<ref-law>). Le recours en matière civile est recevable au regard de ces dispositions.
2.
2.1. Le recours en matière civile peut être exercé pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2, 115 consid. 2; <ref-ruling> consid. 1.3). Par exception à la règle selon laquelle il applique le droit d'office, il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 2.3; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4 in fine).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Relèvent de ces faits tant les constatations relatives aux circonstances touchant l'objet du litige que celles concernant le déroulement de la procédure conduite devant l'instance précédente et en première instance, c'est-à-dire les constatations ayant trait aux faits procéduraux (<ref-ruling> consid. 1.3.1 et les références citées). Le Tribunal fédéral ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes, c'est-à-dire arbitraires (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2; <ref-ruling> consid. 1.5) ou ont été établies en violation du droit au sens de l'<ref-law> (<ref-law>). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si elle souhaite obtenir un complètement de l'état de fait, la partie doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2 p. 90). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, sous le grief d'appréciation arbitraire des preuves, les recourants reprochent à la cour cantonale de n'avoir pas tenu compte d'un échange de courriels (pièces 5 et 6 déf.), dont il ressortirait à l'évidence que l'intimée connaissait l'adresse des locataires aux États-Unis. Or, cette circonstance serait déterminante pour juger de la recevabilité de la demande.
A cet égard, les recourants ne soutiennent pas, ni a fortiori ne démontrent qu'ils ont présenté devant les instances cantonales ce fait prétendument pertinent et les moyens de preuve correspondants. Le grief de violation de l'art. 9 Cst. est irrecevable.
3.
Selon l'arrêt attaqué, la bailleresse a valablement notifié la résiliation du bail à l'adresse de l'objet loué. A défaut d'autres adresses communiquées par les locataires, la bailleresse n'a pas adopté un comportement contraire à la bonne foi en envoyant le congé par pli recommandé à l'adresse genevoise des locataires, seul moyen lui permettant de prouver la notification.
La cour cantonale a jugé ainsi que la résiliation de bail a été reçue par les locataires le 4 juillet 2018, soit le lendemain du jour où les avis de retrait des plis recommandés contenant le congé avaient été mis dans la boîte aux lettres de l'appartement loué. Le délai pour contester la résiliation (<ref-law>) est venu à échéance le 3 août 2018 de sorte que la requête de conciliation déposée le 6 août 2018 est tardive.
4.
Les recourants se plaignent d'une violation de l'<ref-law>.
A propos de la connaissance par la bailleresse de l'adresse exacte des locataires aux États-Unis, les instances précédentes auraient fait totalement fi de la maxime inquisitoire à caractère social. En particulier, la Cour de justice aurait méconnu ce principe en retenant, faute d'allégués sur ce point, que les locataires n'avaient pas communiqué à l'intimée leur adresse à l'étranger. A suivre les recourants, le premier juge, puis la cour cantonale ne pouvaient ignorer les éléments à disposition, en particulier l'échange de courriels sous pièces 5 et 6 déf., et si un doute subsistait dans leur esprit, ils auraient dû interpeller les parties à ce sujet.
4.1. Le procès en contestation du congé est soumis à la procédure simplifiée, quelle que soit la valeur litigieuse (art. 243 al. 2 let. c CPC). En vertu de l'<ref-law>, le tribunal doit établir les faits d'office (von Amtes wegen feststellen).
4.1.1. Il s'agit là de la maxime inquisitoire simple, ou sociale et non de la maxime inquisitoire illimitée de l'<ref-law> (von Amtes wegen erforschen) (<ref-ruling> consid. 4a p. 238). Selon celle-là, les parties doivent recueillir elles-mêmes les éléments du procès. Le tribunal ne leur vient en aide que par des questions adéquates afin que les allégations nécessaires et les moyens de preuve correspondants soient précisément énumérés, mais il ne se livre à aucune investigation de sa propre initiative (arrêt 4A_179/2015 du 16 décembre 2015 consid. 2.3.1; 4A_27/2014 du 22 avril 2014 consid. 1.4; BOHNET, Procédure civile, 2e éd. 2014, n° 817). Lorsque les parties sont représentées par un avocat, le tribunal peut et doit faire preuve de retenue, comme dans un procès soumis à la procédure ordinaire (<ref-ruling> consid. 2.3.1; Message du 28 juin 2006 relatif au code de procédure civile suisse, FF 2006 p. 6841 ch. 5.16 p. 6956 avec référence à l'arrêt 4C.211/2004 du 7 septembre 2004 consid. 2.1; cf. également sous l'empire de l'<ref-law>, l'arrêt 4A_397/2011 du 11 février 2014 consid. 4.4; BOHNET, op. cit., n° 828; HOHL, Procédure civile, 2e éd. 2016, n° 1435). En outre, le tribunal ne doit pas tenir compte de faits qui n'ont pas été allégués et il ne lui appartient pas de fouiller le dossier pour tenter d'y trouver des moyens de preuve en faveur d'une partie (<ref-ruling> consid. 2.3.2; arrêt 4A_491/2014 du 30 mars 2015 consid. 2.6.1; BOHNET, op. cit., n° 826).
4.2. En l'espèce, les recourants, représentés par un avocat, n'ont pas allégué avoir transmis leur adresse aux Etats-Unis. Les juges n'avaient pas à se livrer à une investigation de leur propre initiative, ni à interpeller les parties, ou à rechercher dans le dossier pour tenter de trouver des moyens de preuve en faveur des recourants. Ils ont au contraire fait preuve de retenue comme la maxime inquisitoire simple leur commandait de le faire. Le grief de la violation de l'<ref-law> est ainsi mal fondé.
5.
Les recourants se plaignent ensuite d'une violation des art. 271 et 273 al. 1 CO et de l'<ref-law>. Selon eux, la bailleresse a notifié la résiliation à leur adresse en Suisse, alors qu'elle savait qu'ils résidaient aux Etats-Unis et qu'elle connaissait leur adresse là-bas. Elle avait agi ainsi afin d'empêcher que les locataires exercent à temps leur droit de contester le congé. Ce comportement contraire aux règles de la bonne foi justifierait une exception à la théorie de la réception absolue. Le délai de 30 jours pour contester la résiliation n'aurait ainsi commencé à courir qu'à partir du moment où les recourants ont eu effectivement connaissance de l'avis de résiliation, soit quelques jours avant le dépôt de la requête de conciliation.
5.1. Selon l'<ref-law>, la partie qui veut contester le congé doit saisir l'autorité de conciliation dans les 30 jours qui suivent la réception du congé. La communication du congé obéit en droit du bail à la théorie de la réception absolue (<ref-ruling> consid. 4.1; <ref-ruling> consid. 5; <ref-ruling> consid. 3.1.2; <ref-ruling> consid. 3; <ref-ruling> consid. 2).
La résiliation du bail est une décision unilatérale de volonté de l'une des parties au contrat, qui est soumise à réception. La théorie de la réception absolue implique que le point de départ du délai correspond au moment où la manifestation de volonté, soit la résiliation du bail, est parvenue dans la sphère d'influence du destinataire, de telle sorte qu'en organisant normalement ses affaires, celui-ci est à même d'en prendre connaissance. Lorsque la manifestation de volonté est communiquée par pli recommandé, si l'agent postal n'a pas pu le remettre effectivement au destinataire et qu'il laisse un avis de retrait dans sa boîte aux lettres ou sa case postale, le pli est reçu dès que le destinataire est en mesure d'en prendre connaissance au bureau de la poste selon l'avis de retrait. Il s'agit soit du jour même où l'avis de retrait est déposé dans la boîte aux lettres si l'on peut attendre du destinataire qu'il le retire aussitôt, sinon, en règle générale, le lendemain de ce jour (<ref-ruling> consid. 3.1.2; <ref-ruling> consid. 4.1).
5.2. En principe, le congé est valablement notifié par le bailleur à l'adresse de correspondance indiquée dans le contrat de bail, laquelle correspond en général à l'adresse de l'objet loué dans les baux d'habitation. En cas d'absence de longue durée, il revient au locataire de s'organiser afin de pouvoir prendre connaissance de sa correspondance, et, le cas échéant, d'informer le bailleur de l'adresse à laquelle il peut être atteint. Dans ce cas, le bailleur qui sait que le locataire n'est pas atteignable à l'adresse du bail mais à une autre adresse de notification et que cette adresse lui a été communiquée par le locataire, commet en règle générale un abus de droit (<ref-law>) s'il se prévaut néanmoins d'une notification à l'adresse du bail (cf. arrêt 4A_74/2011 du 2 mai 2011 consid. 3; BOHNET, Bail et notification viciée, in: Newsletter Bail.ch juillet 2011).
5.3. En l'espèce, les recourants fondent leur raisonnement sur un fait qui ne ressort pas de l'arrêt attaqué, à savoir la connaissance par la bailleresse de leur adresse américaine. Le grief tiré de l'abus de droit est d'emblée privé de fondement (<ref-law>).
Pour le reste, la notification de la résiliation a été effectuée valablement à l'adresse genevoise des recourants. Dans les circonstances de l'espèce, la cour cantonale n'a pas violé le droit fédéral en considérant l'action en contestation des recourants comme tardive.
6.
Le recours est rejeté. Les recourants qui succombent supporteront les frais judiciaires (<ref-law>). La bailleresse intimée n'ayant pas été invitée à répondre, il n'y a pas lieu de lui allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 8 avril 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : Botteron