Sachverhalt:
A.
A.A._ und B.A._ (Kläger, Beschwerdeführer) gelangten mit Gesuch vom 13. August 2020 an die Schlichtungsbehörde Miete und Pacht des Kantons Luzern. Sie fochten darin die von C._ (Beklagte, Beschwerdegegnerin) ausgesprochene Mietvertragskündigung an und verlangten Erstreckung des Mietverhältnisses. Mit einem weiteren Gesuch an die Schlichtungsbehörde wurde Mängelbeseitigung und Mietzinsreduktion verlangt.
Die Schlichtungsbehörde lud die Parteien am 21. September 2020 auf den 6. November 2020 zu zwei Verhandlungen zu den zwei separat eingereichten Gesuchen vor. Die Schlichtungsverhandlung betreffend Anfechtung/Erstreckung wurde auf 09:00 Uhr angesetzt, diejenige betreffend Mängelbeseitigung/Mietzinsreduktion auf 09:30 Uhr. Die Klägerin wurde in der Folge von der persönlichen Erscheinungspflicht dispensiert.
Am 6. November 2020 wartete die Schlichtungsbehörde bis um 09:10 Uhr, bevor sie die Verhandlung bezüglich Anfechtung/Erstreckung des Mietverhältnisses eröffnete. Um 09:15 Uhr stellte sie das Säumnis des Klägers fest und schrieb das Verfahren gestützt auf Art. 206 Abs. 1 ZPO als gegenstandslos ab.
B.
Mit Wiederherstellungsgesuch vom 16. November 2020 beantragten die Kläger bei der Schlichtungsbehörde die Aufhebung des Entscheids vom 6. November 2020 und die Vorladung der Parteien zu einer neuen Schlichtungsverhandlung.
Mit Entscheid vom 22. Dezember 2020 wies die Schlichtungsbehörde das Gesuch um Wiederherstellung ab.
Gegen diesen Entscheid reichten die Kläger beim Kantonsgericht Luzern Berufung ein. Das Kantonsgericht wies mit Entscheid vom 21. April 2021 die Berufung ab und bestätigte den Entscheid der Schlichtungsbehörde vom 22. Dezember 2020.
C.
Gegen den Entscheid des Kantonsgerichts erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Sie beantragten, der Entscheid des Kantonsgerichts sei vollumfänglich aufzuheben und die Schlichtungsbehörde sei anzuweisen, die Parteien zu einer neuen Schlichtungsverhandlung vorzuladen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Die Vorinstanz verzichtete auf Stellungnahme zum Gesuch um aufschiebende Wirkung. Die Beschwerdegegnerin beantragte, der Beschwerde sei keine aufschiebende Wirkung zu erteilen.
Das Bundesgericht hat die vorinstanzlichen Akten beigezogen, aber auf das Einholen von Vernehmlassungen zur Beschwerde verzichtet.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob auf bei ihm erhobene Beschwerden einzutreten ist (Art. 29 Abs. 1 BGG; <ref-ruling> E. 1; <ref-ruling> E. 2.1).
1.1. Die Schlichtungsbehörde schrieb mit Entscheid vom 6. November 2020 das Verfahren betreffend Anfechtung der Mietvertragskündigung und Erstreckung des Mietverhältnisses aufgrund des Säumnisses des Beschwerdeführers nach Art. 206 Abs. 1 ZPO als gegenstandslos ab. Nach den Feststellungen der Vorinstanz reichten die Beschwerdeführer am 16. November 2020 bei der Schlichtungsbehörde ein "Wiederherstellungsgesuch" ein. Aus den Feststellungen des vorinstanzlichen Entscheids ist nicht ersichtlich, dass die Beschwerdeführer den Säumnisentscheid der Schlichtungsbehörde bei der kantonalen Rechtsmittelbehörde angefochten hätten (zur Anfechtung der Abschreibungsverfügung: Urteil 4A_198/2019 vom 7. August 2019 E. 3), noch machen die Beschwerdeführer vor Bundesgericht geltend, dass sie solches gemacht hätten oder die Vorinstanzen ihr Gesuch vom 16. November 2020 als Rechtsmittel gegen den Säumnisentscheid vom 6. November 2020 hätten interpretieren sollen. Entsprechend ist davon auszugehen, dass die Beschwerdeführer nach dem Säumnisentscheid der Schlichtungsbehörde einzig ein Wiederherstellungsgesuch einreichten.
Dieses Gesuch wies die Schlichtungsbehörde mit Entscheid vom 22. Dezember 2020 ab. Gegen diese Abweisung des Wiederherstellungsgesuchs erhoben die Beschwerdeführer Berufung an die Vorinstanz. Mit dem angefochtenen Beschluss hat die Vorinstanz dieses Gesuch abgewiesen und damit das Verfahren beendet. Es liegt daher ein anfechtbarer Endentscheid im Sinne von Art. 90 BGG vor (<ref-ruling> E. 6 und nicht publ. E. 7.3; Urteile 4A_21/2021 vom 25. Mai 2021 E. 1; 4A_26/2019 vom 24. Juli 2019 E. 1.1; je mit Hinweisen).
1.2. In der Hauptsache geht es um eine mietrechtliche Angelegenheit, deren Streitwert die Vorinstanz mit Fr. 36'000.-- auswies. Das Streitwerterfordernis von Art. 74 Abs. 1 lit. a BGG ist damit gegeben. Die übrigen Sachurteilsvoraussetzungen sind auch erfüllt und geben zu keinen weiteren Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von Art. 9 BV geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich (<ref-ruling> E. 3 S. 352; <ref-ruling> E. 5.5). Willkür in der Rechtsanwendung liegt nur vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dabei ist erforderlich, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 3.1).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
3.1. Die Vorinstanz erwog, dass sich die Beschwerdeführer im Berufungsverfahren bezüglich dem Erscheinen des Beschwerdeführers am Verhandlungstag darauf beschränkten, ihre Vorbringen aus dem erstinstanzlichen Wiederherstellungsgesuch praktisch wörtlich zu wiederholen, ohne sich mit den diesbezüglichen Erwägungen der Schlichtungsbehörde auseinanderzusetzen. Zur schlüssigen, in zulässiger antizipierter Beweiswürdigung erfolgten Erwägung der Schlichtungsbehörde, der Darstellung der Beschwerdeführer stehe jene der Vertreterin der Beschwerdegegnerin entgegen, wonach diese sich nach der ersten Verhandlung um ca. 09:20 Uhr vor das Gebäude der Schlichtungsbehörde begeben habe, um auf die zweite Verhandlung zu warten, und ihr zu diesem Zeitpunkt der Beschwerdeführer entgegengekommen sei und sich ins Gebäude der Schlichtungsbehörde begeben habe, äussern sich die Beschwerdeführer in ihrer Berufung mit keinem Wort. Gleiches gelte für die schlüssige Erwägung der Schlichtungsbehörde, dass es der Verhandlungsführung gemeldet worden wäre, wenn sich der Beschwerdeführer tatsächlich bereits um bzw. kurz nach 09:10 Uhr am Schalter gemeldet hätte. Nach dem Gesagten "war und ist" nicht davon auszugehen, dass sich der Beschwerdeführer tatsächlich bereits um ca. 09:10 Uhr am Empfang der Schlichtungsbehörde meldete, sondern davon, dass dies erst um ca. 09:20 Uhr der Fall gewesen sei.
3.2. Dagegen bringen die Beschwerdeführer vor, dass sie sich entgegen der Auffassung der Vorinstanz im vorinstanzlichen Verfahren sehr wohl mit den Ausführungen der Schlichtungsbehörde auseinandergesetzt hätten. Sie hätten insbesondere vorgebracht, dass der Beschwerdeführer sich "spätestens um 09:20 Uhr" bei der Schlichtungsbehörde eingefunden und es sich "so oder anders lediglich um eine Frage von wenigen Minuten" gehandelt habe. Indem die Vorinstanz diese Ausführungen unbeachtet gelassen habe und überdies behaupte, die Beschwerdeführer hätten sich mit keinem Wort dazu geäussert, sei sie in Willkür verfallen. Im Übrigen folge die Vorinstanz willkürlich der unbelegten Behauptung der Beschwerdegegnerin. Es gebe keinen Grund, weshalb ihre Behauptung, er hätte das Gebäude erst um 09:20 Uhr betreten, glaubhafter erscheine, als diejenige des Beschwerdeführers, dass er sich bereits um kurz nach 09:10 Uhr in das Gebäude begeben hätte. Entsprechend sei das Abstellen der Vorinstanz auf die Darstellung der Beschwerdegegnerin als willkürlich einzustufen.
3.3. Diese Rügen gehen fehl: Die Vorinstanz kam zum Schluss, dass die Beschwerdeführer den Begründungsanforderungen im Berufungsverfahren (Art. 311 Abs. 1 ZPO) bezüglich dem behaupteten frühzeitigen Erscheinen des Beschwerdeführers nicht genügen würden. Es wäre damit an den Beschwerdeführern, vor Bundesgericht aufzuzeigen, dass sie entweder diesen Begründungsanforderungen im Berufungsverfahren nachgekommen wären oder die Vorinstanz bundesrechtswidrig zu hohe Anforderungen an die Berufungsbegründung gestellt hätte. Letzteres zeigen sie nicht auf. Ebensowenig legen sie hinreichend dar (Erwägung 2.1), inwiefern sie den Begründungsanforderungen im Berufungsverfahren nachgekommen wären. Art. 311 ZPO ist nicht verletzt. Auch der diesbezügliche Willkürvorwurf ist unbegründet.
Die Vorinstanz bestätigte die Beweiswürdigung der Schlichtungsbehörde und stützte sich für den Zeitpunkt des Erscheinens des Beschwerdeführers auf einerseits die Aussagen der Vertreterin der Beschwerdegegnerin. Andererseits stellte sie darauf ab, dass der Verhandlungsführung gemeldet worden wäre, wenn sich der Beschwerdeführer früher am Schalter der Schlichtungsbehörde gemeldet hätte. Inwiefern diese Beweiswürdigung offensichtlich unrichtig wäre, legen die Beschwerdeführer nicht hinreichend dar (Erwägung 2.1), indem sie bloss geltend machen, dass auf ihre Version der Geschehnisse abzustellen sei.
Es bleibt damit bei der Sachverhaltsfeststellung der Vorinstanz, dass sich der Beschwerdeführer am Verhandlungstag um ca. 09:20 Uhr am Schalter der Schlichtungsbehörde meldete.
4.
Nach Art. 148 Abs. 1 ZPO, der auch im Schlichtungsverfahren anwendbar ist (<ref-ruling> E. 1 und E. 6.2; Urteil 4C_1/2013 vom 25. Juni 2013 E. 4.3), kann das Gericht auf Gesuch einer säumigen Partei eine Nachfrist gewähren oder zu einem Termin erneut vorladen, wenn die Partei glaubhaft macht, dass sie kein oder nur ein leichtes Verschulden trifft. Das Versäumnis muss auf einem fehlenden oder leichten Verschulden beruhen. Das leichte Verschulden umfasst jedes Verhalten, das - ohne dass es akzeptierbar oder entschuldbar wäre - nicht zum schwerwiegenden Vorwurf gereicht. Dabei ist Tatfrage, wie sich die die Wiederherstellung begehrende Partei verhalten hat, während Rechtsfrage ist, ob das tatsächlich festgestellte Verhalten als leichtes Verschulden zu qualifizieren ist (Urteile 4A_127/2021 vom 19. Mai 2021 E. 3.1; 4A_20/2019 vom 29. April 2019 E. 2; je mit Hinweisen).
Beim Entscheid darüber, ob die gesuchstellende Partei ein bloss leichtes Verschulden im Sinne von Art. 148 Abs. 1 ZPO trifft, handelt es sich um einen Ermessensentscheid (Urteil 4A_20/2019 vom 29. April 2019 E. 2 mit Hinweisen). Ermessensentscheide prüft das Bundesgericht mit Zurückhaltung. Es schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn Tatsachen berücksichtigt wurden, die keine Rolle hätten spielen dürfen, oder wenn umgekehrt Umstände ausser Betracht geblieben sind, die zwingend hätten beachtet werden müssen. In derartige Ermessensentscheide wird ferner eingegriffen, wenn sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 11.2; <ref-ruling> E. 2.1.3., 669 E. 3.1 S. 671, je mit Hinweisen).
5.
5.1. Die Vorinstanz verneinte ein nur leichtes Verschulden der Beschwerdeführer im Sinne von Art. 148 ZPO. Sie erwog, es stehe fest, dass die Schlichtungsbehörde die Parteien am 21. September 2020 auf den 6. November 2020 zu separaten Verhandlungen zu den separat eingereichten Gesuchen betreffend Anfechtung/Erstreckung einerseits und betreffend Mängelbeseitigung/Mietzinsreduktion andererseits vorgeladen habe. Diese Vorladungen seien ordnungsgemäss erfolgt und enthielten unter anderem den Hinweis auf die Säumnisfolgen sowie eine klare Bezeichnung, wann welche Streitigkeit verhandelt werde. Anders als im Verfahren vor der Schlichtungsbehörde, würden die Beschwerdeführer nicht mehr bestreiten, dass ihnen auch die Vorladung zu der auf 09:00 Uhr angesetzten Verhandlung betreffend Anfechtung/Erstreckung zugestellt worden sei. Damit sei ihrem Vorbringen, sie hätten sich über den Zeitpunkt der Verhandlungen bzw. darüber, dass zwei Schlichtungsverfahren nacheinander stattfinden sollten, in einem Irrtum befunden, die Grundlage entzogen. Daran ändere auch der Umstand nichts, dass sich das Dispensationsgesuch der Beschwerdeführerin auf die Verhandlung von 09:30 Uhr bezogen habe. Massgeblich sei, dass dem Beschwerdeführer habe bewusst sein müssen, dass jedenfalls er so oder anders zu beiden Verhandlungen zu erscheinen gehabt habe. Auf Unkenntnis oder Irrtum, etwa verursacht durch behördliche Vorladungs- oder Zustellungsfehler oder durch unrichtige Auskünfte, könne er sich jedenfalls nicht berufen, ebenso wenig auf unklare Kommunikation der Schlichtungsbehörde. Versehen, Vergesslichkeit und ähnliche Gründen vermögen, allenfalls unter Vorbehalt von (vorliegend ohnehin nicht gegebenen) alters- oder krankheitsbedingten Ausnahmen, keine Wiederherstellung zu begründen.
5.2. Dagegen bringen die Beschwerdeführer vor, die Vorinstanz verkenne den Zweck des Verfahrens vor der Schlichtungsbehörde und die damit einhergehende notwendige Toleranz für eine gewisse verfahrensrechtliche Unbedarftheit, zumal die Parteien vor der Schlichtungsbehörde oftmals - wie vorliegend auch - nicht anwaltlich vertreten seien. Der Irrtum des Beschwerdeführers über den Zeitpunkt der Schlichtungsverhandlung, der unter anderem auch durch die - zumindest für einen Laien - durchaus verwirrende Ansetzung von zwei Schlichtungsverhandlungen direkt nacheinander zwischen denselben Parteien verursacht worden sei, müsse als Entschuldigungsgrund für eine Wiederherstellung nach Art. 148 ZPO ausreichen. In der Lehre werde auch erklärt, dass für die Wiederherstellung nach Art. 148 ZPO keine hohen Anforderungen zu stellen seien. So müssten auch Eigenfehler wie ein falscher Agendaeintrag oder sonstige Terminfehler entschuldigt werden können. Die Vorinstanz weiche von diesen in der Lehre anerkannten Grundsätzen in Bezug auf die Entschuldigungsgründe ab und setze damit willkürlich hohe Anforderungen an die Entschuldigungsgründe nach Art. 148 ZPO.
5.3. Im vorinstanzlichen Entscheid ist nicht festgestellt, dass der Beschwerdeführer den Termin bei der Schlichtungsbehörde in seiner Agenda falsch eingetragen hätte oder sonstige "Terminfehler" bestünden, und die Beschwerdeführer verlangten diesbezüglich keine Ergänzung des Sachverhalts (Erwägung 2.2), sodass auf letztes Argument der Beschwerdeführer nicht weiter einzugehen ist.
Auch im Übrigen kann den Beschwerdeführern nicht gefolgt werden: Die Vorinstanz stellte fest, dass die beiden Vorladungen für die zwei separaten Schlichtungsverhandlungen ordnungsgemäss zugestellt wurden. Sie enthielten unter anderem den Hinweis auf die Säumnisfolgen und eine klare Bezeichnung, wann welche Streitigkeit verhandelt wird. Mit anderen Worten wurde den Beschwerdeführern von der Schlichtungsbehörde klar kommuniziert, dass sowohl um 09:00 Uhr als auch um 09:30 Uhr eine Schlichtungsverhandlung stattfindet. Inwiefern unter diesen Umständen bei den Beschwerdeführern ein Irrtum bezüglich der Anfangszeiten dieser Schlichtungsverhandlungen hätte bestehen können, legen sie nicht dar, indem sie lediglich behaupten, die Ansetzung von zwei Verhandlungen direkt nacheinander sei "verwirrend". Wie die Vorinstanz schon zutreffend erkannte, musste es dem Beschwerdeführer aufgrund der eindeutigen Vorladungen klar sein, dass zwei Schlichtungsverhandlungen angesetzt wurden und er zu beiden Verhandlungen zu erscheinen hatte.
Die Beschwerdeführer können sich in diesem Zusammenhang auch nicht auf ihre Stellung als juristische Laien berufen oder auf eine "verfahrensrechtliche Unbedarftheit". Es geht hier nicht um zivilprozessuale Finessen, die juristischen Laien allenfalls nicht bekannt sein könnten, sondern um ein pünktliches Erscheinen zu einer klar und eindeutig angesetzten Schlichtungsverhandlung, das ohne Weiteres von jedermann erwartet werden darf.
Unter diesen Umständen ist nicht ersichtlich, inwiefern das spätere Erscheinen des Beschwerdeführers um 09:20 Uhr auf einem fehlenden oder leichten Verschulden beruhte, geschweige denn ist dargetan, inwiefern die Vorinstanz ihr Ermessen im oben genannten Sinn überschritten hätte (Erwägung 4), als sie das Verschulden des Beschwerdeführers als nicht mehr leicht beurteilte. Vielmehr erscheint das verspätete Erscheinen des Beschwerdeführers als leichtfertig. Ein Grund für eine Wiederherstellung im Sinne von Art. 148 ZPO ist unter diesen Umständen nicht gegeben.
6.
6.1. Die Beschwerdeführer monieren, es seien keine schutzwürdigen Interessen ersichtlich, die einer erneuten Vorladung der Parteien entgegenstünden. Selbst der Anspruch der Gegenpartei auf ein zügiges Verfahren wäre vorliegend nicht beeinträchtigt. Die Abweisung des Wiederherstellungsgesuchs werde zum blossen Selbstzweck. Ein Rechtsverlust aufgrund der Verwirkung für die Anfechtung der Kündigung würde für die Beschwerdeführer mit ihren zwei kleinen Kindern einen nicht wiedergutzumachenden Nachteil bedeuten und sie besonders hart treffen. Diese einschneidende Rechtsfolge des Säumnisses erscheine höchst unverhältnismässig in Anbetracht der Verspätung des Beschwerdeführers von wenigen Minuten. Unter diesen Umständen ein Wiederherstellungsgesuch abzuweisen, könne nur als überspitzt formalistisch (Art. 29 Abs. 1 BV) und willkürlich eingestuft werden. Sodann habe die Vorinstanz "unbegründet unberücksichtigt", dass die Beschwerdeführer nicht bloss die Härte der Rechtsfolgen, sondern insbesondere auch die Missachtung der Grundsätze der Rechtsprechung zum Zweck der Schlichtungsverhandlung und die darauf basierende Unverhältnismässigkeit des Säumnisentscheides rügten. Damit habe die Vorinstanz auch ihren Anspruch auf rechtliches Gehör verletzt.
6.2. Die Vorinstanz stellte im angefochtenen Entscheid fest, dass sich die Beschwerdeführer auf die "Wichtigkeit der Schlichtungsverhandlung und die gravierenden Rechtsfolgen der Säumnis berufen". Die Vorinstanz berücksichtigte damit diese Punkte in ihrem Entscheid über das Wiedererwägungsgesuch. Sie kam aber entgegen der Auffassung der Beschwerdeführer zum Schluss, dass sich die Sorgfaltspflicht der Beschwerdeführer gerade nach der Wichtigkeit der vorzunehmenden Handlung bemesse (angefochtener Entscheid E. 4.5 S. 6). Ebenso ging die Vorinstanz bei der Prüfung des Wiederherstellungsgesuchs auf den überspitzten Formalismus und die Verhältnismässigkeit ein. Anders als die Beschwerdeführer gelangte sie jedoch zum Ergebnis, dass dem Verbot des überspitzten Formalismus und dem Verhältnismässigkeitsgebot hinreichend Rechnung getragen wurde (angefochtener Entscheid E. 4.4 S. 5 f.). Die Vorinstanz genügte damit den Anforderungen, welche sich aus der Begründungspflicht ergeben (dazu: <ref-ruling> E. 5.2 mit Hinweisen).
Im Übrigen rügen die Beschwerdeführer mit ihren Vorbringen unter dem Deckmantel des überspitzten Formalismus nach Art. 29 Abs. 1 BV eine falsche Anwendung von Art. 148 Abs. 1 ZPO (dazu Urteil 4A_127/2021 vom 19. Mai 2021 E. 7.3). Es ist weder ersichtlich, noch hinreichend dargetan (Erwägung 2.1), inwiefern die Vorinstanz bei der Prüfung des Wiedererwägungsgesuchs eine formelle Vorschrift mit übertriebener Strenge gehandhabt hätte. Vielmehr sind die gesetzlichen Voraussetzungen der Wiederherstellung nach Art. 148 Abs. 1 ZPO streng, indem nämlich die gesuchstellende Partei glaubhaft zu machen hat, dass sie kein oder nur ein leichtes Verschulden trifft (Erwägung 4). Insofern liegt kein Anwendungsfall von Art. 29 Abs. 1 BV vor, auch wenn der Entscheid den Beschwerdeführern als streng erscheinen mag.
7.
7.1. Die Beschwerdeführer stellen sich auf den Standpunkt, sie seien an der um 09:00 Uhr angesetzten Schlichtungsverhandlung vom 6. November 2020 bezüglich Anfechtung/Erstreckung des Mietverhältnisses gar nicht säumig gewesen.
7.2. Im vorliegenden Verfahren stellten die Beschwerdeführer ein Wiederherstellungsgesuch (Erwägung 1.1). Die Wiederherstellung im Sinne von Art. 148 ZPO setzt ein Säumnis voraus, da sonst nichts wiederherzustellen ist. Mit anderen Worten kommt die Wiederherstellung nur dann in Frage, wenn Säumnis besteht.
Im vorliegenden Wiederherstellungsverfahren ist daher die Frage, ob der Beschwerdeführer an der Schlichtungsverhandlung vom 6. November 2020 säumig war, nicht mehr Thema, sondern wird vorausgesetzt. Das angeblich mangelnde Säumnis des Beschwerdeführers wäre von den Beschwerdeführern im Rechtsmittelverfahren gegen die Abschreibungsverfügung der Schlichtungsbehörde vom 6. November 2020 geltend zu machen gewesen. Es wäre mithin von den Beschwerdeführern in einem diesbezüglichen Rechtsmittelverfahren vorzubringen gewesen, dass die Voraussetzungen des Säumnisentscheides nach Art. 206 Abs. 1 ZPO nicht erfüllt gewesen seien und das Schlichtungsverfahren betreffend Anfechtung/Erstreckung mangels Säumnis nicht als gegenstandslos hätte abgeschrieben werden dürfen.
Soweit die Beschwerdeführer im vorliegenden Wiederherstellungsverfahren geltend machen, das Säumnisurteil sei überspitzt formalistisch, und damit den Säumnisentscheid in Frage stellen wollen, ist darauf nicht einzutreten. Das Gleiche gilt, wenn sie monieren, die Vorinstanz habe ihren Anspruch auf rechtliches Gehör verletzt und willkürlich geurteilt, weil sie nicht geprüft habe, ob die minutiöse Einhaltung der Vorschriften schutzwürdigen Interessen diene.
8.
Die Beschwerde ist nach dem Ausgeführten abzuweisen, soweit auf sie überhaupt eingetreten werden kann.
9.
Das Gesuch um Erteilung der aufschiebenden Wirkung wird mit dem Entscheid in der Sache selbst gegenstandslos.
10.
Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer unter solidarischer Haftbarkeit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5, Art. 68 Abs. 1 und 4 BGG). Der Beschwerdegegnerin, die sich nur zum Gesuch um aufschiebende Wirkung zu äussern hatte, ist eine reduzierte Parteientschädigung für das bundesgerichtliche Verfahren zuzusprechen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.
Die Beschwerdeführer haben unter solidarischer Haftbarkeit die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Luzern, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 16. Juli 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger