Sachverhalt:
A.
A.A._ sowie B.A._ (Kläger, Beschwerdeführer) und die C.._ AG (Beklagte, Beschwerdegegnerin) schlossen am 15. Juli 2016 einen Mietvertrag über eine 5 1⁄2-Zimmer-Wohnung. Sie vereinbarten eine Kündigungsfrist von vier Monaten auf das Ende jeden Monats ausser Dezember.
Ziff. 2.7.3 der allgemeinen Bestimmungen zum Mietvertrag sieht vor, dass die Bewohner gegenseitig Rücksicht nehmen und Ruhestörungen aller Art vermeiden, insbesondere während der Nachtzeit. Das Musizieren ist nur zwischen 8:00 Uhr und 12:00 Uhr sowie von 14:00 Uhr bis 20:00 Uhr erlaubt.
Die Beklagte übermittelte den Klägern mit amtlichem Formular vom 24. Januar 2019 eine Anpassung der Hausordnung, wonach das Musizieren zwischen 8:00 Uhr und 12:00 Uhr sowie von 14:00 Uhr bis 20:00 Uhr nur für maximal drei Stunden pro Tag gestattet und an Sonn- und Feiertagen nicht erlaubt ist.
Die Beklagte gab den Klägern mit amtlichem Formular vom 22. März 2019 abermals die Anpassung der Hausordnung bekannt. Sie wies darauf hin, diese Anpassung entspreche jener gemäss Mitteilung vom 24. Januar 2019 und trete per 1. August 2019 in Kraft.
B.
Nach erfolglosem Schlichtungsversuch beantragten die Kläger am 17. April 2019 beim Bezirksgericht Einsiedeln, es sei festzustellen, dass die mit amtlichem Formular vom 24. Januar 2019 angezeigte einseitige Änderung nichtig oder missbräuchlich sei. Mit Eingabe vom 13. Juni 2019 beantragten die Kläger, es sei auch die Nichtigkeit oder Missbräuchlichkeit der mit amtlichem Formular vom 22. März 2019 angezeigten einseitigen Änderung festzustellen.
B.a. Das Bezirksgericht wies die Klage am 19. Februar 2020 ab.
B.b. Die dagegen gerichtete Berufung der Kläger wies das Kantonsgericht des Kantons Schwyz am 21. Dezember 2020 ab, soweit es darauf eintrat.
C.
Die Kläger beantragen mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde im Wesentlichen, das kantonsgerichtliche Urteil sei aufzuheben und die einseitige Änderung des Mietvertrags vom 24. Januar 2019, eventuell vom 22. März 2019, sei für nichtig oder missbräuchlich zu erklären und aufzuheben. Eventualiter sei die Sache an das Kantonsgericht oder an das Bezirksgericht zurückzuweisen.
Das Gesuch der Kläger um aufschiebende Wirkung wurde am 9. Februar 2021 abgewiesen.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Endentscheid (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>), die Rechtsbegehren der Beschwerdeführer wurden im kantonalen Verfahren nicht geschützt (<ref-law>) und die Beschwerdefrist ist eingehalten (Art. 46 Abs. 1 lit. c i.V.m. <ref-law>). Der Streitwert übersteigt die in mietrechtlichen Fällen massgebende Grenze (<ref-law>).
Die Beschwerde in Zivilsachen ist grundsätzlich zulässig, womit die subsidiäre Verfassungsbeschwerde ausser Betracht fällt (vgl. <ref-law>).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG) behandelt das Bundesgericht aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2, 115 E. 2). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>). Macht die beschwerdeführende Partei beispielsweise eine Verletzung des Willkürverbots (<ref-law>) geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich; sie hat vielmehr im Einzelnen zu zeigen, inwiefern der angefochtene Entscheid im Ergebnis offensichtlich unhaltbar ist (<ref-ruling> E. 4.1; <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; je mit Hinweisen). Stützt sich der angefochtene Entscheid auf mehrere selbständige Begründungen, so muss sich die Beschwerde mit jeder einzelnen auseinandersetzen, sonst wird darauf nicht eingetreten (<ref-ruling> E. 2.4 mit Hinweisen; vgl. auch <ref-ruling> E. 3.4).
Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 und (in Bezug auf die davon betroffenen Rügen) <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im vorinstanzlichen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2, 115 E. 2). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus.
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (BGE <ref-ruling> E. 1.3.1 mit Hinweisen). Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig bedeutet dabei willkürlich (<ref-ruling> E. 2.3.1; <ref-ruling> E. 2, 264 E. 2.3). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (BGE <ref-ruling> E. 1.3.1 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2).
1.4. Die dargelegten Grundsätze verkennen die Beschwerdeführer über weite Strecken. Ihre weitschweifigen Ausführungen beschränken sich weitgehend auf eine appellatorische Kritik am angefochtenen Entscheid. Im Übrigen setzen sie sich nicht hinreichend mit der ausführlichen vorinstanzlichen Begründung auseinander. Vielmehr wiederholen sie die Vorbringen, welche sie bereits im kantonalen Verfahren in den Prozess eingebracht haben. Soweit die Beschwerdeführer auf diese Weise die gesetzlichen Begründungsanforderungen verfehlen, ist auf ihre Beschwerde von vornherein nicht einzutreten.
Das gilt auch, soweit die Beschwerdeführer beanstanden, die Vorinstanz habe zu Unrecht Unterlagen, die ihnen die Beschwerdegegnerin mit Schreiben vom 4. März 2020 gestützt auf ein Auskunftsgesuch vom 4. Februar 2020 hatte zukommen lassen, als unzulässige Noven zurückgewiesen. Sie behaupten zwar, die Berücksichtigung der Noven hätte ihre Behauptungen gestützt. Sie müssten aber im Einzelnen aufzeigen, inwiefern die Beweismittel prozessrelevant sind (<ref-ruling> E. 3). Ihre diesbezüglichen Ausführungen sind ungenügend. Zudem sollen datenschutzrechtliche Auskunftsbegehren nicht dazu dienen, die Gegenpartei auszuforschen und Beweise zu beschaffen, an die eine Partei sonst nicht gelangen könnte (<ref-ruling> E. 7.1.1; <ref-ruling> E. 5.5; zur Publikation bestimmtes Urteil 4A_125/2020 vom 10. Dezember 2020 E. 1.7.2; je mit Hinweisen).
Auch soweit sich die Beschwerdeführer auf die Bestimmungen des vereinfachten Verfahrens (<ref-law>) berufen, ist nicht auf die Beschwerde einzutreten. Denn die Beschwerdeführer setzen sich nicht rechtsgenüglich mit der Erwägung der Vorinstanz auseinander, wonach das ordentliche Verfahren zur Anwendung gelangt.
2.
Die Beschwerdeführer widersetzen sich der einseitigen Änderung der Hausordnung.
2.1. Gemäss <ref-law> sind Mietzinserhöhungen nichtig, wenn der Vermieter sie nicht mit dem vorgeschriebenen Formular mitteilt (lit. a), wenn er sie nicht begründet (lit. b) oder wenn er mit der Mitteilung die Kündigung androht oder ausspricht (lit. c). Dies gilt nach <ref-law> auch, wenn der Vermieter beabsichtigt, "sonstwie den Mietvertrag einseitig zu Lasten des Mieters zu ändern, namentlich seine bisherigen Leistungen zu vermindern oder neue Nebenkosten einzuführen". Der Geltungsbereich von <ref-law> ist nicht von vornherein auf vertragliche Änderungen beschränkt, welche das bisherige Gleichgewicht der Leistungen zu Lasten des Mieters verändern. Ob sich die Änderung zu Lasten des Mieters auswirkt, ist vielmehr Ergebnis der Beurteilung im Anfechtungsverfahren und gehört zur materiellen Missbrauchsprüfung (<ref-ruling> E. 3b).
Nach Art. 19 Abs. 1 lit. b und c der Verordnung vom 9. Mai 1990 über die Miete und Pacht von Wohn- und Geschäftsräumen (VMWG; SR 221.213.11) muss das Formular für die Mitteilung von anderen einseitigen Vertragsänderungen im Sinne von <ref-law> (i) die Umschreibung der Forderung, (ii) den Zeitpunkt, auf den die Vertragsänderung wirksam wird, (iii) die klare Begründung dieser Forderung, (iv) die gesetzlichen Voraussetzungen der Anfechtung der Vertragsänderung sowie (v) das Verzeichnis der Schlichtungsbehörden und ihre örtliche Zuständigkeit enthalten. Falls die Begründung in einem Begleitschreiben erfolgt, hat der Vermieter im Formular ausdrücklich darauf hinzuweisen (<ref-law>). Die Begründung ist klar im Sinne von <ref-law>, wenn sie dem Mieter erlaubt, sich ein Bild über Tragweite und Berechtigung der Änderung zu machen und ihm damit die Entscheidungsgrundlagen dafür verschafft, ob er Einsprache erheben will oder nicht (<ref-ruling> E. 3.2.1; <ref-ruling> E. 3a, 460 E. 4; Urteil 4A_374/2020 vom 8. Februar 2021 E. 7.1 mit Hinweisen).
2.2. Die Vorbringen der Beschwerdeführer sind unbegründet. Wie die Vorinstanz zu Recht ausführte, ist die einseitige Änderung der Hausordnung keineswegs nichtig.
2.2.1. Die Erstinstanz hatte erwogen, die einseitige Änderung der Hausordnung stelle bloss eine Präzisierung dar. Ziff. 2.7.1 der allgemeinen Bestimmungen zum Mietvertrag enthalte das Gebot der gegenseitigen Rücksichtnahme. Dieses werde mit Blick auf Ziff. 2.7.3 der allgemeinen Bestimmungen präzisiert. Das Gebot der Rücksichtnahme erfordere, dass sich das Musizieren wie jeder Wohngebrauch in einem zumutbaren Rahmen bewege und das übliche Ausmass nicht überschreite. Mit der Änderung der Hausordnung werde das Musizieren auf drei Stunden pro Tag beschränkt und an Sonn- und Feiertagen verboten. Damit werde bloss klargestellt, was unter gegenseitiger Rücksichtnahme zu verstehen sei. Diese ergebe sich bereits aus Ziff. 2.7.1 der allgemeinen Bestimmungen zum Mietvertrag und aus <ref-law>. Daher könne nicht von einer einseitig zu Lasten des Mieters ausfallenden Änderung im Sinne von <ref-law> ausgegangen werden. Die von der Beschwerdegegnerin nunmehr festgehaltene Regelung des Musizierens hätte bereits gestützt auf Ziff. 2.7.1 und Ziff. 2.7.3 der allgemeinen Bestimmungen zum Mietvertrag gegolten, da sie einer allgemein üblichen Rücksicht auf die Mitmieter entspreche. Die Beschwerdegegnerin hätte sich daher ersparen können, gemäss <ref-law> vorzugehen.
Nach der Rechtsprechung des Bundesgerichts werden von <ref-law> grundsätzlich sämtliche Änderungen des Mietvertrages erfasst, die eine einseitige Verschlechterung der Situation des Mieters nach sich ziehen (<ref-ruling> E. 2b mit Hinweis). Diese Voraussetzung ist hier gegeben. In der alten Hausordnung wurden die Zeiten, in denen das Musizieren generell verboten war, ausdrücklich aufgeführt. Aus dem allgemeinen Gebot zur gegenseitigen Rücksichtnahme lässt sich vor diesem Hintergrund nach Treu und Glauben kein generelles Verbot des Musizierens an Sonn- und Feiertagen ableiten. Das anerkennt letztlich auch die Vorinstanz, wenn sie festhält, die Ergänzung der Hausordnung führe zu einer Leistungsschmälerung, da die Beschwerdeführer in der freien Persönlichkeitsentfaltung etwas eingeschränkt würden. In der Tat werden die Mieter durch die neue Hausordnung in ihrer Nutzungsfreiheit eingeschränkt: Der Rahmen, in dem das Musizieren erlaubt bleibt, wird enger gezogen. In der neuen Hausordnung ist mithin zwar eine einseitige Vertragsänderung im Sinne von <ref-law> zu sehen, dies nützt den Beschwerdeführern aber nichts, denn wie die Vorinstanz zutreffend erwog, besteht kein Nichtigkeitsgrund nach <ref-law> (vgl. E. 2.2.2 hiernach).
2.2.2. Bereits die Erstinstanz hatte im Sinne einer Eventualbegründung erwogen, selbst wenn von einer einseitigen Vertragsänderung im Sinne von <ref-law> ausgegangen würde, wäre keine Nichtigkeit gegeben.
In der Tat führte die Beschwerdegegnerin in ihrem Schreiben vom 24. Januar 2019 als Grund für die Änderung der Hausordnung an, dass über Mittag musiziert worden sei und dass andere Mieter sich beschwert hätten. Im Begleitschreiben vom 22. März 2019 war von Unklarheiten und Unstimmigkeiten mit Blick auf das Musizieren die Rede. Nur schon aus diesen beiden Schreiben erhellt, dass Unstimmigkeiten über die Häufigkeit, die Dauer und den Zeitpunkt des Musizierens herrschten.
Wie bereits die Erstinstanz zutreffend erwogen hatte, kann die Begründung in einem Begleitschreiben erfolgen. Dies ergibt sich ohne weiteres aus <ref-law>. Diesfalls hat der Vermieter im Formular ausdrücklich auf das Begleitschreiben zu verweisen. Dies hat die Beschwerdegegnerin getan.
Die Vorinstanz wies darauf hin, dass die Beschwerdeführer seit der Zustellung des ersten Schreibens vom 24. Januar 2019 wussten, aus welchen Gründen die Beschwerdegegnerin die Hausordnung einseitig änderte. Weiter erwog die Vorinstanz, die Beschwerdegegnerin habe ihrem Schreiben auch einen Artikel aus einer Konsumentenzeitschrift beigelegt und auf diesen verwiesen. Im Artikel sei von kantonalen und kommunalen Polizeiverordnungen die Rede, welche Lärmemissionen über Mittag, in der Nacht sowie an Sonn- und Feiertagen verbieten.
Entgegen der Auffassung der Beschwerdeführer trifft es nicht zu, dass die Vorinstanz den Artikel zu einer Rechtsquelle erheben und diesen "gar ergebnisrelevant" zitieren würde. Die Vorinstanz legte damit bloss dar, dass den Beschwerdeführern von Anfang an klar war, dass die Hausordnung wegen der Lärmemissionen geändert wird, welche das Musizieren verursacht.
Gemäss Art. 269 Abs. 2 lit. b i.V.m. Abs. 3 OR ist die einseitige Änderung des Mietvertrags nichtig, wenn der Vermieter sie nicht begründet. Eine solche Begründung liegt vor, denn die Beschwerdeführer konnten die Gründe für die einseitige Änderung der Hausordnung erfassen, um zu entscheiden, ob sie die Vertragsänderung anfechten wollen (vgl. E. 2.1 hiervor). Da bereits das Schreiben vom 24. Januar 2019 festhält, andere Mieter hätten sich beschwert, ergibt sich schon daraus, dass es zu Unstimmigkeiten mit Blick auf das Musizieren gekommen war, die den Grund für die Anpassungen und Klarstellungen in der neuen Hausordnung bildeten. Das von den Beschwerdeführern aufgeworfene Problem des Nachschiebens einer Begründung stellt sich insoweit nicht. Ob sich die Begründung der Beschwerdegegnerin auch als stichhaltig erweist, ist eine andere Frage (vgl. E. 2.3 hiernach).
2.3. Wie die Vorinstanz zutreffend erwog, ist die einseitige Änderung der Hausordnung auch nicht missbräuchlich.
2.3.1. Weder <ref-law> noch <ref-law> enthält einen Massstab für die Missbräuchlichkeit einseitiger Vertragsänderungen. Dennoch unterliegen auch sie der gerichtlichen Missbrauchsprüfung. Diese hat mangels direkter Regelung im Mietrecht dem allgemeinen Missbrauchsverbot gemäss <ref-law> zu folgen (Peter Higi, Zürcher Kommentar, 4. Aufl. 1998, N. 175 zu <ref-law> sowie N. 22-25 zu <ref-law>).
Eine Lehrstimme geht davon aus, für die inhaltliche Zulässigkeit einer einseitigen Vertragsänderung sei an die Zumutbarkeit der Änderung anzuknüpfen, weshalb die Änderung sich auf sachliche Gründe stützen müsse und nur untergeordnete Leistungsschmälerungen möglich seien (Roger Weber, in: Basler Kommentar, Obligationenrecht I, 7. Aufl. 2020, N. 11 zu <ref-law>). Eine andere Lehrmeinung hält dafür, Missbrauch sei ausgeschlossen, wenn objektiv betrachtet "räsonable Gründe" für die Änderung vorlägen (Higi, a.a.O., N. 175 zu <ref-law>). Die Frage braucht nicht vertieft zu werden, da im vorliegenden Fall ohnehin beide Kriterien erfüllt sind.
2.3.2. Die Vorinstanz verwies auf die allgemeinen Bestimmungen zum Mietvertrag. Gemäss deren Ziff. 2.7.1 bezweckt die Hausordnung, das Wohnen für alle Bewohner angenehm zu gestalten. Laut Ziff. 2.7.3 der allgemeinen Bestimmungen zum Mietvertrag nehmen die Bewohner gegenseitig Rücksicht und vermeiden Ruhestörungen aller Art, insbesondere während der Nachtzeit. Musiziert werden darf nur zwischen 8:00 Uhr und 12:00 Uhr sowie von 14:00 Uhr bis 20:00 Uhr. Im Übrigen ergibt sich die Pflicht zur Rücksichtnahme auch aus <ref-law>.
2.3.3. Nach den verbindlichen Feststellungen der Vorinstanz bezogen die Beschwerdeführer die Mietwohnung per 15. Oktober 2016. Es ist nicht belegt, in welchem Ausmass die Beschwerdeführer und deren Töchter vor Januar 2019 musizierten, da erst ab Januar 2019 Aufzeichnungen darüber bestehen. Jedenfalls steht fest, dass das Musizieren ab Januar 2019 zum Streitthema wurde.
2.3.4. Das regelmässige Üben auf einem Musikinstrument ist ohne weiteres mit dem Wohnzweck vereinbar. Doch gibt es Grenzen. Zu Recht leitete die Vorinstanz aus dem Gebot der Rücksichtnahme ab, dass sich das Musizieren wie jeder andere Gebrauch der Wohnung in einem erträglichen Rahmen bewegen muss. Die von der Beschwerdegegnerin vorgesehene Begrenzung des Musizierens auf drei Stunden pro Tag ist nur schon deshalb zumutbar, weil die Beschwerdeführer oder deren Töchter gemäss ihren eigenen Aufzeichnungen von Januar 2019 bis Januar 2020 lediglich an fünf Tagen länger als drei Stunden musiziert hatten. Meistens waren es zwei bis drei Stunden, manchmal auch weniger. Auch im Übrigen ist es sachlich gerechtfertigt, das Musizieren in einer Mietwohnung auf drei Stunden pro Tag zu beschränken. Zudem ist das Ruhebedürfnis an Sonn- und Feiertagen besonders ausgeprägt.
Wie bereits die Erstinstanz erwog, ist die Regelung des Musizierens durch die Beschwerdegegnerin auch verhältnismässig. In der Tat gibt es technische Möglichkeiten, die es erlauben, mehr als drei Stunden pro Tag sowie an Sonn- und Feiertagen zu üben, ohne das Gebot der gegenseitigen Rücksichtnahme zu verletzen. Zu denken ist an ein E-Piano mit Kopfhörern.
2.3.5. Es ist nachvollziehbar, dass die Beschwerdegegnerin versuchte, die Konflikte einzudämmen, indem sie die Hausordnung im Januar 2019 insoweit ergänzte, als sie das Musizieren auf drei Stunden pro Tag beschränkte und an Sonn- sowie Feiertagen untersagte. Von einer Strafaktion der Beschwerdegegnerin kann keine Rede sein. Wie bereits die Vorinstanz zutreffend ausführte, ist darin vielmehr ein Versuch zu erblicken, ein geregeltes und friedliches Zusammenleben der Mieter zu ermöglichen. Ein derartiger Versuch setzt keinen Nachweis voraus, dass die Beschwerdeführer gegen die alte Hausordnung verstossen hätten. Es ist nicht missbräuchlich, wenn die Beschwerdegegnerin, nachdem es in Bezug auf das Musizieren unter den Mietern zu Meinungsverschiedenheiten gekommen war, für die Zukunft das Mass, in dem das Musizieren erlaubt ist, exakter umschreibt und einen Interessenausgleich anstrebt, indem zu Gunsten der Beschwerdeführer klargestellt wird, dass ihr Musizieren an Werktagen mit bis zu drei Stunden mehr oder weniger im bisher praktizierten Umfang gestattet bleibt, während andererseits an Sonn- und Feiertagen dem erhöhten Ruhebedürfnis Rechnung getragen wird.
3.
Auf die subsidiäre Verfassungsbeschwerde ist nicht einzutreten.
Die Beschwerde in Zivilsachen ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten (<ref-law>). Der Beschwerdegegnerin ist im bundesgerichtlichen Verfahren kein Aufwand entstanden, für den sie nach <ref-law> zu entschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf eingetreten wird.
3.
Die Gerichtskosten von Fr. 2'000.-- werden unter solidarischer Haftbarkeit den Beschwerdeführern auferlegt.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 30. April 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Luczak