Sachverhalt:
A.
A.a. Am 12. November 2014 unterzeichneten A.A._ und B.A._ (Beschwerdeführer 1 und 2) je einen "Versicherungsantrag VVG BENEFIT: Zusatzversicherungen" bei der C._ AG (Beschwerdegegnerin) mit Beginn ab 1. Januar 2015 und einer Mindestlaufzeit von fünf Jahren, das heisst bis 31. Dezember 2019.
Die im Recht liegenden Kündigungsbedingungen der C._ AG sehen unter anderem vor, dass der Versicherungsnehmer bei einer Änderung des Prämientarifs per 1. Januar berechtigt sei, die betroffenen Produkte per 31. Dezember aufzulösen. Ändere sich der Prämientarif nicht, gelte für "Zusatzversicherungen nach BENEFIT" eine Mindestvertragsdauer von fünf Jahren. Bei Kündigungen, die zu spät einträfen, werde die Aufhebung der Versicherung auf den nächstmöglichen Termin bestätigt.
A.b. Mit Schreiben vom 8. Mai 2017 teilten A.A._ und B.A._ der C._ AG was folgt mit:
"Hiermit kündige ich alle Grund- sowie Zusatzversicherungen der oben genannten Personen per 31.12.2017. Die Zusatzversicherungen haben eine Mindestlaufzeit bis 31.12.2019 - sofern keine Prämienerhöhung auf den 01.01.2018 vorgesehen ist, bitte ich Sie im Sinne eines Entgegenkommens meine Kündigung zu akzeptieren.
Gerne erwarte ich Ihre Kündigungsbestätigung in den nächsten Wochen. [...]"
Mit Schreiben vom 18. Mai 2017 bestätigte die C._ AG die Kündigung für die Versicherungen nach KVG (SR 832.10) per 31. Dezember 2017 sowie für die Versicherungen nach VVG (SR 221.229.1) per 31. Dezember 2019, unter Hinweis auf die dem Schreiben beigelegten Kündigungsbedingungen.
A.c. Im Herbst 2017 passte die C._ AG bei gewissen - nicht aber bei allen - Zusatzversicherungen die Prämien per 1. Januar 2018 an.
Daraufhin ersuchte A.A._ für sämtliche Zusatzversicherungen - also auch für jene, die nicht von einer Prämienanpassung betroffen waren - um eine vorzeitige beziehungsweise gleichzeitige Vertragsauflösung per 31. Dezember 2017. Die C._ AG akzeptierte dies nicht und beharrte (für die nicht von der Prämienanpassung tangierten Zusatzversicherungen) auf der ordentlichen Beendigung per 31. Dezember 2019 im Sinne der Kündigungsbestätigung vom 18. Mai 2017. In der Folge kommunizierten A.A._ und B.A._ der C._ AG, dass sie von einer vorzeitigen Auflösung der von der Prämienanpassung betroffenen Zusatzversicherungen per 1. Januar 2018 keinen Gebrauch machten, weil sie "die Zusatzversicherungen nicht bei zwei verschiedenen Versicherungen" hätten halten wollen.
A.d. Im Mai 2018 wurde bei A.A._ eine schubförmig remittierende Multiple Sklerose diagnostiziert.
A.e. Mit Schreiben vom 11. Juni 2018 teilte A.A._ der C._ AG Folgendes mit:
"Entgegen meinem Kündigungsschreiben vom 08.05.2017 ziehe ich hiermit meine Kündigung der oben erwähnten Versicherungen per 31.12.2019 zurück."
A.f. Ab dem 1. Januar 2020 lehnte es die C._ AG ab, A.A._ Leistungen aus der Zusatzversicherung zu erbringen.
B.
Am 24. September 2020 reichten A.A._ und B.A._ beim Verwaltungsgericht des Kantons Schwyz eine Klage ein. Sie verlangten zusammengefasst, die C._ AG sei zu verurteilen, (weiterhin) gestützt auf die Zusatzversicherungen (in den Rechtsbegehren näher spezifizierte) Leistungen zu erbringen. Ausserdem sei der "Rücktritt" per 31. Dezember 2019 für ungültig zu erklären. Eventualiter sei festzustellen, dass die betreffenden Policen weiterhin gültig seien und als ungekündigt gälten.
In der Klagebegründung hielten A.A._ und B.A._ fest, dass sie die obligatorische Krankenpflegeversicherung bei der C._ AG weiterführten und sie nur Leistungen aus VVG einklagten.
Mit Urteil vom 18. März 2021 wies das Verwaltungsgericht die Klage ab, soweit es darauf eintrat.
C.
A.A._ und B.A._ verlangen mit Beschwerde in Zivilsachen, das Urteil des Verwaltungsgerichts sei aufzuheben. In der Sache wiederholen sie ihre vor Vorinstanz gestellten Anträge. Im Eventualstandpunkt beantragen sie die Rückweisung zur Neubeurteilung an das Verwaltungsgericht.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Das angefochtene Urteil des Verwaltungsgerichts hat eine Streitigkeit aus einer Zusatzversicherung zur sozialen Krankenversicherung gemäss <ref-law> zum Gegenstand. Es ist ein Endentscheid (<ref-law>) einer einzigen kantonalen Instanz im Sinne von <ref-law>. Dagegen steht grundsätzlich die Beschwerde in Zivilsachen offen, gemäss <ref-law> unabhängig vom Streitwert (<ref-ruling> E. 1.1, 2 E. 1.2.2; siehe auch <ref-ruling> E. 1.2).
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
2.3. Soweit die Parteien die vorinstanzliche Beweiswürdigung kritisieren, ist zu beachten, dass das Bundesgericht in diese nur eingreift, wenn sie willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1; <ref-ruling> E. 2.1; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.1; <ref-ruling> E. 4.2.1). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b).
2.4. Zu beachten ist ferner, dass der Beweisführungsanspruch nach <ref-law>, <ref-law> beziehungsweise <ref-law> zwar der beweispflichtigen Partei in allen bundesrechtlichen Zivilrechtsstreitigkeiten einen Anspruch darauf verschafft, für rechtserhebliche Vorbringen zum Beweis zugelassen zu werden, soweit entsprechende Anträge im kantonalen Verfahren form- und fristgerecht gestellt worden sind (vgl. <ref-ruling> E. 9.3.2 S. 332; <ref-ruling> E. 7.1; je mit Hinweisen). Diese Bestimmungen schreiben jedoch dem Gericht nicht vor, mit welchen Mitteln es den Sachverhalt abzuklären hat (vgl. <ref-ruling> E. 2a S. 291 mit Hinweis), und sie schliessen namentlich die antizipierte Beweiswürdigung nicht aus. Wenn ein Gericht darauf verzichtet, beantragte Beweise abzunehmen, weil es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde, ist der Beweisführungsanspruch nicht verletzt (<ref-ruling> E. 5.3; <ref-ruling> E. 5.3; <ref-ruling> E. 2.1; je mit Hinweisen).
Das Bundesgericht ordnet die antizipierte Beweiswürdigung, soweit seine Kognition betreffend, der Sachverhaltsfeststellung respektive Beweiswürdigung zu und greift in diese entsprechend nur ein, wenn sie willkürlich ist (<ref-ruling> E. 4.3.2 S. 376 mit Hinweis).
3.
Es geht im vorliegenden Verfahren um die Frage, ob die Beschwerdegegnerin verpflichtet ist, gestützt auf Zusatzversicherungen nach VVG für die Zeit ab 1. Januar 2020 Versicherungsleistungen zu erbringen. Vor Verwaltungsgericht war umstritten, ob die per 31. Dezember 2019 ausgesprochene Kündigung der Beschwerdeführer - noch immer - gültig ist beziehungsweise ob allenfalls neue Verträge abgeschlossen wurden.
Dagegen ist nicht streitig, dass die Beschwerdegegnerin den Beschwerdeführern bis zum 31. Dezember 2019 Leistungen aus den vereinbarten Zusatzversicherungen erbrachte.
4.
Das Verwaltungsgericht erwog, die Kündigung vom 8. Mai 2017 sei "als einseitige Willenserklärung" und angesichts ihrer "blossen Empfangsbedürftigkeit" rechtsgültig geworden. Sie sei denn von der Beschwerdegegnerin auch umgehend (am 18. Mai 2017) bestätigt worden - allerdings ohne dem Ersuchen der Beschwerdeführer um eine vorzeitige Vertragsauflösung stattzugeben, sondern durch genaue Bezeichnung des Beendigungszeitpunkts für jede einzelne Zusatzversicherung. Es liege daher keine - unzulässige - "bedingte" Kündigung vor. Den Beschwerdeführern habe zwangsläufig klar sein müssen, dass ihre Kündigung per Ende der ordentlichen Vertragsdauer am 31. Dezember 2019 Gültigkeit erlange. Sie hätten denn auch nicht auf die Kündigungsbestätigung reagiert.
Hinzu komme, dass die Beschwerdeführer ihre Kündigung mit Schreiben vom 11. Juni 2018 (betitelt mit "Rückzug Kündigung Zusatzversicherungen [...]") wieder "zurückgezogen" hätten. Sie seien damit in diesem Zeitpunkt selbst noch von einer rechtsgültigen Kündigung der Zusatzversicherungen per 31. Dezember 2019 ausgegangen. Dies werde auch dadurch bestätigt, dass der Beschwerdeführer 1 am 28. November 2018 bei der Beschwerdegegnerin einen Versicherungsantrag für Zusatzversicherungen für die Zeit ab 1. Januar 2020 gestellt habe.
5.
Was die Beschwerdeführer dagegen vortragen, verfängt nicht:
5.1. Sie werfen der Vorinstanz in Rz. 17 bis 70 ihrer Beschwerdeschrift eine "falsche Feststellung des Sachverhalts" vor. Die Ausführungen der Beschwerdeführer erschöpfen sich darin, dem Bundesgericht frei ihre eigene Sicht der Geschehnisse zu schildern, ausführlich ihre Interpretation der im Recht liegenden Korrespondenzen zu unterbreiten und der Beschwerdegegnerin in allgemeiner Weise "Fehler" vorzuwerfen. Weder zeigen sie nachvollziehbar auf, inwiefern die verwaltungsgerichtlichen Tatsachenfeststellungen geradezu willkürlich sein sollten, noch tun sie dar, dass und aus welchen Gründen die behaupteten Mängel für den Ausgang des Verfahrens entscheidend sein könnten. Ihre diesbezüglichen Einlassungen genügen den Begründungsanforderungen im bundesgerichtlichen Verfahren (Erwägungen 2.2 f.) nicht. Es ist vollumfänglich vom vorinstanzlich festgestellten Sachverhalt auszugehen.
Dies betrifft insbesondere die zentrale Behauptung der Beschwerdeführer, die Parteien seien im Herbst 2017 - also nach der Kündigung - übereingekommen, "dass sämtliche Policen (KVG und VVG) weitergeführt" würden, mithin über den 31. Dezember 2019 hinaus. Die Vorinstanz stellte in diesem Zusammenhang fest, dass sich den Akten "kein Hinweis" auf eine derartige Laufzeitverlängerung entnehmen lasse. Die Beschwerdeführer verweisen vor Bundesgericht auf "diverse Telefongespräche" und E-Mails, aus denen sie eine "Reaktivierung" der gekündigten Zusatzversicherungen ableiten wollen. Sie betonen ferner, dass die Beschwerdegegnerin unterschiedlich formulierte Policen erstellt habe, weshalb ihr die von ihr "allein verursachte und erst nachträglich erkannte Verwirrung" anzurechnen sei. Inwiefern daraus auf eine Vertragsverlängerung oder -erneuerung zu schliessen wäre, ist nicht erkennbar. Im Übrigen verweisen die Beschwerdeführer auf eine am 20. November 2017 ausgestellte Versicherungspolice, auf der es heisse: "Vertragsprodukt reaktiviert". Sie übergehen, dass sich dieser Hinweis gemäss den plausiblen verwaltungsgerichtlichen Feststellungen einzig auf die - in der Police ebenfalls aufgeführte - (unbestrittenermassen) reaktivierte obligatorische Krankenpflegeversicherung nach KVG bezog. Dies überzeugt auch deshalb, weil in der Police bei den Einträgen zu den Zusatzversicherungen weiterhin die Befristung bis 31. Dezember 2019 vermerkt war. Auch aus dem Umstand, dass auf einem internen Dokument der Beschwerdegegnerin die den Beschwerdeführer 1 betreffende Notiz "bleibt bei uns" angebracht ist, ändert daran nichts. Die Vorinstanz zeigte nachvollziehbar auf, dass mit diesem Vermerk ebenfalls einzig die obligatorische Krankenpflegeversicherung nach KVG gemeint war (was sich nicht zuletzt aus dem Titel des betreffenden Dokuments ergibt). Willkür ist nicht auszumachen.
5.2. Auch die beweisrechtliche Kritik der Beschwerdeführer geht ins Leere:
Sie behaupten einerseits, die Vorinstanz habe die zu ihren Gunsten geltende "Beweiserleichterung" (gemeint: das Beweismass der überwiegenden Wahrscheinlichkeit) "nicht korrekt" angewandt und daher Bundesrecht verletzt: "Denn die [Beschwerdeführer] haben mit überwiegender Wahrscheinlichkeit darlegen können, dass sie seit der Reaktivierung der Policen im Herbst 2017 davon ausgegangen sind, dass [...] auch die VVG-Produkte weitergelten und zwar ungekündigt, d.h. über den 31. Dezember 2019 hinaus [...]". Mit ihrer Argumentation greifen die Beschwerdeführer die Beweiswürdigung an, ohne aufzuzeigen, inwiefern die Vorinstanz bundesrechtliche Beweisvorschriften verletzt haben sollte. Damit dringen sie nicht durch.
Die Beschwerdeführer rügen andererseits, die Vorinstanz habe die von ihnen beantragte Befragung von Zeugen "in unzulässiger Weise" abgelehnt. In der Tat hat das Verwaltungsgericht in antizipierter Beweiswürdigung darauf verzichtet, Zeugen einzuvernehmen (und diesen Verzicht in Erwägung 4.8 auch begründet). Die Beschwerdeführer monieren, die Aussagen der offerierten Zeugen seien "zentral" und ausserdem habe ein Zeuge "unter Wahrheitspflicht auszusagen", was vor Gericht eine hohe Bedeutung habe. Sie übergehen, dass sie (auch) in diesem Punkt hätten Willkür nachweisen müssen (siehe Erwägung 2.4). Dies unterlassen sie.
5.3.
5.3.1. Dem bundesrechtskonform festgestellten Sachverhalt hat das Verwaltungsgericht zutreffende rechtliche Erwägungen zugrunde gelegt. Es hat ausgeführt, dass die Kündigung ein Gestaltungsrecht ist, das durch ein einseitiges Rechtsgeschäft ausgeübt wird. Es hat weiter zu Recht erkannt, dass sie grundsätzlich bedingungsfeindlich ist, wobei in besonderen Interessenkonstellationen Ausnahmen zugelassen werden (namentlich dann, wenn der Eintritt der Bedingung ausschliesslich vom Willen des Gekündigten abhängt, sodass sich dieser nicht in einer unsicheren Lage befindet; vgl. zum Ganzen <ref-ruling> E. 3.3 S. 444; <ref-ruling> E. 2a). Auch ein Widerrufeiner einmal ausgesprochenen Kündigung ist grundsätzlich nicht möglich (<ref-ruling> E. 3.3 S. 444). Auch dieser Grundsatz erleidet - wie das Verwaltungsgericht richtig ausführte - Ausnahmen, die sich nach dem Schutzbedürfnis der Gegenpartei bemessen. So kann eine Kündigung etwa analog der Regel von <ref-law> (Widerruf trifft vor Kündigung beim Kündigungsempfänger ein) zurückgenommen werden oder wegen Verstosses gegen Treu und Glauben (<ref-law>) ungültig und insofern einem Widerruf zugänglich sein (<ref-ruling> E. 2).
Gestützt auf die im Recht liegenden Akten ging die Vorinstanz davon aus, dass die Beschwerdeführer in eindeutiger und unbedingter Weise die Kündigung ihrer Zusatzversicherungen spätestens per 31. Dezember 2019 erklärten. Die Beschwerdeführer bringen vor, der Widerruf ihrer Kündigung sei vorliegend zulässig gewesen. Sie führen eine "Interessenabwägung" sowie allgemeine Billigkeitsüberlegungen ins Feld und betonen, dass sie weder "juristisch geschulte Personen" noch "anwaltschaftlich vertreten" gewesen seien. Inwiefern die Voraussetzungen eines ausnahmsweise zulässigen Widerrufs ihrer Kündigung gegeben gewesen wären, zeigen sie damit nicht auf.
5.3.2. Die Beschwerdeführer meinen, die Beschwerdegegnerin habe mit ihrem Verhalten in Bezug auf den "Vertragsfortbestand" eine "Unklarheit" geschaffen. Nach der "Unklarheitsregel" müsse sie dafür einstehen und den Vertrag betreffend die Zusatzversicherungen über den 31. Dezember 2019 hinaus gegen sich gelten lassen.
Abgesehen davon, dass nicht ersichtlich ist, welche "Unklarheit" die Beschwerdegegnerin verursacht haben soll, bezieht sich die von den Beschwerdeführern zitierte Rechtsprechung auf die Interpretation von vorformulierten Vertragsbestimmungen (insbesondere in allgemeinen Geschäfts- und Versicherungsbedingungen) und besagt, dass mehrdeutige Klauseln im Zweifel gegen den Verfasser auszulegen sind (vgl. <ref-ruling> E. 5.2.3 S. 342 f.). Inwiefern diese Vertragsauslegungsregel im vorliegenden Fall eine Rolle spielen soll, tun die Beschwerdeführer nicht nachvollziehbar dar.
5.3.3. Gleiches gilt, soweit sie sich auf die "Ungewöhnlichkeitsregel" berufen, aus der sie ableiten, dass sie als branchenfremde Personen "deutlich stärker zu schützen" seien als die "geschäftserfahrene" Beschwerdegegnerin. Mit der Kündigung und der mittels diesem Gestaltungsrecht herbeigeführten Auflösung des Rechtsverhältnisses zwischen den Parteien hat die von den Beschwerdeführern zitierte "Ungewöhnlichkeitsregel" - welche die Geltung vorformulierter allgemeiner Geschäftsbedingungen einschränkt (vgl. <ref-ruling> E. 3.1 S. 412) - nichts zu tun.
5.4. Das Verwaltungsgericht ist zutreffend davon ausgegangen, dass die Beschwerdeführer durch die Ausübung ihres Kündigungsrechts das (Zusatz-) Versicherungsverhältnis per 1. Januar 2020 einseitig und verbindlich umgestaltet beziehungsweise aufgelöst haben. Nachdem den Feststellungen der Vorinstanz zufolge weder eine Laufzeitverlängerung über dieses Datum hinaus vereinbart noch ein neuer Vertrag abgeschlossen wurde, ist der verwaltungsgerichtliche Schluss nicht zu beanstanden, wonach für die Zeit ab 1. Januar 2020 keine Versicherungsdeckung (nach VVG) mehr besteht. Folglich war die Klage abzuweisen.
6.
Das Verwaltungsgericht ist auf die Klage insoweit nicht eingetreten, als die Beschwerdeführer Feststellungsbegehren (betreffend die Weitergeltung der Versicherungsdeckung über den 31. Dezember 2019 hinaus) stellten. Es erwog, Feststellungsanträge seien subsidiär zu Leistungsbegehren. Die Beschwerdeführer monieren, sie - und "insbesondere" die Beschwerdeführerin 2 - hätten "hingegen auch ein Feststellungsinteresse [...], da mangels finanziellem Schaden keine Leistungsklage möglich" gewesen sei.
Ihre Feststellungsbegehren stützen sie auf die gleiche materielle Grundlage wie die Leistungsklage (auf das Bestehen einer Versicherungsdeckung über den 31. Dezember 2019 hinaus). Die Beschwerdeführer behaupten denn auch nicht, dass diese unterschiedlich zu beurteilen seien. Träfen die Einwände hinsichtlich des Feststellungsinteresses zu, wären die Feststellungsbegehren damit ohnehin höchstens abzuweisen gewesen. Inwiefern die Beschwerdeführer daran ein Interesse haben sollen, ist nicht erkennbar. Es ist darauf nicht weiter einzugehen.
7.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten gemäss Art. 66 Abs. 1 und 5 BGG den Beschwerdeführern in solidarischer Haftbarkeit aufzuerlegen. Der Beschwerdegegnerin ist kein Aufwand entstanden, für den sie nach <ref-law> zu entschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
3.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Schwyz, Kammer II, schriftlich mitgeteilt.
Lausanne, 11. Juni 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Stähle