Sachverhalt:
A.
A.A._ und B.A._ (Mieter 1 und 2, Beschwerdeführer 1 und 2) sowie die C._ AG (Vermieterin, Beschwerdegegnerin) schlossen am 15. Dezember 2013 einen Mietvertrag über eine Wohnung an der D._-Strasse xx in U._.
Am 10. Juli 2017 kündigte die C._ AG das Mietverhältnis wegen Zahlungsrückstand per 31. August 2017. Die von A.A._ und B.A._ in der Folge eingereichte Klage betreffend die Anfechtung dieser Kündigung wies das Kreisgericht Wil mit Entscheid vom 15. November 2018 ab. Auf die dagegen erhobene Berufung trat das Kantonsgericht St. Gallen mit Entscheid vom 10. Juli 2019 nicht ein.
B.
Am 22. Juli 2019 stellte die C._ AG beim Kreisgericht Wil ein Ausweisungsbegehren. A.A._ und B.A._ beantragten - neben der Abweisung des Gesuchs - die Sistierung des Verfahrens. Mit Entscheid vom 4. Februar 2020 gab der Einzelrichter am Kreisgericht dem Ausweisungsgesuch im Verfahren nach <ref-law> (Rechtsschutz in klaren Fällen) statt. Den Antrag auf Sistierung des Verfahrens wies er ab.
Mit Entscheid vom 19. Juni 2020 wies das Kantonsgericht St. Gallen die dagegen gerichtete Berufung und ein (erneutes) Sistierungsgesuch von A.A._ und B.A._ ab.
C.
A.A._ und B.A._ verlangen mit Beschwerde in Zivilsachen, der Entscheid des Kantonsgerichts vom 19. Juni 2020 sei aufzuheben und die Sache sei zu neuer Beurteilung an die Vorinstanz, eventualiter an das Kreisgericht, zurückzuweisen. Ausserdem sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Mit Präsidialverfügung vom 28. Juli 2020 wurde der Beschwerde die aufschiebende Wirkung erteilt, nachdem diese mit Präsidialverfügung vom 24. Juni 2020 bereits superprovisorisch gewährt worden war.
In der Sache wurden keine Vernehmlassungen eingeholt. Am 31. August 2020 reichte die Beschwerdegegnerin unaufgefordert eine Noveneingabe ein. Mit Schreiben vom 7. September 2020 und Eingabe vom 15. September 2020 nahmen die Beschwerdeführer hierzu (ebenfalls unaufgefordert) Stellung. Sie ersuchten darum, das Verfahren "bis zum endgültigen Entscheid" im bundesgerichtlichen Revisionsverfahren 4F_7/2020 zu sistieren und die aufschiebende Wirkung "weiter aufrecht zu erhalten". Am 29. September 2020 haben die Beschwerdeführer unaufgefordert ein weiteres, als "Noveneingabe" bezeichnetes Schreiben eingereicht. Diese Eingaben werden der Beschwerdegegnerin zusammen mit dem Entscheid zur Kenntnisnahme zugestellt.

Erwägungen:
1.
1.1. Der angefochtene Entscheid des Kantonsgerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>.
Die Vorinstanz errechnete einen Streitwert von Fr. 36'000.--, allerdings ohne sich streng an die in <ref-ruling> E. 1.2 dargestellten Grundsätze zur Streitwertberechnung bei Ausweisungsklagen im Verfahren um Rechtsschutz in klaren Fällen zu halten. Ob der gemäss <ref-law> in mietrechtlichen Fällen vorausgesetzte Streitwert in Höhe von Fr. 15'000.-- im vorliegenden Fall erreicht wird, kann indes offen bleiben. Denn die Beschwerde ist - wie nachfolgend aufzuzeigen sein wird - ohnehin abzuweisen, soweit darauf eingetreten werden kann.
1.2. Die Beschwerdeführer beantragen die Aufhebung des angefochtenen Entscheids und die Rückweisung der Sache an die kantonalen Gerichte. Einen materiellen Antrag, wie er nach <ref-law> erforderlich ist, stellen sie nicht. Indessen geht aus der Beschwerdebegründung mit genügender Klarheit hervor, dass die Beschwerdeführer in der Sache verlangen, auf das Ausweisungsgesuch nicht einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
3.
Die Beschwerdeführer werfen der Beschwerdegegnerin rechtsmissbräuchliches Verhalten vor.
3.1. Sie führen aus, der Beschwerdeführer 1 sei Hauptaktionär der Beschwerdegegnerin. Er habe am 8. März 2019 die Einberufung einer ausserordentlichen Generalversammlung verlangt; dieser Antrag sei vom Verwaltungsrat der Beschwerdegegnerin indes abgewiesen worden. Mit Urteil vom 15. Oktober 2019 habe der Einzelrichter am Kantonsgericht Appenzell Ausserrhoden auf das Gesuch des Beschwerdeführers 1 hin die Einberufung einer ausserordentlichen Generalversammlung angeordnet. Dieser Entscheid sei vom Obergericht des Kantons Appenzell Ausserrhoden mit Urteil vom 12. Februar 2020 und vom Bundesgericht mit Urteil 4A_134/2020 vom 15. Juni 2020 geschützt worden.
Damit - so die Beschwerdeführer weiter - stehe fest, dass "in Kürze" eine ausserordentliche Generalversammlung der Beschwerdegegnerin stattfinden werde. An dieser könne sich der Beschwerdeführer 1 "mit seiner Stimmenmehrheit" selbst zum neuen und einzigen Verwaltungsratsmitglied wählen. Alsdann werde er das Ausweisungsbegehren und die Kündigung des Mietvertrags "sofort zurückziehen und stoppen". Die derzeitigen Verwaltungsratsmitglieder der Beschwerdegegnerin wollten ihnen (den Beschwerdeführern) bis dahin "Steine wie nur möglich in den Weg legen" und sie "mit allen Mitteln aus dem Haus werfen", bevor der Beschwerdeführer 1 "die Geschicke" der Beschwerdegegnerin wieder bestimme. Indem die Beschwerdegegnerin am Ausweisungsbegehren festhalte, "im Wissen um die genauen und gerichtlich bestätigten Machtverhältnisse", handle sie "rechtsmissbräuchlich sondergleichen". Dies habe das Kantonsgericht verkannt.
Ausserdem verweisen die Beschwerdeführer auf zwei in der Zwischenzeit abgehaltene Generalversammlungen der Beschwerdegegnerin vom 6. Dezember 2019 und vom 10. März 2020, mit denen in "aktienrechtlich unzulässige[r] und strafbare[r]" Weise versucht worden sei, dem Beschwerdeführer 1 die "Zurückerlangung der Kontrolle" über die Beschwerdegegnerin zu erschweren und ihn "finanziell zu schädigen".
3.2.
3.2.1. Gemäss <ref-law> gewährt das Gericht Rechtsschutz im summarischen Verfahren, wenn: a. der Sachverhalt unbestritten oder sofort beweisbar ist; und b. die Rechtslage klar ist. Eine klare Rechtslage liegt vor, wenn sich die Rechtsfolge bei der Anwendung des Gesetzes unter Berücksichtigung der Lehre und Rechtsprechung ohne Weiteres ergibt und damit die Rechtsanwendung zu einem eindeutigen Ergebnis führt (<ref-ruling> E. 3.2 S. 26 mit Hinweisen).
3.2.2. Die Rechtslage ist in der Regel nicht klar, wenn die Anwendung einer Norm einen Ermessens- oder Billigkeitsentscheid des Gerichts mit wertender Berücksichtigung der gesamten Umstände erfordert, wie dies namentlich bei der Beurteilung von Treu und Glauben zutrifft (<ref-ruling> E. 3.2 S. 26; <ref-ruling> E. 2.1.2; je mit Hinweisen). Die beispielhafte Erwähnung der Beurteilung von Treu und Glauben in der zitierten Rechtsprechung ist nicht so zu verstehen, dass ein klarer Fall in rechtlicher Hinsicht verneint werden muss, sobald vom Gesuchsgegner eine missbräuchliche Rechtsausübung durch den Gesuchssteller geltend gemacht wird oder aufgrund der vorgetragenen Tatsachen entfernt in Betracht gezogen werden könnte. Das Rechtsmissbrauchsverbot nach <ref-law> hindert den Ansprecher nur an der Rechtsausübung, wenn dieselbe nach den Umständen des Einzelfalls offenbar missbräuchlich erfolgt. Ein klarer Fall ist somit unter dem Gesichtswinkel des Rechtsmissbrauchsverbots nur dann zu verneinen, wenn Umstände vorliegen, nach denen das Verhalten des Ansprechers offenkundig einen Missbrauch darstellt (Urteile 4A_623/2019 vom 26. Mai 2020 E. 4.3.2; 4A_329/2013 vom 10. Dezember 2013 E. 6.1).
3.3.
3.3.1. Die Beschwerdeführer gehen verschiedentlich über die tatsächlichen Feststellungen im angefochtenen Urteil hinaus, ohne indes hinreichend begründete Sachverhaltsrügen zu erheben. Andernorts erschöpfen sich ihre Ausführungen in appellatorischer Kritik an Handlungen der Beschwerdegegnerin beziehungsweise ihrer Verwaltungsratsmitglieder - so, wenn sie ihnen in nicht ohne Weiteres nachvollziehbarer Weise ein "strafbare[s] Vorgehen" unterstellen -, ohne dass anhand des angefochtenen Entscheids aufgezeigt würde, worin konkret eine Rechtsverletzung bestehen soll. Insoweit ist auf die Beschwerde nicht einzutreten (Erwägungen 2.1 f.). Im Übrigen ist Folgendes zu bemerken:
3.3.2. Es steht fest (und wurde in einem anderen Verfahren rechtskräftig entschieden), dass das Mietverhältnis per Ende August 2017 beendet wurde. Seither befinden sich die Beschwerdeführer ohne Rechtstitel im Mietobjekt. Dies wird von ihnen nicht in Frage gestellt (auch nicht dadurch, dass der Beschwerdeführer 1 im bundesgerichtlichen Verfahren unter neuer Adresse handelt). Sie widersetzen sich der Ausweisung aber unter Hinweis auf ein angeblich rechtsmissbräuchliches Verhalten der Beschwerdegegnerin. Ein solches ist jedoch nicht auszumachen. Vielmehr nimmt die Beschwerdegegnerin - wie die Vorinstanz zutreffend ausführte - die im Gesetz vorgesehenen Behelfe zur Durchsetzung ihrer Rechte in Anspruch, nachdem die Beschwerdeführer trotz der zufolge Zahlungsrückstands erfolgten (gültigen) Kündigung die Wohnung nicht räumten. Die Argumentation der Beschwerdeführer, dass "demnächst" verschiedene gesellschaftsrechtliche Beschlüsse gefasst werden sollen, aus denen letztlich ein Rückzug des Ausweisungsbegehrens folge, stützt sich auf Hypothesen, deren Verwirklichung mit Blick auf den vorinstanzlich festgestellten Sachverhalt keineswegs sicher scheint. Das Kantonsgericht stellte denn auch verbindlich fest, dass die Aktionärsverhältnisse "umstritten" seien. Unabhängig davon lässt sich aus den Ausführungen der Beschwerdeführer aber offensichtlich nicht schliessen, die Beschwerdegegnerin beziehungsweise die für sie derzeit gültig handelnden Vertreter verhielten sich rechtsmissbräuchlich, wenn sie an der Ausweisung der sich seit geraumer Zeit ohne Rechtstitel im Mietobjekt aufhaltenden Beschwerdeführer festhalten. Erst recht kann nicht von offenbarem Missbrauch des Rechts die Rede sein, wie dies <ref-law> voraussetzt und was nur restriktiv anzunehmen ist (<ref-ruling> S. 673 mit Hinweisen). Nicht schlüssig ist auch die - bereits im kantonalen Verfahren eingebrachte, indes nicht weiter begründete - Behauptung, die Durchsetzung der "Aktionärsrechte" werde dem Beschwerdeführer 1 erschwert, wenn er mit seiner Familie "aus der Wohnung geworfen" werde.
Die offensichtlich unbegründete Berufung auf das Rechtsmissbrauchsverbot durch die Beschwerdeführer führt damit nicht zur Illiquidität der Rechtslage. Dies hat die Vorinstanz zu Recht erkannt. Folglich ist nicht zu beanstanden, wenn sie den erstinstanzlichen Ausweisungsentscheid schützte. Vor diesem Hintergrund erübrigt es sich, auf die Noveneingabe der Beschwerdegegnerin vom 31. August 2020 und die dazu eingereichten Stellungnahmen der Beschwerdeführer vom 7. und vom 15. September 2020 einzugehen. Darin streiten die Parteien (unter anderem) über die Aktionärseigenschaft des Beschwerdeführers 1, unter Hinweis auf die bundesgerichtlichen Verfahren 4A_134/2020 und 4F_7/2020. Darüber braucht vorliegend nicht entschieden zu werden. Abgesehen davon zeigen die Parteien nicht auf, inwiefern die in den erwähnten Eingaben neu vorgebrachten Tatsachen und Beweismittel zulässig sein sollten (siehe <ref-law>). Das nachträglich eingegebene Sistierungsbegehren ist entsprechend abzuweisen, sodass offen bleiben kann, ob es überhaupt verfahrenskonform gestellt wurde. Der von den Beschwerdeführern beantragte Beizug der Akten der Verfahren 4A_134/2020 und 4F_7/2020 erübrigt sich. Auch die Noveneingabe vom 29. September 2020 ist aus den gleichen Gründen (<ref-law>) unzulässig.
4.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Mit dem Entscheid in der Sache wird das Gesuch der Beschwerdeführer vom 15. September 2020, die aufschiebende Wirkung "weiter aufrecht zu erhalten", gegenstandslos.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten gemäss Art. 66 Abs. 1 und 5 BGG den Beschwerdeführern unter solidarischer Haftbarkeit aufzuerlegen. Der Beschwerdegegnerin, die sich nur zum Gesuch um Erteilung der aufschiebenden Wirkung zu äussern hatte, steht kein Entschädigungsanspruch zu; ihrem Antrag, die aufschiebende Wirkung nicht zu erteilen, wurde nicht entsprochen (siehe Urteil 4A_651/2015 vom 19. April 2016 E. 6).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt, unter solidarischer Haftbarkeit.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichterin im Obligationenrecht, der Beschwerdegegnerin unter Zusendung von act. 18, 23 und 26 zur Kenntnisnahme, schriftlich mitgeteilt.
Lausanne, 9. Oktober 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Stähle