Sachverhalt: A. A.A._ und B.A._ (Mieter 1 und 2, Beschwerdeführer 1 und 2) sowie die C._ AG (Vermieterin, Beschwerdegegnerin) schlossen am 15. Dezember 2013 einen Mietvertrag über eine Wohnung an der D._-Strasse xx in U._. Am 10. Juli 2017 kündigte die C._ AG das Mietverhältnis wegen Zahlungsrückstand per 31. August 2017. Die von A.A._ und B.A._ in der Folge eingereichte Klage betreffend die Anfechtung dieser Kündigung wies das Kreisgericht Wil mit Entscheid vom 15. November 2018 ab. Auf die dagegen erhobene Berufung trat das Kantonsgericht St. Gallen mit Entscheid vom 10. Juli 2019 nicht ein. B. Am 22. Juli 2019 stellte die C._ AG beim Kreisgericht Wil ein Ausweisungsbegehren. A.A._ und B.A._ beantragten - neben der Abweisung des Gesuchs - die Sistierung des Verfahrens. Mit Entscheid vom 4. Februar 2020 gab der Einzelrichter am Kreisgericht dem Ausweisungsgesuch im Verfahren nach Art. 257 ZPO (Rechtsschutz in klaren Fällen) statt. Den Antrag auf Sistierung des Verfahrens wies er ab. Mit Entscheid vom 19. Juni 2020 wies das Kantonsgericht St. Gallen die dagegen gerichtete Berufung und ein (erneutes) Sistierungsgesuch von A.A._ und B.A._ ab. C. A.A._ und B.A._ verlangen mit Beschwerde in Zivilsachen, der Entscheid des Kantonsgerichts vom 19. Juni 2020 sei aufzuheben und die Sache sei zu neuer Beurteilung an die Vorinstanz, eventualiter an das Kreisgericht, zurückzuweisen. Ausserdem sei der Beschwerde die aufschiebende Wirkung zu erteilen. Mit Präsidialverfügung vom 28. Juli 2020 wurde der Beschwerde die aufschiebende Wirkung erteilt, nachdem diese mit Präsidialverfügung vom 24. Juni 2020 bereits superprovisorisch gewährt worden war. In der Sache wurden keine Vernehmlassungen eingeholt. Am 31. August 2020 reichte die Beschwerdegegnerin unaufgefordert eine Noveneingabe ein. Mit Schreiben vom 7. September 2020 und Eingabe vom 15. September 2020 nahmen die Beschwerdeführer hierzu (ebenfalls unaufgefordert) Stellung. Sie ersuchten darum, das Verfahren "bis zum endgültigen Entscheid" im bundesgerichtlichen Revisionsverfahren 4F_7/2020 zu sistieren und die aufschiebende Wirkung "weiter aufrecht zu erhalten". Am 29. September 2020 haben die Beschwerdeführer unaufgefordert ein weiteres, als "Noveneingabe" bezeichnetes Schreiben eingereicht. Diese Eingaben werden der Beschwerdegegnerin zusammen mit dem Entscheid zur Kenntnisnahme zugestellt.