Sachverhalt:
A.
Am 22. März 2017 schlossen A._ und B._ (Gesuchsgegner, Beschwerdeführer) als Mieter mit der C._ AG (Gesuchstellerin, Beschwerdegegnerin) als Vermieterin einen Mietvertrag über ein Einfamilienhaus in V._ ab. Vereinbart wurde ein monatlicher Bruttomietzins von Fr. 8'000.--.
Die Gesuchstellerin mahnte die Gesuchsgegner mit Schreiben vom 4. Januar 2019 für ausstehende Mietzinszahlungen und setzte ihnen eine Zahlungsfrist von 30 Tagen an, unter Androhung der Kündigung bei nicht fristgerechter Zahlung. Am 18. Februar 2019 kündigte die Gesuchstellerin das Mietverhältnis per 31. Mai 2019 unter Verwendung des gesetzlich vorgeschriebenen Formulars.
B.
B.a. Mit Eingabe vom 7. Juni 2019 ersuchte die Gesuchstellerin am Kreisgericht See-Gaster im Verfahren um Rechtsschutz in klaren Fällen um die sofortige Ausweisung der Gesuchsgegner aus dem Einfamilienhaus und um Anordnung von Vollstreckungsmassnahmen. Der zuständige Einzelrichter forderte die Gesuchsgegner mit Schreiben vom 11. Juni 2019 unter Hinweis auf die Säumnisfolgen auf, innert zehn Tagen eine Stellungnahme einzureichen. Die Gesuchsgegner liessen sich vor Kreisgericht nicht vernehmen.
Mit Entscheid vom 3. Juli 2019 gab der Einzelrichter am Kreisgericht dem Ausweisungsgesuch statt, befahl den Gesuchsgegnern das Einfamilienhaus unverzüglich zu räumen und dieses der Gesuchstellerin in ordnungsgemässen Zustand zu übergeben. Sodann regelte er die Vollstreckungsmassnahmen.
B.b. Dagegen erhoben die Gesuchsgegner Berufung an das Kantonsgericht St. Gallen. Sie beantragten, es sei der Entscheid des Kreisgerichts aufzuheben und auf das Begehren der Gesuchstellerin um Mieterausweisung sei nicht einzutreten bzw. es sei abzuweisen.
Mit Entscheid vom 18. November 2019 trat das Kantonsgericht auf die Berufung nicht ein und wies das Gesuch der Gesuchsgegner um Gewährung der unentgeltlichen Rechtspflege für das Berufungsverfahren sowie um Sistierung des Verfahrens ab. Sodann schrieb das Kantonsgericht das Gesuch der Gesuchstellerin um Sicherheitsleistung als gegenstandslos ab.
C.
Gegen den Entscheid des Kantonsgerichts erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Sie beantragten, es sei zu erkennen, dass die Beschwerdegegnerin ihr Gesuch vor Kreisgericht rechtsmissbräuchlich und unter Vorspiegelung falscher Tatsachen und unter Eingabe falscher Urkunden gestellt habe. In der Folge sei die Kündigung des (angeblichen) Mietverhältnisses über Fr. 8'000.-- pro Monat zuzüglich Nebenkosten und Gartenunterhalt als nichtig zu qualifizieren. Ebenso folglich sei zu erkennen, dass der Entscheid des Kreisgerichts nichtig und damit auch der angefochtene Entscheid des Kantonsgerichts aufzuheben sei, soweit dies dem Gericht als notwendig erscheine. Eventualiter sei die Sache an die Vorinstanz zur Neubeurteilung im Sinne der vom Bundesgericht aufgrund dieser Beschwerde zu machenden Erwägungen zur weiteren Abklärung zurückzuweisen. Dabei seien die der Vorinstanz eingereichten Akten zur Prüfung zuzulassen, seien diese doch zur Beurteilung eines missbräuchlichen Handelns unabdingbar. Der Beschwerde sei die aufschiebende Wirkung zu gewähren.
Mit Verfügung vom 16. Januar 2020 wurde das Gesuch der Beschwerdeführer um Gewährung der aufschiebenden Wirkung abgewiesen.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.

Erwägungen:
1.
Angefochten ist ein Endentscheid eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz geurteilt hat (Art. 75 und Art. 90 BGG). In der Sache geht es um eine Mieterausweisung, mithin um eine Zivilsache (<ref-law>), deren Streitwert Fr. 48'000.-- beträgt und damit die Streitwertgrenze von Fr. 15'000.-- übersteigt (<ref-law>). Damit ist der angefochtene Entscheid der Beschwerde in Zivilsachen zugänglich. Die Beschwerdeführer sind zur Beschwerde legitimiert (<ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>).
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich (<ref-ruling> E. 3 S. 352; <ref-ruling> E. 5.5). Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1; <ref-ruling> E. 3.2.5 S. 339). Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Erforderlich ist zudem, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 2.1 S. 19 mit Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
Die Vorinstanz erwog, dass sich die Beschwerdeführer im erstinstanzlichen Verfahren nicht vernehmen liessen. Daher seien alle ihre Tatsachenbehauptungen und Beweismittel im Berufungsverfahren neu und damit grundsätzlich verspätet. Zu prüfen bleibe, ob die von den Beschwerdeführern vorgebrachten neuen Tatsachen und Beweismittel nach <ref-law> ausnahmsweise im Berufungsverfahren berücksichtigt werden könnten. Das sei zu verneinen. Den Beschwerdeführern sei es nicht gelungen glaubhaft darzulegen, dass sie trotz zumutbarer Sorgfalt nicht in der Lage gewesen seien, innert Frist auf die Aufforderung des erstinstanzlichen Gerichts, zum Ausweisungsgesuch in einer angemessenen Form zu reagieren, also mit einer Stellungnahme, einem Fristerstreckungsgesuch oder mit der Beauftragung eines Rechtsanwalts. Darüberhinaus würden die Beschwerdeführer lediglich Behauptungen vorbringen, jedoch keine Beweise, welche belegen würden, dass die Voraussetzungen für die Berücksichtigung der Noven erfüllt seien.
4.
Dagegen stellen sich die Beschwerdeführer vor Bundesgericht hauptsächlich auf den Standpunkt, zwischen ihnen und der Beschwerdegegnerin sei bezüglich des Einfamilienhauses ein "Gesamtpaket geschnürt" worden. Sie hätten zwei Mietverträge über das gleiche Einfamilienhaus abgeschlossen, nämlich einen Mietvertrag mit einem Bruttomietzins von Fr. 8'000.-- und einen mit einer Nettomiete von Fr. 2'100.--. Nur der zweite Mietvertrag sei der "tatsächliche" und "wirkliche" Mietvertrag. Die Beschwerdegegnerin stütze sich aber einzig auf den anderen, "nämlich den ihr passenden Mietvertrag über Fr. 8'000.--". Es handle sich aber um ein vorgeschobenes Mietverhältnis. Die Kündigung dieses Mietverhältnisses sei nichtig und entfalte keinerlei Wirkung, auch dann nicht, wenn die Gegenpartei nichts dagegen unternehme. Die Beschwerdegegnerin habe bewusst, missbräuchlich, arglistig und in betrügerischer Absicht vor Kreisgericht nicht die "vollständigen Fakten" offen gelegt und habe die "eigentliche Abrede" zwischen den Parteien sowie die bereits erhaltene grosse Zahlung nicht offengelegt. Sie hätten aus diesen Gründen Strafanzeige erhoben. Die Beschwerdegegnerin habe damit rechtsmissbräuchlich und treuwidrig unter Vorspiegelung falscher Tatsachen ein Gesuch vor dem Kreisgericht gestellt. In der Folge sei die Kündigung des Mietverhältnisses als nichtig zu qualifizieren. Ebenso folglich sei zu erkennen, dass der Entscheid des Kreisgerichts nichtig und damit auch der angefochtene Entscheid des Kantonsgerichts aufzuheben sei, soweit dies dem Gericht als notwendig erscheine.
5.
5.1. Mit diesen Ausführungen machen die Beschwerdeführer erstmals vor Bundesgericht die Nichtigkeit des Entscheids des Kreisgerichts und der Kündigung des Mietvertrages geltend. Nichtigkeit ist jederzeit und von sämtlichen staatlichen Instanzen von Amtes wegen zu beachten. Sie kann auch im Rechtsmittelweg festgestellt werden, namentlich auch im Verfahren vor Bundesgericht (<ref-ruling> E. 1.3.2; <ref-ruling> E. 3.1; <ref-ruling> E. 2.4.3 S. 226). Ob Nichtigkeit vorliegt, bestimmt sich aufgrund einer rechtlichen Würdigung, ist also eine Rechtsfrage. Sie wird als (neues) rechtliches Vorbringen vom grundsätzlichen Novenverbot nach <ref-law> nicht erfasst.
Davon zu unterscheiden ist der Sachverhalt, auf den die Partei ihren Nichtigkeitsvorwurf stützt. Macht eine Partei vor Bundesgericht Nichtigkeit geltend, stellt sich die Frage, ob dem Bundesgericht - über <ref-law> hinaus - neue Tatsachen und Beweismittel unterbreitet werden dürfen (vgl. <ref-ruling> E. 3). Dafür ist zwischen der von den Beschwerdeführern geltend gemachten Nichtigkeit des Entscheids des Kreisgerichts und der Nichtigkeit der Kündigung des Mietvertrages zu unterscheiden.
5.2.
5.2.1. Für die Beurteilung der Nichtigkeit des Entscheids des Kreisgerichts können vor Bundesgericht ausnahmsweise unbeschränkt neue Tatsachen und Beweismittel vorgebracht werden (<ref-ruling> E. 3; Johanna Dormann, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 32 Fn. 63 zu <ref-law>). Entscheide erweisen sich nach der bundesgerichtlichen Rechtsprechung aber erst dann als nichtig, wenn der ihnen anhaftende Mangel besonders schwer ist, wenn er sich als offensichtlich oder zumindest leicht erkennbar erweist und die Rechtssicherheit durch die Annahme der Nichtigkeit nicht ernsthaft gefährdet wird. Inhaltliche Mängel einer Entscheidung führen nur ausnahmsweise zur Nichtigkeit; erforderlich ist hierzu ein ausserordentlich schwerwiegender Mangel. Als Nichtigkeitsgründe fallen vorab funktionelle und sachliche Unzuständigkeit der entscheidenden Behörde sowie krasse Verfahrensfehler in Betracht (<ref-ruling> E. 4; <ref-ruling> E. 1.4.3; <ref-ruling> E. 11.2; <ref-ruling> E. 3.1).
5.2.2. Die Beschwerdeführer begründen die Nichtigkeit des Entscheids des Kreisgerichts damit, dass die Beschwerdegegnerin dem Kreisgericht nicht alle "Fakten" über die vertraglichen Vereinbarungen bezüglich dem Einfamilienhaus offengelegt, nur den ihr "passenden Mietvertrag" eingereicht und die von den Beschwerdeführern geleisteten Zahlungen verschwiegen habe.
Ob die Beschwerdegegnerin dem Kreisgericht nicht alle Information über die verschiedenen vertraglichen Abreden und geleisteten Zahlungen offen gelegt hat, braucht nicht abschliessend untersucht zu werden. Selbst wenn es so wäre, dass das Kreisgericht einen Entscheid gefällt hätte, der nicht vollständig die verschiedenen vertraglichen Vereinbarungen der Parteien und die gestützt darauf geleisteten Zahlungen berücksichtigte, läge kein Mangel vor, geschweige denn wäre der Entscheid des Kreisgerichts nichtig. Es ist im Gegenteil ein Wesensmerkmal des Zivilprozesses, dass das Gericht bei Anwendung der Verhandlungsmaxime die Sachdarstellung der klagenden Beschwerdegegnerin grundsätzlich dem Urteil zu Grunde legt, solange die beklagten Beschwerdeführer diese nicht frist- und formgerecht bestreiten (<ref-ruling> E. 3.2.1). Unter Vorbehalt von <ref-law> nimmt die Zivilprozessordnung damit in Kauf, dass das Urteil von einem Sachverhalt ausgeht, der nicht der materiellen Wahrheit entspricht (vgl. Urteil 4A_375/2016 vom 8. Februar 2017 E. 5.3.3).
Die Beschwerdeführer leiten aus der von ihnen behaupteten Nichtigkeit des Entscheids des Kreisgerichts keine Nichtigkeit des Entscheids des Kantonsgerichts ab. Sie beantragen insbesondere keine Feststellung der Nichtigkeit des angefochtenen Entscheids des Kantonsgerichts und sie machen nicht geltend, zumindest nicht hinreichend, dass der angefochtene Entscheid des Kantonsgerichts an einem eigenen Nichtigkeitsgrund leiden würde. Ein solcher ist denn auch nicht ersichtlich.
5.3.
5.3.1. Die Beschwerdeführer berufen sich vor Bundesgericht auf die Nichtigkeit der Kündigung des Mietvertrages. Für die Beurteilung der Nichtigkeit von privatrechtlichen Rechtsgeschäften besteht kein Anlass, von der allgemeinen Novenregelung von <ref-law> abzuweichen (Urteile 5A_482/2014 vom 14. Januar 2015 E. 5; 4A_551/2014 vom 6. November 2014 E. 2.3.2; 4A_69/2009 vom 8. April 2009 E. 3.2; Bernhard Berger, Die Rechtsprechung des Bundesgerichts zum Zivilprozessrecht im Jahre 2009, 3. Teil: Schiedsgerichtsbarkeit, ZBJV 147 [2011], S. 551 ff., S. 552; Sébastien Moret, Zum Verhältnis zwischen Nichtigkeit und Novenrecht in der Schweizerischen Zivilprozessordnung, ZZZ 33/34 [2014/2015], S. 29 ff., S. 33. a.M. wohl Dormann, a.a.O., N. 32 Fn. 63 zu <ref-law>, die generell für "Rechtsverhältnisse" davon ausgeht, dass vor Bundesgericht neue Tatsachen vorgebracht werden dürfen). Das Bundesgericht kann damit die Nichtigkeit eines privatrechtlichen Rechtsgeschäft beurteilen, soweit sich diese auf den vorinstanzlich festgestellten Sachverhalt stützt oder eine rechtsgenügliche Sachverhaltsergänzung verlangt wird (Erwägung 2.2).
5.3.2. Die Beschwerdeführer schildern für die geltend gemachte Nichtigkeit der Kündigung des Mietvertrages ausführlich den Sachverhalt aus ihrer eigenen Sicht und gehen dafür über den vorinstanzlich festgestellten Sachverhalt hinaus, ohne eine hinreichende Sachverhaltsrüge zu erheben (Erwägung 2.2). Sie tragen insbesondere weder rechtsgenüglich vor, dass sie die entsprechenden rechtsrelevanten Tatsachen und Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hätten, noch dass erst der Entscheid der Vorinstanz zu ihren neuen Vorbringen Anlass gegeben hätte.
Es ist daher für die Frage der Nichtigkeit der Kündigung des Mietvertrages von der Sachdarstellung der Vorinstanz auszugehen. Inwiefern die Kündigung gestützt auf den vorinstanzlich festgestellten Sachverhalt nichtig wäre, legen die Beschwerdeführer nicht dar und ist auch nicht ersichtlich.
6.
6.1. Die Beschwerdeführer monieren, dass die Vorinstanz die Nichtigkeit der Kündigung des Mietverhältnisses von Amtes wegen hätte prüfen müssen.
6.2. Zutreffend ist, dass die Vorinstanz die Nichtigkeit im Berufungsverfahren von Amtes wegen zu beachten hat (Erwägung 5.1). Wie im bundesgerichtlichen Verfahren besteht für das kantonale Berufungsverfahren kein Anlass, für die tatsächlichen Grundlagen der Nichtigkeit von privatrechtlichen Rechtsgeschäften von der generellen Novenschranke im Berufungsverfahren abzuweichen (vgl. Moret, a.a.O., S. 31 f.; Monja Sieber, Klageweise Durchsetzbarkeit von Informationsrechten des Verwaltungsrats, GesKR 2018, S. 230 ff., S. 236).
Der Prozessstoff, welcher der Nichtigkeit zu Grunde gelegt wird, kann daher vor der kantonalen Rechtsmittelinstanz nicht unbeschränkt ergänzt werden, sondern einzig nach der Bestimmung von <ref-law>. Entsprechend hat die kantonale Rechtsmittelinstanz die Nichtigkeit von privatrechtlichen Rechtsgeschäften auch nicht "in tatsächlicher Hinsicht" von Amtes wegen zu prüfen (offen gelassen in: Urteilen 4A_364/2017 vom 28. Februar 2018 E. 7.2.1, nicht publ. in <ref-ruling>; 5A_351/2015 vom 1. Dezember 2015 E. 4.3; 5A_482/2014 vom 14. Januar 2015 E. 5).
6.3. Die Beschwerdeführer zeigen nicht auf, dass die Vorinstanz <ref-law> bundesrechtswidrig angewandt hätte, als sie ihre neuen Tatsachen und Beweismittel, auf welche sie die Nichtigkeit der Kündigung des Mietvertrages stützen, aus dem Recht wies. Ebensowenig zeigen die Beschwerdeführer rechtsgenüglich auf, dass die Vorinstanz gestützt auf den erstinstanzlichen Sachverhalt auf die Nichtigkeit der Kündigung des Mietvertrages hätte erkennen sollen. Die Rüge geht damit fehl.
7.
7.1. Die Beschwerdeführer berufen sich darauf, dass das Gesuch der Beschwerdegegnerin bzw. deren Kündigung des Mietverhältnisses rechtsmissbräuchlich sei und gegen Treu und Glauben sowie das Vertrauensprinzip verstosse.
Auch dafür gehen die Beschwerdeführer über den vorinstanzlich festgestellten Sachverhalt hinaus, ohne eine hinreichende Sachverhaltsrüge nach den oben genannten Grundsätzen zu erheben (Erwägung 2.2). Entsprechend hat auch die auf die eigene Sachdarstellung abgestützte Rechtsrüge keinen Erfolg.
7.2. Die Beschwerdeführer behaupten pauschal, die Vorinstanz hätte das von ihnen eingereichte Arztzeugnis nicht aus dem Recht weisen dürfen. Sie setzen sich dafür aber weder hinreichend mit den Erwägungen der Vorinstanz auseinander, noch legen sie rechtsgenüglich dar, inwiefern die Vorinstanz Bundesrecht verletzt (Erwägung 2.1), insbesondere <ref-law> unrichtig angewandt hätte.
7.3. Die Beschwerdeführer monieren, dass die Vorinstanz rechtsmissbräuchlich handle und willkürlich urteile, da sie sämtliche dem Gericht vorgelegte Behauptungen und Beweise "ausschliesslich aus formellen Gründen nicht" beachte.
Inwiefern der Entscheid der Vorinstanz willkürlich, d.h. offensichtlich unrichtig wäre, legen die Beschwerdeführer mit dieser pauschalen Behauptung nicht hinreichend dar (Erwägung 2.1) und ist im Übrigen auch nicht ersichtlich.
Gleiches gilt für den Vorwurf des Rechtsmissbrauchs. Er ist haltlos. Die Vorinstanz hat <ref-law> korrekt angewandt und handelte klar nicht überspitzt formalistisch.
8.
Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit auf sie überhaupt eingetreten werden kann. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer in solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern in solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichterin im Obligationenrecht, schriftlich mitgeteilt.
Lausanne, 26. Februar 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger