Erwägungen:
1.
Die Beschwerdeführer als Mieter und die Beschwerdegegnerin als Vermieterin schlossen am 26. Dezember 2020 einen Mietvertrag über eine 3.5-Zimmer-Wohnung im 3. Stock an der U._strasse 5a in V._. Am 21. April 2021 kündigte das Betreibungsamt des Bezirks W._, handelnd für die Beschwerdegegnerin, das Mietverhältnis gestützt auf Art. 257d OR per 31. Mai 2021. Am 8. Juni 2021 schlossen die Parteien vor der Mieterschlichtungsstelle der Gemeinde V._ einen Vergleich, wonach das Mietverhältnis per 30. September 2021 endet.
Mit Verfügung vom 26. Oktober 2021 verpflichtete der Einzelrichter des Bezirksgerichts Münchwilen die Beschwerdeführer auf Gesuch des Betreibungsamts vom 1. Oktober 2021 hin, das Mietobjekt bis spätestens zehn Tage nach Rechtskraft der Verfügung zu räumen und der Vermieterin ordnungsgemäss zu übergeben. Er erwog, die Beschwerdeführer hätten gegen die Sachverhaltsdarstellung der Vermieterin keine Einwände und Einreden geltend gemacht, der Sachverhalt sei liquide und die Rechtslage klar.
Eine von den Beschwerdeführern dagegen erhobene Beschwerde wies das Obergericht des Kantons Thurgau mit Entscheid vom 7. Dezember 2021 ab.
Die Beschwerdeführer erhoben gegen diesen Entscheid und die Verfügung vom 26. Oktober 2021 mit Eingabe vom 21. Januar 2022 beim Bundesgericht Beschwerde. Auf die Einholung von Vernehmlassungen dazu wurde verzichtet.
2.
In Zivilsachen, wie hier eine vorliegt, ist die Beschwerde an das Bundesgericht nur gegen Entscheide letzter kantonaler Instanzen, des Bundesverwaltungsgerichts und des Bundespatentgerichts zulässig (Art. 75 Abs. 1 BGG). Beim Bezirksgericht Münchwilen handelt es sich nicht um eine solche Instanz, weshalb auf die Beschwerde nicht eingetreten werden kann, soweit damit die Aufhebung von dessen Verfügung vom 26. Oktober 2021 beantragt wird und die Beschwerdeführer ihre Kritik direkt gegen diese Verfügung und die Verfahrensführung des Bezirksgerichts richten (Art. 108 Abs. 1 lit. a BGG).
3.
Die Beschwerde in Zivilsachen nach Art. 72 ff. BGG ist angesichts der von der Vorinstanz festgestellten und unbestritten gebliebenen Höhe des Streitwerts von Fr. 8'700.-- im vorliegenden Fall unzulässig (Art. 74 Abs. 1 lit. a und Art. 51 Abs. 1 lit. a BGG) und die Beschwerdeführer machen nicht geltend, dass die Beschwerde dennoch zulässig sei, weil sich eine Rechtsfrage von grundsätzlicher Bedeutung im Sinne von Art. 74 Abs. 2 lit. a BGG stellen würde (Art. 42 Abs. 2 BGG).
Die Eingabe der Beschwerdeführer ist unter diesen Umständen als subsidiäre Verfassungsbeschwerde im Sinne der Art. 113 ff. BGG zu behandeln.
4.
In einer Verfassungsbeschwerde muss dargelegt werden, welche verfassungsmässigen Rechte durch das kantonale Gericht verletzt worden sind, und solche Rügen sind unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids detailliert und klar zu begründen (Art. 42 Abs. 2 und Art. 106 Abs. 2 in Verbindung mit Art. 117 BGG).
Das Bundesgericht legt seinem Entscheid den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 118 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie auf einer Verfassungsverletzung im Sinne von Art. 116 BGG beruht, beispielsweise weil sie willkürlich ist, was der Beschwerdeführer mit einer den genannten Anforderungen genügenden Begründung geltend zu machen hat (Art. 117 in Verbindung mit Art. 106 Abs. 2 BGG; BGE 136 I 332 E. 2.2; 133 III 439 E. 3.2 S. 445 mit Hinweis).
In einer Beschwerde, in welcher der Beschwerdeführer eine Verletzung des Willkürverbots nach Art. 9 BV geltend macht, ist im Einzelnen unter hinreichender Auseinandersetzung mit der Begründung des angefochtenen Entscheids zu zeigen, inwiefern der angefochtene Entscheid offensichtlich unhaltbar ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. BGE 135 III 513 E. 4.3 S. 522; 134 II 349 E. 3 S. 352; 133 I 1 E. 5.5, 133 III 393 E. 7.1).
In Fällen, in denen der angefochtene Entscheid auf mehreren selbständigen Begründungen beruht, die je für sich allein den Ausgang des Rechtsstreits besiegeln, hat der Beschwerdeführer bezüglich jeder derselben in einer den vorstehend dargestellten Begründungsanforderungen genügenden Weise darzulegen, dass sie Recht verletzt, andernfalls auf die Beschwerde mangels Rechtsschutzinteresse nicht eingetreten werden kann (BGE 133 IV 119 E. 6.3 S. 120 f.; ferner: BGE 139 II 233 E. 3.2 S. 236; 138 III 728 E. 3.4 S. 735).
5.
Die Vorinstanz führte zur Begründung des angefochtenen Entscheids aus, die Beschwerdeführer hätten sich im erstinstanzlichen Verfahren nicht vernehmen lassen, obschon ihnen die vom 5. Oktober 2021 datierende Aufforderung zur Stellungnahme zum Ausweisungsgesuch des Betreibungsamts unbestrittenermassen zugestellt worden sei. Die Beschwerdeführer rügten bloss, der verfahrensleitenden Verfügung vom 5. Oktober 2021 hätten Beilagen gefehlt. Aus dem Brief vom 5. Oktober 2021 ergebe sich, dass den Beschwerdeführern das verfahrenseinleitende Gesuch und die Beilagen 1 bis 5 zugestellt worden seien, und für eine unvollständige Postsendung bestünden keine Hinweise. Weiter sei nicht aktenkundig, dass die Beschwerdeführer ihre Rüge vor dem Bezirksgericht geltend gemacht hätten. Damit sei zum einen davon auszugehen, dass den Beschwerdeführern das Ausweisungsgesuch vom 1. Oktober 2021 inklusive Beilagen korrekt zugestellt worden sei. Zum anderen wäre die erstmals im Beschwerdeverfahren vorgetragene Verfahrensrüge verspätet und unbeachtlich. Hätten die Beschwerdeführer demnach Gelegenheit gehabt, sich im erstinstanzlichen Verfahren vernehmen zu lassen, erwiesen sich ihre tatsächlichen Vorbringen als verspätet und sei aufgrund der strengen Novenregelung darauf nicht einzugehen. Es bleibe damit bei den nachvollziehbaren erstinstanzlichen Feststellungen und die Erstinstanz sei zu Recht davon ausgegangen, mit dem vor der Mieterschlichtungsstelle der Gemeinde V._ geschlossenen Vergleich liege ein liquider Sachverhalt vor. Auch die Rechtslage sei klar, weshalb das Ausweisungsgesuch auf dieser Grundlage zu schützen gewesen sei.
6.
Die Beschwerdeführer setzen sich offensichtlich nicht hinreichend mit diesen Erwägungen der Vorinstanz auseinander und legen offensichtlich nicht in einer den vorstehend dargestellten Begründungsanforderungen an eine subsidiäre Verfassungsbeschwerde (vorstehende Erwägung 4) genügenden Weise dar, welche verfassungsmässigen Rechte die Vorinstanz inwiefern verletzt haben soll, indem sie gestützt auf diese Erwägungen ihre kantonale Beschwerde abwies. Die Beschwerdeführer machen zwar geltend, der Entscheid der Vorinstanz verstosse gegen das Willkürverbot und den Gehörsanspruch, weshalb er als nichtig zu erklären sei. Sie begründen diese Rügen bzw. Anträge indessen nicht hinreichend.
Vielmehr legen sie zunächst unter unzulässiger beliebiger Ergänzung des von der Vorinstanz festgestellten Sachverhalts, bloss ihre Sicht der Dinge im Zusammenhang mit der Beendigung des Mietverhältnisses dar, wonach die Wohnungskündigung und der vor der Schlichtungsbehörde geschlossene Vergleich nichtig seien. Darauf ist nicht einzutreten.
Weiter beharren die Beschwerdeführer unter anderem bloss auf ihrer Bestreitung, dass sie mit der prozessleitenden Verfügung vom 5. Oktober 2021 auch das Ausweisungsgesuch mit Beilagen erhalten hätten; der Nachweis dafür sei nicht erbracht, weshalb ihr Gehörsanspruch im erstinstanzlichen Verfahren verletzt worden sei bzw. die Voraussetzungen für ein Säumnisurteil nicht gegeben gewesen seien. Sie legen indessen nicht hinreichend dar, weshalb die Vorinstanz in Willkür verfallen sein soll, indem sie mit der vorstehend wiedergegebenen Begründung hinsichtlich des Erhalts der Gesuchsbeilagen zum gegenteiligen Schluss kam und annahm, die Beschwerdeführer hätten im erstinstanzlichen Verfahren Gelegenheit gehabt, zum Ausweisungsgesuch vom 1. Oktober 2021 Stellung zu nehmen, weshalb sie mit ihren erstmals im Beschwerdeverfahren vorgetragenen Bestreitungen nicht zu hören seien.
Überdies legen sie auch nicht, jedenfalls nicht hinreichend dar, welche verfassungsmässigen Rechte die Vorinstanz verletzt haben soll, indem sie im Sinne einer ihren Entscheid selbständig tragenden Alternativbegründung erwog, die erst im kantonalen Beschwerdeverfahren erhobene Verfahrensrüge betreffend der angeblich nicht erhaltenen Beilagen sei verspätet.
7.
Auf die Beschwerde ist damit, auch soweit sie sich gegen den Entscheid des Obergerichts vom 7. Dezember 2021 richtet, mangels hinreichender Begründung und mangels Rechtsschutzinteresse nicht einzutreten (Art. 108 Abs. 1 lit. a und b BGG).
Die Kosten des bundesgerichtlichen Verfahrens sind diesem Ausgang entsprechend den Beschwerdeführern aufzuerlegen in solidarischer Haftbarkeit (Art. 66 Abs. 1 und 5 BGG). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand entstanden ist (Art. 68 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 2. Februar 2022
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kiss
Der Gerichtsschreiber: Widmer