Erwägungen:
1.
Die Amtsgerichtspräsidentin von Dorneck-Thierstein wies die Beschwerdeführer mit Urteil vom 7. Januar 2022 im Verfahren nach Art. 257 ZPO und gestützt auf Art. 257d OR aus der von ihnen gemieteten 6.5-Zimmer-Wohnung in U._ aus und verpflichtete sie, das Mietobjekt bis spätestens am 28. Februar 2022 zu räumen, zu verlassen und der Beschwerdegegnerin zurückzugeben.
Eine gegen diesen Entscheid erhobene Berufung wies das Obergericht des Kantons Solothurn mit Urteil vom 1. Februar 2022 ab.
Die Beschwerdeführer erhoben gegen dieses Urteil mit Eingabe vom 1. März 2022 (Postaufgabe am 5. März 2022) beim Bundesgericht Beschwerde.
Auf die Einholung von Vernehmlassungen zur Beschwerde wurde im vorliegenden Fall verzichtet.
2.
2.1. Beschwerden an das Bundesgericht sind hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). Dafür muss in der Beschwerdeschrift unter Bezugnahme auf die Erwägungen des angefochtenen Entscheids dargelegt werden, inwiefern dieser Recht verletzt (Art. 42 Abs. 1 und 2 BGG). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Eine Verletzung von Grundrechten wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insofern, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig, mithin willkürlich, ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (Sachverhaltsrüge im Sinne von Art. 97 Abs. 1 BGG; <ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG), was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 3).
3.
Die Beschwerdeführer bestritten im kantonalen Verfahren die Gültigkeit der auf Art. 257d OR gestützten Kündigung des Mietvertrages damit, dass sie die Kündigungsandrohungen der Beschwerdegegnerin vom 26. Januar 2021 nicht erhalten hätten. Die Vorinstanz erwog dazu, aus den von der Beschwerdegegnerin bei der Erstinstanz eingereichten Track & Trace-Auszügen ergebe sich, dass beide Mahnungen mit den Kündigungsandrohungen den Beschwerdeführern je am 29. Januar 2021 zugestellt worden seien. Zur Einwendung der Beschwerdeführer, "es gebe keine Unterschrift", dass die "Unterlagen übernommen worden seien", befand die Vorinstanz, diese Einwendung sei vor der Erstinstanz nicht substantiiert erhoben worden; angesichts der pauschalen Einwendungen und des Umstands, dass die Beschwerdeführer keine Überprüfung der Unterschriften für die Zustellung der Mahnung und Kündigungsandrohung verlangt hätten, sei eine gesonderte Überprüfung der Unterschriften für sämtliche Zustellungen nicht notwendig gewesen und habe die Erstinstanz die Zustellung gestützt auf die vorgelegten Urkunden als sofort bewiesen betrachten dürfen. Erst im Berufungsverfahren legten die Beschwerdeführer nun Ausdrucke der unterschriebenen Empfangsbestätigungen vor. Diese hätten indessen bei zumutbarer Sorgfalt bereits bei der Vorinstanz beigebracht werden können. Sie seien deshalb nach Art. 317 Abs. 1 lit. c (recte: lit. b) ZPO unzulässig und könnten nicht mehr berücksichtigt werden.
Die vorliegende Beschwerde enthält offensichtlich keine genügende Begründung, in welcher die Beschwerdeführer den vorstehend umschriebenen Anforderungen an die Begründung entsprechend darlegen würden, welche Rechte die Vorinstanz inwiefern verletzt haben soll, indem sie ihre Berufung mit dieser Begründung abwies.
Soweit die Beschwerdeführer auf die Begründung der Vorinstanz überhaupt eingehen, bestreiten sie zwar sinngemäss, dass es ihnen bei zumutbarer Sorgfalt möglich gewesen wäre, die Empfangsbestätigungen für die Kündigungsandrohungen mit den Unterschriften bereits bei der Erstinstanz einzureichen. Insoweit ist aber zu beachten, dass die Partei, die im kantonalen Berufungsverfahren neue Beweismittel einreichen will, welche im Zeitpunkt, als sie im erstinstanzlichen Verfahren noch hätten eingebracht werden können, bereits existierten, der Berufungsinstanz präzise darzulegen hat, aus welchen Gründen dieselben nicht bereits bei der Erstinstanz hätten eingebracht werden können (Urteil 4A_508/2016 E. 4.1 mit Hinweisen, nicht publ. in: <ref-ruling>). Den verbindlichen Feststellungen im angefochtenen Urteil (Art. 105 Abs. 1 BGG) ist indessen nicht zu entnehmen, dass die Beschwerdeführer die Gründe, welche sie vorliegend für die Nichteinreichung der Empfangsbestätigungen mit Unterschriften bei der Erstinstanz vorbringen, bereits im Berufungsverfahren vorgebracht hätten. Da sie dazu keine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG erheben und auch nicht davon gesprochen werden kann und nicht dargelegt ist, dass erst der Entscheid der Vorinstanz dazu Anlass gegeben hätte, diese Gründe erst vor Bundesgericht vorzubringen (Art. 99 Abs. 1 BGG), können die entsprechenden Vorbringen im vorliegenden Verfahren nicht gehört werden.
4.
Auf die Beschwerde ist demnach im vereinfachten Verfahren nach Art. 108 Abs. 1 lit. b BGG nicht einzutreten, da sie offensichtlich nicht genügend begründet ist.
Die Kosten des bundesgerichtlichen Verfahrens sind diesem Ausgang entsprechend den Beschwerdeführern aufzuerlegen, unter solidarischer Haftbarkeit (Art. 66 Abs. 1 und 5 BGG). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand entstanden ist (Art. 68 Abs. 1 BGG).

Demnach erkennt das präsidierende Mitglied :
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 8. März 2022
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kiss
Der Gerichtsschreiber: Widmer