Erwägungen:
1.
A.A._ und B.A._ (Beschwerdeführer 1 und 2) mieteten mit Vertrag vom 25. Mai 2011 per 1. Juni 2011 von der C._ AG (Beschwerdegegnerin) die Liegenschaft an der Strasse U._ in V._. Der monatliche Mietzins wurde auf Fr 3'000.-- festgelegt.
Am 16. Oktober 2017 setzte die C._ AG A.A._ und B.A._ eine Zahlungsfrist von 30 Tagen unter Androhung der ausserordentlichen Kündigung des Mietverhältnisses gemäss <ref-law>. In der Folge kündigte die C._ AG das Mietverhältnis. Die Kündigungsschreiben und Formulare für Kündigung von Wohn- und Geschäftsräumen vom 27. November 2017 wurden A.A._ und B.A._ am 8. Dezember 2017 zugestellt. A.A._ und B.A._ fochten die Kündigung bei der kantonalen Schlichtungsstelle für Mietangelegenheiten an.
Am 9. November 2018 stellte die C._ AG beim Zivilkreisgericht Basel-Landschaft West ein Ausweisungsbegehren gegen A.A._ und B.A._. Mit Entscheid vom 20. Dezember 2018 hiess das Zivilkreisgericht dieses im Verfahren nach <ref-law> (Rechtsschutz in klaren Fällen) gut und wies das Begehren von A.A._ und B.A._ um Bewilligung der unentgeltlichen Rechtspflege ab. Die dagegen gerichtete Berufung von A.A._ und B.A._ wies das Kantonsgericht Basel-Landschaft mit Entscheid vom 26. Februar 2019 ab, und ebenso das Begehren um unentgeltliche Rechtspflege für das Berufungsverfahren.
A.A._ und B.A._ haben diesen Entscheid am 17. April 2019 mit Beschwerde beim Bundesgericht angefochten und um Erteilung der aufschiebenden Wirkung sowie um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersucht. Mit Formularverfügung vom 18. April 2019 wurde superprovisorisch die aufschiebende Wirkung angeordnet. Die C._ AG beantragt die Abweisung des Gesuchs um aufschiebende Wirkung. In der Sache wurden keine Vernehmlassungen eingeholt.
2.
Das angefochtene Urteil des Kantonsgerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Weiter übersteigt der Streitwert die nach <ref-law> in mietrechtlichen Fällen geltende Grenze (vgl. <ref-ruling> E. 1.2).
3.
Die Beschwerdeführer monieren, es liege kein klarer Fall im Sine von <ref-law> vor, weshalb das Ausweisungsbegehren im summarischen Verfahren nicht hätte gutgeheissen werden dürfen.
Gemäss <ref-law> gewährt das Gericht Rechtsschutz im summarischen Verfahren, wenn: a. der Sachverhalt unbestritten oder sofort beweisbar ist; und b. die Rechtslage klar ist. Der Rechtsschutz in klaren Fällen erlaubt es der klagenden Partei, bei eindeutiger Sach- und Rechtslage rasch, das heisst ohne einlässlichen Prozess im ordentlichen Verfahren, zu einem rechtskräftigen und vollstreckbaren Entscheid zu kommen. Bei Gewährung des Rechtsschutzes ergeht mithin ein definitives, der materiellen Rechtskraft fähiges Urteil, das einer neuen Beurteilung der Sache wegen der Rechtskraftwirkung entgegensteht (<ref-ruling> E. 5.1.1 S. 622 f. mit weiteren Hinweisen). Ist im mietrechtlichen Ausweisungsverfahren gemäss <ref-law> die Gültigkeit der Kündigung des Mietvertrages als Vorfrage zu beurteilen, beziehen sich nach der Rechtsprechung die Voraussetzungen von <ref-law> auch darauf. Sind sie nicht erfüllt, kann der Rechtsschutz im summarischen Verfahren nicht gewährt werden und hat das Gericht nach <ref-law> auf das Ausweisungsbegehren nicht einzutreten (<ref-ruling> E. 3.2 S. 265). Allgemein ist ein klarer Fall dann zu verneinen, wenn die beklagte Partei substanziiert und schlüssig Einwendungen vorträgt, die in tatsächlicher Hinsicht nicht sofort widerlegt werden können und die geeignet sind, die bereits gebildete richterliche Überzeugung zu erschüttern (<ref-ruling> E. 3.2 S. 26; <ref-ruling> E. 5.1.1 S. 623).
Die Vorinstanz erwog, die Beschwerdeführer hätten geltend gemacht, dass die Mietzinsforderungen der Beschwerdegegnerin durch Verrechnung mit Schadenersatzforderungen und einer Forderung aus Parteientschädigung untergegangen seien, indessen nicht dargetan, dass sie innert der Zahlungsfrist die Verrechnungseinrede erhoben hätten. Somit ergebe sich, dass die monatlichen Mietzinsforderungen von April 2016 bis September 2017 bis zum Ablauf der Zahlungsfrist gemäss <ref-law> nicht durch Verrechnung untergegangen seien. Nebst der Verrechnungseinrede machten die Beschwerdeführer weder geltend noch bewiesen sie, die geschuldeten Mietzinse bezahlt zu haben. Folglich liege ein Zahlungsrückstand vor, der zur ausserordentlichen Kündigung nach <ref-law> berechtige. Weiter sei die Kündigung vom hierzu bevollmächtigten Rechtsvertreter ausgesprochen worden. Der Sachverhalt sei somit liquid und die Rechtslage klar, womit es sich um einen klaren Fall im Sinne von <ref-law> handle.
Die Beschwerdeführer wiederholen in der Beschwerde nur noch ihren Einwand aus dem kantonalen Verfahren, die Eigentumsverhältnisse an den Inhaberaktien der Beschwerdegegnerin "und somit auch über die Liegenschaft Strasse U._" seien "nicht geklärt". Vieles spreche dafür, "dass der Beschwerdeführer nach wie vor Eigentümer der Inhaberaktien" sei. Seien aber die Aktien "nach wie vor im Eigentum der Beschwerdeführer und auch nie zu Eigentum übertragen worden", seien "die jetzigen Verwaltungsräte mittels eines nichtigen Beschlusses der Generalversammlung eingesetzt worden", vorausgesetzt, dass überhaupt ordnungsgemäss eine Generalversammlung durchgeführt worden sei. Wer "tatsächlich Vermieterin" sei, gelte es "noch zu klären". Entgegen der Vorinstanz sei die Kündigung somit "höchstwahrscheinlich" von einer Person ausgegangen, die nie zur Vertretung der Beschwerdegegnerin befugt gewesen sei. Ohne "umfangreiche Klärung der Eigentümerstellung" könne aber auch nicht beurteilt werden, "ob der Beschwerdeführer überhaupt zur Bezahlung eines Mietzinses verpflichtet gewesen wäre".
Dabei handelt es sich nicht um substanziierte und schlüssige Behauptungen, die der Beurteilung als klarer Fall und somit der Beurteilung im summarischen Verfahren entgegenstehen. Somit ist es offensichtlich nicht bundesrechtswidrig, sondern vielmehr richtig, wenn die Vorinstanz nicht weiter auf diese Vorbringen der Beschwerdeführer einging, sondern hinsichtlich der Vertretung der Beschwerdegegnerin auf den Handelsregistereintrag und die schriftliche Vollmacht abstellte.
4.
Die Beschwerde ist offensichtlich unbegründet und im Verfahren nach <ref-law> abzuweisen. Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
Dem Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren kann nicht entsprochen werden, da die Beschwerde aussichtslos ist (siehe <ref-law>). Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten in solidarischer Haftbarkeit den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin, die sich nur zum Gesuch um aufschiebende Wirkung zu äussern hatte, ist für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zuzusprechen (Art. 68 Abs. 2 und 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
4.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 500.-- zu entschädigen, in solidarischer Haftbarkeit.
5.
Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Zivilrecht, schriftlich mitgeteilt.
Lausanne, 25. Juni 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz