Erwägungen:
1.
A.A._ und B.A._ (Beschwerdeführer 1 und 2) mieteten mit Vertrag vom 25. Mai 2011 per 1. Juni 2011 von der C._ AG (Beschwerdegegnerin) die Liegenschaft an der Strasse U._ in V._. Der monatliche Mietzins wurde auf Fr 3'000.-- festgelegt.
Am 16. Oktober 2017 setzte die C._ AG A.A._ und B.A._ eine Zahlungsfrist von 30 Tagen unter Androhung der ausserordentlichen Kündigung des Mietverhältnisses gemäss Art. 257d OR. In der Folge kündigte die C._ AG das Mietverhältnis. Die Kündigungsschreiben und Formulare für Kündigung von Wohn- und Geschäftsräumen vom 27. November 2017 wurden A.A._ und B.A._ am 8. Dezember 2017 zugestellt. A.A._ und B.A._ fochten die Kündigung bei der kantonalen Schlichtungsstelle für Mietangelegenheiten an.
Am 9. November 2018 stellte die C._ AG beim Zivilkreisgericht Basel-Landschaft West ein Ausweisungsbegehren gegen A.A._ und B.A._. Mit Entscheid vom 20. Dezember 2018 hiess das Zivilkreisgericht dieses im Verfahren nach Art. 257 ZPO (Rechtsschutz in klaren Fällen) gut und wies das Begehren von A.A._ und B.A._ um Bewilligung der unentgeltlichen Rechtspflege ab. Die dagegen gerichtete Berufung von A.A._ und B.A._ wies das Kantonsgericht Basel-Landschaft mit Entscheid vom 26. Februar 2019 ab, und ebenso das Begehren um unentgeltliche Rechtspflege für das Berufungsverfahren.
A.A._ und B.A._ haben diesen Entscheid am 17. April 2019 mit Beschwerde beim Bundesgericht angefochten und um Erteilung der aufschiebenden Wirkung sowie um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren ersucht. Mit Formularverfügung vom 18. April 2019 wurde superprovisorisch die aufschiebende Wirkung angeordnet. Die C._ AG beantragt die Abweisung des Gesuchs um aufschiebende Wirkung. In der Sache wurden keine Vernehmlassungen eingeholt.
2.
Das angefochtene Urteil des Kantonsgerichts ist ein Endentscheid (Art. 90 BGG) einer Vorinstanz im Sinne von Art. 75 BGG. Weiter übersteigt der Streitwert die nach Art. 74 Abs. 1 lit. a BGG in mietrechtlichen Fällen geltende Grenze (vgl. BGE 144 III 346 E. 1.2).
3.
Die Beschwerdeführer monieren, es liege kein klarer Fall im Sine von Art. 257 ZPO vor, weshalb das Ausweisungsbegehren im summarischen Verfahren nicht hätte gutgeheissen werden dürfen.
Gemäss Art. 257 Abs. 1 ZPO gewährt das Gericht Rechtsschutz im summarischen Verfahren, wenn: a. der Sachverhalt unbestritten oder sofort beweisbar ist; und b. die Rechtslage klar ist. Der Rechtsschutz in klaren Fällen erlaubt es der klagenden Partei, bei eindeutiger Sach- und Rechtslage rasch, das heisst ohne einlässlichen Prozess im ordentlichen Verfahren, zu einem rechtskräftigen und vollstreckbaren Entscheid zu kommen. Bei Gewährung des Rechtsschutzes ergeht mithin ein definitives, der materiellen Rechtskraft fähiges Urteil, das einer neuen Beurteilung der Sache wegen der Rechtskraftwirkung entgegensteht (BGE 138 III 620 E. 5.1.1 S. 622 f. mit weiteren Hinweisen). Ist im mietrechtlichen Ausweisungsverfahren gemäss Art. 257 ZPO die Gültigkeit der Kündigung des Mietvertrages als Vorfrage zu beurteilen, beziehen sich nach der Rechtsprechung die Voraussetzungen von Art. 257 Abs. 1 ZPO auch darauf. Sind sie nicht erfüllt, kann der Rechtsschutz im summarischen Verfahren nicht gewährt werden und hat das Gericht nach Art. 257 Abs. 3 ZPO auf das Ausweisungsbegehren nicht einzutreten (BGE 141 III 262 E. 3.2 S. 265). Allgemein ist ein klarer Fall dann zu verneinen, wenn die beklagte Partei substanziiert und schlüssig Einwendungen vorträgt, die in tatsächlicher Hinsicht nicht sofort widerlegt werden können und die geeignet sind, die bereits gebildete richterliche Überzeugung zu erschüttern (BGE 141 III 23 E. 3.2 S. 26; 138 III 620 E. 5.1.1 S. 623).
Die Vorinstanz erwog, die Beschwerdeführer hätten geltend gemacht, dass die Mietzinsforderungen der Beschwerdegegnerin durch Verrechnung mit Schadenersatzforderungen und einer Forderung aus Parteientschädigung untergegangen seien, indessen nicht dargetan, dass sie innert der Zahlungsfrist die Verrechnungseinrede erhoben hätten. Somit ergebe sich, dass die monatlichen Mietzinsforderungen von April 2016 bis September 2017 bis zum Ablauf der Zahlungsfrist gemäss Art. 257d Abs. 1 OR nicht durch Verrechnung untergegangen seien. Nebst der Verrechnungseinrede machten die Beschwerdeführer weder geltend noch bewiesen sie, die geschuldeten Mietzinse bezahlt zu haben. Folglich liege ein Zahlungsrückstand vor, der zur ausserordentlichen Kündigung nach Art. 257d OR berechtige. Weiter sei die Kündigung vom hierzu bevollmächtigten Rechtsvertreter ausgesprochen worden. Der Sachverhalt sei somit liquid und die Rechtslage klar, womit es sich um einen klaren Fall im Sinne von Art. 257 ZPO handle.
Die Beschwerdeführer wiederholen in der Beschwerde nur noch ihren Einwand aus dem kantonalen Verfahren, die Eigentumsverhältnisse an den Inhaberaktien der Beschwerdegegnerin "und somit auch über die Liegenschaft Strasse U._" seien "nicht geklärt". Vieles spreche dafür, "dass der Beschwerdeführer nach wie vor Eigentümer der Inhaberaktien" sei. Seien aber die Aktien "nach wie vor im Eigentum der Beschwerdeführer und auch nie zu Eigentum übertragen worden", seien "die jetzigen Verwaltungsräte mittels eines nichtigen Beschlusses der Generalversammlung eingesetzt worden", vorausgesetzt, dass überhaupt ordnungsgemäss eine Generalversammlung durchgeführt worden sei. Wer "tatsächlich Vermieterin" sei, gelte es "noch zu klären". Entgegen der Vorinstanz sei die Kündigung somit "höchstwahrscheinlich" von einer Person ausgegangen, die nie zur Vertretung der Beschwerdegegnerin befugt gewesen sei. Ohne "umfangreiche Klärung der Eigentümerstellung" könne aber auch nicht beurteilt werden, "ob der Beschwerdeführer überhaupt zur Bezahlung eines Mietzinses verpflichtet gewesen wäre".
Dabei handelt es sich nicht um substanziierte und schlüssige Behauptungen, die der Beurteilung als klarer Fall und somit der Beurteilung im summarischen Verfahren entgegenstehen. Somit ist es offensichtlich nicht bundesrechtswidrig, sondern vielmehr richtig, wenn die Vorinstanz nicht weiter auf diese Vorbringen der Beschwerdeführer einging, sondern hinsichtlich der Vertretung der Beschwerdegegnerin auf den Handelsregistereintrag und die schriftliche Vollmacht abstellte.
4.
Die Beschwerde ist offensichtlich unbegründet und im Verfahren nach Art. 109 Abs. 2 lit. a BGG abzuweisen. Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
Dem Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren kann nicht entsprochen werden, da die Beschwerde aussichtslos ist (siehe Art. 64 Abs. 1 BGG). Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten in solidarischer Haftbarkeit den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin, die sich nur zum Gesuch um aufschiebende Wirkung zu äussern hatte, ist für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zuzusprechen (Art. 68 Abs. 2 und 4 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
4.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 500.-- zu entschädigen, in solidarischer Haftbarkeit.
5.
Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Zivilrecht, schriftlich mitgeteilt.
Lausanne, 25. Juni 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz