Sachverhalt:
A.
Die A._ AG (Beschwerdeführerin) vermietete der B._ AG (Beschwerdegegnerin) mit Vertrag vom 3. November/ 5. Dezember 2017 Laden-, Gewerbe- und Lagerräumlichkeiten im Erdgeschoss sowie im 1. und 2. Untergeschoss der Liegenschaft U._ in V._. Am 25. Juni 2018 vereinbarten die Parteien einen Nachtrag Nr. 1.
Infolge Zahlungsverzugs der B._ AG mahnte die Immobilien-Treuhandfirma C._ AG diese mittels Schreiben vom 14. August 2018 und setzte ihr eine 30-tägige Zahlungsfrist zur Begleichung des ausstehenden Mietbetreffnisses an.
Am 26. September 2018 wurde der B._ AG mit amtlichem Formular die Kündigung per 31. Oktober 2018 ausgesprochen. Mit Schreiben vom 19. Oktober 2018 wurde ihr sodann der Abnahmetermin (1. November 2018, 15:00 Uhr) bekanntgegeben. Die B._ AG verliess das Mietobjekt nicht.
B.
Am 8. November 2018 verlangte die A._ AG vor dem Handelsgericht des Kantons Aargau im Verfahren um Rechtsschutz in klaren Fällen, die B._ AG sei unter Androhung der Zwangsvollstreckung aus dem Mietobjekt auszuweisen. Die B._ AG stellte den Antrag, die Ausweisung sei mangels rechtsgültiger Kündigung abzuweisen.
Mit Entscheid vom 17. Dezember 2018 trat das Handelsgericht auf das Gesuch nicht ein.
C.
Die A._ AG verlangt mit Beschwerde in Zivilsachen, der Entscheid des Handelsgerichts sei aufzuheben und das Ausweisungsbegehren sei gutzuheissen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die B._ AG verlangt die Abweisung der Beschwerde. Die Vorinstanz hat auf Vernehmlassung verzichtet.

Erwägungen:
1.
Angefochten ist ein Endentscheid (<ref-law>) einer einzigen kantonalen Instanz im Sinne von <ref-law>. Dagegen steht die Beschwerde in Zivilsachen offen, gemäss <ref-law> unabhängig vom Streitwert (<ref-ruling> E. 1.2; <ref-ruling> E. 1.1, 2 E. 1.2.2). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Vielmehr kann es eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 2.4 mit weiteren Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
3.
Gemäss <ref-law> gewährt das Gericht Rechtsschutz im summarischen Verfahren, wenn: a. der Sachverhalt unbestritten oder sofort beweisbar ist; und b. die Rechtslage klar ist. Der Rechtsschutz in klaren Fällen erlaubt es der klagenden Partei, bei eindeutiger Sach- und Rechtslage rasch, das heisst ohne einlässlichen Prozess im ordentlichen Verfahren, zu einem rechtskräftigen und vollstreckbaren Entscheid zu kommen. Bei Gewährung des Rechtsschutzes ergeht mithin ein definitives, der materiellen Rechtskraft fähiges Urteil, das einer neuen Beurteilung der Sache wegen der Rechtskraftwirkung entgegensteht (<ref-ruling> E. 5.1.1 S. 622 f. mit weiteren Hinweisen). Ist im mietrechtlichen Ausweisungsverfahren gemäss <ref-law> die Gültigkeit der Kündigung des Mietvertrages als Vorfrage zu beurteilen, beziehen sich nach der Rechtsprechung die Voraussetzungen von <ref-law> auch darauf. Sind sie nicht erfüllt, kann der Rechtsschutz im summarischen Verfahren nicht gewährt werden und hat das Gericht nach <ref-law> auf das Ausweisungsbegehren nicht einzutreten (<ref-ruling> E. 3.2 S. 265).
Ein Sachverhalt ist dann sofort beweisbar, wenn er ohne zeitliche Verzögerung und ohne besonderen Aufwand nachgewiesen werden kann. Der Beweis ist - entsprechend <ref-law> - in der Regel durch Urkunden zu erbringen. Eine klare Rechtslage liegt vor, wenn sich die Rechtsfolge bei der Anwendung des Gesetzes unter Berücksichtigung der Lehre und Rechtsprechung ohne Weiteres ergibt und damit die Rechtsanwendung zu einem eindeutigen Ergebnis führt (<ref-ruling> E. 3.2 S. 26 mit weiteren Hinweisen).
Die Rechtsprechung verneint in der Regel das Vorliegen einer klaren Rechtslage, wenn die Anwendung einer Norm einen Ermessens- oder Billigkeitsentscheid des Gerichts mit wertender Berücksichtigung der gesamten Umstände erfordert, wie dies beispielsweise bei der Beurteilung von Treu und Glauben zutrifft (<ref-ruling> E. 3.2 S. 26; <ref-ruling> E. 2.1.2 mit weiteren Hinweisen). Das bedeutet indessen nicht, dass ein klarer Fall in rechtlicher Hinsicht stets verneint werden muss, sobald eine missbräuchliche Rechtsausübung geltend gemacht wird. Denn das Rechtsmissbrauchsverbot setzt keine wertende Berücksichtigung aller Umstände im Sinne der zitierten Rechtsprechung voraus, wenn das Verhalten der betroffenen Partei offenkundig einen Missbrauch darstellt, was namentlich der Fall ist, wenn dieses in eine der in Rechtsprechung und Lehre anerkannten Fallgruppen einzuordnen ist (Urteile 4A_185/2017 vom 15. Juni 2017 E. 5.4; 4A_2/2016 vom 18. Februar 2016 E. 2.1; 4A_350/2015 vom 25. August 2015 E. 4.2; 4A_329/2013 vom 10. Dezember 2013 E. 6.1).
4.
4.1. Die Beschwerdegegnerin brachte im Ausweisungsverfahren vor dem Handelsgericht mit Gesuchsantwort vom 5. Dezember 2018 unter anderem vor, die Kündigung vom 26. September 2018 sei nichtig, da sie von zwei Personen unterzeichnet worden sei, die gemäss Handelsregisterauszug beide nicht für die C._ AG zeichnungsberechtigt seien und für die auch keine Vollmacht vorliege.
Die Beschwerdeführerin erklärte in ihrer Stellungnahme vom 13. Dezember 2018, der Einwand der Beschwerdegegnerin sei unhaltbar und rechtsmissbräuchlich. Die C._ AG sei von ihr mit der Bewirtschaftung der Liegenschaft mandatiert worden. Auf dieses Vertretungsverhältnis sei bereits im Mietvertrag ausdrücklich hingewiesen worden. Folglich sei die C._ AG auch zur Abmahnung mit Kündigungsandrohung vom 14. August 2018 und zur Erklärung der Kündigung vom 26. September ermächtigt gewesen. Die Kündigung vom 26. September 2018 sei von D._ und E._ unterzeichnet worden. Es treffe zwar zu, dass diese beiden nicht als für die C._ zeichnungsberechtigte Personen im Handelsregister eingetragen seien. Dies ändere aber nichts daran, dass sie im Rahmen der Bewirtschaftung der streitbetroffenen Liegenschaft ermächtigt gewesen seien, sie (die Beschwerdeführerin) zu vertreten. Eine rechtsgültige Vertretung sei nicht nur auf Basis einer Zeichnungsberechtigung gemäss Handelsregistereintrag möglich, sondern auch durch eine gewillkürte Vollmacht. Der Beschwerdegegnerin sei aufgrund des Mietvertrages sowie des Nachtrags Nr. 1 bestens bekannt gewesen, dass D._ und E._ (wie auch F._) im Zusammenhang mit dem vorliegenden Mietverhältnis zwischen den Parteien die notwendigen Erklärungen hätten abgeben dürfen.
4.2. Das Handelsgericht liess offen, ob es die Ausführungen der Beschwerdeführerin in deren Stellungnahme vom 13. Dezember 2018 prozessual überhaupt noch berücksichtigen dürfe, da "der Sachverhalt betreffend die Vertretung der [Beschwerdeführerin] für die Kündigung vom 26. September 2018 [...] nicht liquide" sei. Die Behauptung der Beschwerdeführerin, D._, E._ sowie F._ seien ermächtigt gewesen, im Zusammenhang mit dem vorliegenden Mietvertrag zwischen den Parteien die notwendigen Erklärungen abgeben zu dürfen, lasse sich durch die eingereichten Urkunden nicht ohne Weiteres beweisen. Aus diesen gehe lediglich hervor, dass D._, E._ und F._ für die Beschwerdeführerin Willenserklärungen abgegeben hätten. Ob dafür jedoch eine rechtsgültige Vollmacht in Form einer Handlungsvollmacht gemäss <ref-law> oder einer bürgerlichen Vollmacht gemäss Art. 32 ff. vorhanden gewesen sei, sei nicht ersichtlich. "Ein Gutglaubensschutz Dritter (vgl. Art. 33 Abs. 3 oder Art. 34 Abs. 3 OR) " sei ebenfalls nicht sofort beweisbar. Zudem berufe sich die Beschwerdegegnerin "als Adressatin des Gutglaubensschutzes" gerade nicht darauf.
4.3. Ob es mit Art. 458-465 und Art. 32-40 OR zu vereinbaren ist, das Vorliegen eines klaren Falls bereits aus dem Grund zu verneinen, dass zu Gunsten der unterschreibenden Personen keine Handlungsvollmacht im Handelsregister eingetragen ist und keine schriftliche Vollmachtsurkunde vorliegt, erscheint fraglich. Jedenfalls hat die Vorinstanz aber Bundesrecht verletzt, wenn sie im Anschluss an die zitierte Erwägung den Rechtsmissbrauchsvorwurf der Beschwerdeführerin mit der pauschalen Bemerkung ausschloss, es sei "zumindest für das vorliegende Verfahren um Rechtsschutz in klaren Fällen nicht ersichtlich", "[i]nwiefern der Einwand der [Beschwerdegegnerin], die Kündigung vom 26. September 2018 [...] sei infolge fehlender Bevollmächtigung nichtig, unhaltbar und rechtsmissbräuchlich sein soll":
Nach <ref-law> hat jedermann in der Ausübung seiner Rechte und in der Erfüllung seiner Pflichten nach Treu und Glauben zu handeln (Abs. 1). Der offenbare Missbrauch eines Rechtes findet keinen Rechtsschutz (Abs. 2). Rechtsmissbrauch liegt nach der Rechtsprechung insbesondere vor, wenn ein Rechtsinstitut zweckwidrig zur Verwirklichung von Interessen verwendet wird, die dieses Rechtsinstitut nicht schützen will (<ref-ruling> E. 3.1 S. 281; <ref-ruling> E. 3.2.4 S. 589; <ref-ruling> E. 2.2 S. 403; <ref-ruling> E. 4.3 S. 629; <ref-ruling> E. 3.3.1 mit weiteren Hinweisen).
In diesem Sinne hat es das Bundesgericht wiederholt als rechtsmissbräuchlich qualifiziert, wenn sich der Mieter einer Kündigung wegen Zahlungsrückstands im Sinne von <ref-law> mit der Begründung entgegensetzte, die Zahlungsfrist gemäss Abs. 1 dieser Bestimmung sei nicht abgewartet worden, obwohl er ohnehin keine Absicht hatte, den Ausstand zu begleichen. Zur Begründung erwog es, Zweck der Ansetzung einer Zahlungsfrist mit Androhung der Kündigung sei es namentlich, dem Mieter genügend Zeit einzuräumen, um die Mittel zur Tilgung der Ausstände zu beschaffen und ihm damit eine letzte Gelegenheit einzuräumen, den schwerwiegenden Folgen einer ausserordentlichen Vertragsauflösung zu entgehen, indem ihm klar mitgeteilt wird, welche Beträge innert welcher Frist zu diesem Zweck bezahlt werden müssen (siehe Urteil 4A_350/2015 vom 25. August 2015 E. 4.1.2 mit Hinweisen). Im eben zitierten Entscheid befand das Bundesgericht, die Vorinstanz habe zu Recht Rechtsmissbrauch der Mieter durch unzulässige Berufung auf einen Formmangel (fehlende eigenhändige Unterschrift) angenommen und das Ausweisungsbegehren der Vermieterin im Verfahren um Rechtsschutz in klaren Fällen nach <ref-law> gutgeheissen. Ebenso hat das Bundesgericht in seiner publizierten Rechtsprechung die Berufung des Mieters auf die fehlende eigenhändige Unterschrift betreffend eine Mietzinserhöhung als rechtsmissbräuchlich qualifiziert, da der Mieter nicht geltend gemacht hatte, es habe Unklarheit über den Absender beziehungsweise die Zurechenbarkeit der Mietzinserhöhung geherrscht, sondern vielmehr der strittigen Mietzinserhöhung nachgelebt hatte (BGE <ref-ruling> E. 2.4).
Das Verhalten der Beschwerdegegnerin ist ebenfalls als rechtsmissbräuchlich zu beurteilen: Die Beschwerdegegnerin führte in ihrer Gesuchsantwort vom 5. Dezember 2018 aus, die Kündigung sei nichtig, weil sie "offensichtlich von Frau D._ und Frau F._ unterzeichnet" worden sei, die jedoch gemäss dem beiliegenden Handelsregisterauszug für die C._ AG nicht zeichnungsberechtigt seien. Auch liege "keine Vollmacht der [Beschwerdeführerin] für diese Kündigung vor". Dass sie Zweifel an der Vertretungsmacht dieser beiden Personen gehabt hätte, behauptete sie jedoch gerade nicht, geschweige denn, dass sie nach Mitteilung des Abnahmetermins diesbezüglich bei der Beschwerdeführerin nachgefragt hätte. Vielmehr stellte sie in Aussicht, dass die Zahlungen ab Januar 2019 wieder termingerecht erfolgen würden und sie das Mietverhältnis fortsetzen möchte, weshalb sie dem Rechtsvertreter der Beschwerdeführerin vorgeschlagen habe, "das Ausweisungsverfahren bis Ende 2018 zu sistieren, um die offenen Mieten zu bezahlen und die Fortsetzung des Mietverhältnisses zu regeln". Berücksichtigt man in Ergänzung des Sachverhalts (Erwägung 2.2), dass die beiden genannten Mitarbeiterinnen der C._ AG bereits den Mietvertrag vom 3. November/ 5. Dezember 2017 respektive den Nachtrag Nr. 1 vom 25. Juni 2018 im Namen der Beschwerdeführerin unterzeichnet hatten, wird deutlich, dass die Berufung auf die fehlende Vertretungsmacht der genannten Personen zweckwidrig ist und damit einen offenbaren Missbrauch des Rechts darstellt, der gemäss <ref-law> keinen Schutz verdient. Im Übrigen war es der Beschwerdeführerin nach <ref-law> ohne Weiteres gestattet, die für den Beleg des Rechtsmissbrauchs erforderlichen Sachverhaltselemente noch in ihrer Stellungnahme vom 13. Dezember 2018 zu behaupten.
Da der Sachverhalt in diesem Punkt unbestritten oder sofort beweisbar und die Rechtslage klar ist, erweist sich die Beschwerde als begründet.
5.
Die Beschwerde ist gutzuheissen, und der angefochtene Entscheid ist aufzuheben. Entgegen dem Hauptantrag der Beschwerdeführerin kann das Bundesgericht nicht in der Sache selbst entscheiden. Vielmehr ist diese gemäss <ref-law> an die Vorinstanz zurückzuweisen, damit dieses über die weiteren Einwendungen der Beschwerdegegnerin entscheiden kann.
Bei diesem Ausgang des Verfahrens wird die Beschwerdegegnerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Handelsgerichts des Kantons Aargau, 2. Kammer, vom 17. Dezember 2018, wird aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Aargau, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 15. April 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz