Sachverhalt: A. Die A._ AG (Beschwerdeführerin) vermietete der B._ AG (Beschwerdegegnerin) mit Vertrag vom 3. November/ 5. Dezember 2017 Laden-, Gewerbe- und Lagerräumlichkeiten im Erdgeschoss sowie im 1. und 2. Untergeschoss der Liegenschaft U._ in V._. Am 25. Juni 2018 vereinbarten die Parteien einen Nachtrag Nr. 1. Infolge Zahlungsverzugs der B._ AG mahnte die Immobilien-Treuhandfirma C._ AG diese mittels Schreiben vom 14. August 2018 und setzte ihr eine 30-tägige Zahlungsfrist zur Begleichung des ausstehenden Mietbetreffnisses an. Am 26. September 2018 wurde der B._ AG mit amtlichem Formular die Kündigung per 31. Oktober 2018 ausgesprochen. Mit Schreiben vom 19. Oktober 2018 wurde ihr sodann der Abnahmetermin (1. November 2018, 15:00 Uhr) bekanntgegeben. Die B._ AG verliess das Mietobjekt nicht. B. Am 8. November 2018 verlangte die A._ AG vor dem Handelsgericht des Kantons Aargau im Verfahren um Rechtsschutz in klaren Fällen, die B._ AG sei unter Androhung der Zwangsvollstreckung aus dem Mietobjekt auszuweisen. Die B._ AG stellte den Antrag, die Ausweisung sei mangels rechtsgültiger Kündigung abzuweisen. Mit Entscheid vom 17. Dezember 2018 trat das Handelsgericht auf das Gesuch nicht ein. C. Die A._ AG verlangt mit Beschwerde in Zivilsachen, der Entscheid des Handelsgerichts sei aufzuheben und das Ausweisungsbegehren sei gutzuheissen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die B._ AG verlangt die Abweisung der Beschwerde. Die Vorinstanz hat auf Vernehmlassung verzichtet.