Erwägungen:
1.
A._ (Mieter, Beschwerdeführer) und die B._ AG (Vermieterin, Beschwerdegegnerin) schlossen am 28. August 2018 eine Vereinbarung betreffend die Liegenschaft C._. Sie hielten fest, dass das bisherige Mietverhältnis per 31. Oktober 2018 ende (Ziff. 1), und verpflichteten sich, im August 2018 Vertragsverhandlungen hinsichtlich des Abschlusses eines neuen Mietvertrags oder der käuflichen Übernahme der Liegenschaft durch A._ zu führen (Ziff. 2). Ferner sicherte A._ unter anderem zu, das Mietobjekt bis spätestens am 31. Oktober 2018, 12 Uhr, in geräumtem und gereinigtem Zustand zu übergeben, sollte bis am 5. September 2018 "kein neuer (schriftlicher) Mietvertrag oder kein Kaufvertrag zwischen den Parteien unterzeichnet worden sein".
Am 2. November 2018 stellte die B._ AG beim Bezirksgericht Aarau ein Ausweisungsbegehren gegen A._. Mit Entscheid vom 16. Januar 2019 hiess die Präsidentin des Bezirksgerichts dieses im Verfahren nach <ref-law> (Rechtsschutz in klaren Fällen) gut. Die dagegen gerichtete Berufung von A._ wies das Obergericht des Kantons Aargau mit Entscheid vom 26. April 2019 ab.
A._ hat diesen Entscheid am 31. Mai 2019 mit Beschwerde beim Bundesgericht angefochten. Es wurden keine Vernehmlassungen eingeholt.
2.
Der angefochtene Entscheid des Obergerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>.
In vermögensrechtlichen Angelegenheiten ist die Beschwerde nur zulässig, wenn der Streitwert in mietrechtlichen Fällen mindestens Fr. 15'000.-- beträgt (<ref-law>). Die Vorinstanz setzte sich hinsichtlich der Bemessung der Gerichtskosten mit den in <ref-ruling> E. 1.2 dargestellten Grundsätzen zur Streitwertberechnung in Ausweisungsklagen bei Rechtsschutz in klaren Fällen auseinander. Sie prüfte, welche Berechnungsvariante in der vorliegenden Konstellation anzuwenden sei, in der - anders, als in <ref-ruling> E. 1.2.2 - nicht eine Kündigung, sondern der Abschluss eines neuen Mietvertrags vorfrageweise zur Beurteilung stehe. Darauf ist nicht einzugehen, da der Streitwert die Grenze von Fr. 15'000.-- jedenfalls erreicht.
3.
3.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
4.
Der Beschwerdeführer moniert, es liege kein klarer Fall im Sinne von <ref-law> vor, weshalb das Ausweisungsbegehren im summarischen Verfahren nicht hätte gutgeheissen werden dürfen.
4.1. Gemäss <ref-law> gewährt das Gericht Rechtsschutz im summarischen Verfahren, wenn: a. der Sachverhalt unbestritten oder sofort beweisbar ist; und b. die Rechtslage klar ist. Der Rechtsschutz in klaren Fällen erlaubt es der klagenden Partei, bei eindeutiger Sach- und Rechtslage rasch, das heisst ohne einlässlichen Prozess im ordentlichen Verfahren, zu einem rechtskräftigen und vollstreckbaren Entscheid zu kommen. Bei Gewährung des Rechtsschutzes ergeht mithin ein definitives, der materiellen Rechtskraft fähiges Urteil, das einer neuen Beurteilung der Sache wegen der Rechtskraftwirkung entgegensteht (<ref-ruling> E. 5.1.1 S. 622 f. mit weiteren Hinweisen). Ein klarer Fall ist dann zu verneinen, wenn die beklagte Partei substanziiert und schlüssig Einwendungen vorträgt, die in tatsächlicher Hinsicht nicht sofort widerlegt werden können und die geeignet sind, die bereits gebildete richterliche Überzeugung zu erschüttern (<ref-ruling> E. 3.1 S. 464; <ref-ruling> E. 3.2 S. 26; <ref-ruling> E. 5.1.1 S. 623).
4.2. Die Vorinstanz erwog, die Parteien seien sich am 28. August 2018 zwar im Grundsatz über die Modalitäten eines für die Zeit ab 1. November 2018 gültigen Mietvertrags einig gewesen. Sie hätten sich aber Verhandlungen vorbehalten, sodass noch nicht von einem Vertragsschluss ausgegangen werden könne. Der Beschwerdeführer vertrete die Auffassung, die Beschwerdegegnerin habe ihm den Vertrag am 3. September 2018 per E-Mail zugeschickt, worin eine Offerte zu sehen sei. Selbst wenn dies - so die Vorinstanz - zutreffe, sei dieses Angebot jedenfalls nicht (rechtzeitig) angenommen worden. Der Rechtsvertreter des Beschwerdeführers habe mit E-Mail vom 4. September 2018 nämlich einzig ausgeführt, er werde den Vertrag zur Unterzeichnung weiterleiten. Hinzu komme, dass sowohl in der Vereinbarung vom 28. August 2018 als auch im am 3. September 2018 zugestellten Vertragsentwurf ausdrücklich die Schriftform vorbehalten worden sei. Schliesslich hätten die Parteien in der Vereinbarung vom 28. August 2018 explizit einen Stichtag - den 5. September 2018 - festgesetzt, bis zu dem der Mietvertrag abgeschlossen werden müsse, andernfalls die Liegenschaft zu räumen sei. Die ausdrückliche Festlegung eines Stichtags zum Vertragsabschluss sei ungewöhnlich und deute darauf hin, dass dieser Punkt für zumindest eine der Parteien essentiell war, was vorliegend die Beschwerdegegnerin für sich in Anspruch nehme. Allein der Umstand, dass die Beschwerdegegnerin den Mietvertrag dem Beschwerdeführer zwei Tage vor Ablauf der Frist (am 3. September 2018) zur Prüfung und Unterschrift zugeschickt habe, bedeute keine konkludente Verlängerung dieser Frist. Im Gegenteil sei es am Beschwerdeführer gelegen, sich über eine allfällige Fristverlängerung mit der Beschwerdegegnerin zu verständigen, andernfalls sich diese ohne weiteres habe darauf verlassen dürfen, dass die verbleibende Zeit bis am 5. September 2018 zur Prüfung und Unterzeichnung des Vertrags ausreiche. Entsprechend habe der Beschwerdeführer den Vertragsabschluss nicht dadurch herbeiführen können, dass er den Vertrag am 7. September 2018 unterzeichnet und am 13. September 2018 an die Beschwerdegegnerin retourniert habe. Sämtliche Vorbringen des Beschwerdeführers, mit denen dieser das Zustandekommen eines ab 1. November 2018 gültigen Mietvertrags behaupte, erwiesen sich demnach als offensichtlich haltlos. Nachdem das bisherige Mietverhältnis per 31. Oktober 2018 aufgelöst worden sei, halte sich der Beschwerdeführer ohne Rechtstitel im Mietobjekt auf und sei deshalb auszuweisen.
4.3. Der Beschwerdeführer trägt vor, die Vertragsverhandlungen am 28. August 2018 hätten mit einem "vollständigen mündlichen Mietvertrag" geendet. Die Parteien hätten "seit Jahren" zusammengearbeitet und "stets vieles mündlich" vereinbart. Dies ergebe sich "aus den Akten der Verfahren vor Bezirksgericht Aarau SZ.2018.29 sowie SZ.2018.134". Der Schriftlichkeitsvorbehalt sei in den entsprechenden Vereinbarungen typografisch explizit in Klammern gesetzt worden. Ohnehin stelle die "ausdrücklich[e] Zusicherung der Unterzeichnung" im E-Mail des Rechtsvertreters des Beschwerdeführers vom 4. September 2018 "die Willenserklärung zum Vertragsschluss bzw. die Annahme" dar. Schliesslich sei für beide Parteien klar gewesen, dass es sich bei der auf den 5. September 2018 gesetzten Frist um eine "Guideline" und nicht um eine "sakrosankte Frist" handle. Dies zeige die kurz zuvor erfolgte Zustellung des Vertrags am 3. September 2018, womit die Beschwerdegegnerin "konkludent ihr[en] Willen zum Ausdruck" gebracht habe, den Abschluss des neuen Mietvertrags nicht von der "strikten Einhaltung" der Frist abhängig zu machen, zumal einer Vertragspartei nach der allgemeinen Lebenserfahrung "eine übliche Prüfungs- und Übermittlungszeit von 5-7 Tagen gewährt" werde. Überdies - so schliesst der Beschwerdeführer - betreffe "die hier im Streit liegende Kernfrage" das Zustandekommen eines Vertrags. Sie berge daher "komplexe Auslegungsfragen" und sei "notwendigerweise mit einer Ermessensausübung verbunden".
4.4. Soweit der Beschwerdeführer einen mündlichen Vertragsabschluss in Ergänzung des vorinstanzlich festgestellten Sachverhalts mit einer undifferenzierten Verweisung auf die "Akten der Verfahren vor Bezirksgericht Aarau" begründen will, ist er von vornherein nicht zu hören (siehe Erwägung 3.2). Gleiches gilt, soweit er die vorinstanzliche Feststellung angreift, die Einhaltung der auf den 5. September 2018 gesetzten Frist sei für die Beschwerdegegnerin wesentlich gewesen. Nicht nachvollziehbar ist weiter seine einleitende Bemerkung, die Vorinstanz selbst gehe nicht von einem "klaren Sachverhalt" aus, wenn sie im Konjunktiv festhalte, "ausweislich der Akten dürfte zutreffend sein, dass...". Der Beschwerdeführer übersieht, dass die Vorinstanz in diesem Satz seine Behauptung, die Parteien hätten sich am 28. August 2018 im Grundsatz über die Modalitäten eines neuen Mietvertrags geeinigt, als zutreffend unterstellt, im Folgenden indes einlässlich (im Indikativ) das Zustandekommen eines Mietvertrags für die Zeit ab 1. November 2018 widerlegt.
Im Übrigen wiederholt der Beschwerdeführer im Wesentlichen die Standpunkte, die er im kantonalen Verfahren eingenommen hat, ohne im Einzelnen aufzuzeigen, inwiefern die Vorinstanz Bundesrecht verletzt haben soll, sodass fraglich erscheint, ob darauf einzutreten ist (siehe Erwägung 3.1). Jedenfalls handelt es sich bei den Vorbringen des Beschwerdeführers nicht um substanziierte und schlüssige Behauptungen, die der Beurteilung als klarer Fall in tatsächlicher Hinsicht entgegenstehen. Insbesondere ergibt sich aus seiner Darstellung nicht, weshalb er sich unter den gegebenen Umständen nicht an die vereinbarte, für die Beschwerdegegnerin wesentliche Frist zum Vertragsabschluss hielt, wenn er tatsächlich den neuen Mietvertrag abschliessen und so der Räumung entgehen wollte. Die Einhaltung der Frist war entscheidend, was feststeht und entgegen dem Beschwerdeführer keiner weiteren Parteibefragung bedarf. Auch der mit Hinweis auf "Auslegungsfragen" pauschal in den Raum gestellte Vorwurf, die Vorinstanz sei zu Unrecht von einer klaren Rechtslage ausgegangen, ist nicht stichhaltig.
Somit ist es offensichtlich nicht bundesrechtswidrig, wenn die Vorinstanz das Vorliegen eines ab 1. November 2018 gültigen Mietvertrags verneint und die im summarischen Verfahren angeordnete Ausweisung geschützt hat.
5.
Die Beschwerde ist offensichtlich unbegründet und im Verfahren nach <ref-law> abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten gemäss <ref-law> dem Beschwerdeführer aufzuerlegen. Dem geringen Aufwand des Gerichts wird durch eine reduzierte Gerichtsgebühr Rechnung getragen. Der Beschwerdegegnerin ist kein Aufwand entstanden, für den sie nach <ref-law> zu entschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 10. Juli 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Stähle