Sachverhalt:
A.
Am 3. Januar 2015 klagte die A._ AG (Beschwerdeführerin) beim Bezirksgericht Laufenburg gegen die B._ SA (Beschwerdegegnerin) auf Zahlung von Fr. 4'893.20 nebst Zins. Die B._ SA bestritt die Zuständigkeit des Bezirksgerichts und schloss auf Nichteintreten. Der Präsident des Bezirksgerichts hiess die Klage am 1. Juni 2015 gut.
Hiergegen gelangte die B._ SA an das Obergericht des Kantons Aargau, welches ihre Beschwerde mit Entscheid vom 8. Oktober 2015 guthiess, den angefochtenen erstinstanzlichen Entscheid aufhob und auf die Klage mangels örtlicher Zuständigkeit nicht eintrat.
B.
Die A._ AG verlangt mit subsidiärer Verfassungsbeschwerde, der Entscheid des Obergerichts sei aufzuheben, und auf ihre Klage sei einzutreten. Die Angelegenheit sei zur Fällung einer Entscheidung in der Sache selbst, eventualiter "zur neuen Entscheidung über die örtliche Zuständigkeit", an die Vorinstanz zurückzuweisen.
Die Vorinstanz verzichtete auf eine Vernehmlassung. Die B._ SA begehrt, auf die Beschwerde nicht einzutreten. Soweit auf sie eingetreten werde, sei die Beschwerde "zurückzuweisen", unter Bestätigung des angefochtenen Entscheids.

Erwägungen:
1.
Der angefochtene Entscheid des Obergerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Die Beschwerde in Zivilsachen ist aufgrund des Streitwertes von weniger als Fr. 30'000.-- (<ref-law>) nicht zulässig, weshalb die von der Beschwerdeführerin erhobene subsidiäre Verfassungsbeschwerde offen steht (siehe <ref-law>).
Ob der Antrag der Beschwerdeführerin auf Aufhebung und Rückweisung zur Beurteilung in der Sache den Anforderungen von Art. 42 Abs. 1 genügt, nachdem noch die Erstinstanz die Angelegenheit für spruchreif befunden und die Klage gutgeheissen hat, erscheint mit Blick auf die reformatorische Befugnis des Bundesgerichts zweifelhaft (vgl. Art. 117 in Verbindung mit <ref-law>; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 mit Hinweisen). Die Frage kann jedoch offen bleiben, da sich die Beschwerde jedenfalls ohne Weiteres als unbegründet erweist:
2.
Mit der Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Dabei ist das strenge Rügeprinzip gemäss <ref-law> zu beachten (<ref-law>). Macht die beschwerdeführende Partei eine Verletzung von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich; sie hat vielmehr im Einzelnen zu zeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 3 S. 352).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann davon nur abweichen, wenn die Sachverhaltsfeststellung unter Verletzung eines verfassungsmässigen Rechts zustande gekommen ist (Art. 118 Abs. 2 und <ref-law>), was die beschwerdeführende Partei mit einer genügenden Begründung geltend zu machen hat (<ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 445 mit Hinweis).
3.
Das Obergericht erwog, die Beschwerdeführerin habe den Beweis für die von ihr behauptete Gerichtsstandsvereinbarung (zu Gunsten der Gerichte am Sitz des Lieferanten) nicht erbracht. In der Klage habe sie sich zur Zuständigkeit des angerufenen Bezirksgerichts nicht geäussert. Nachdem die Beschwerdegegnerin die Zuständigkeit in der Klageantwort bestritten habe, habe sie in der Replik einzig auf ihre allgemeinen Liefer- und Zahlungsbedingungen verwiesen und behauptet, diese seien Auftragsbestandteil, ohne für diese Behauptung einen Beweis zu offerieren. Da die Beschwerdegegnerin in der Duplik die Behauptung der Beschwerdeführerin bestritten habe, hätte das Bezirksgericht die Klage ohne Weiteres durch Nichteintreten erledigen können und müssen.
4.
Die Beschwerdeführerin rügt eine Verletzung von <ref-law>. Indessen gelingt es ihr nicht, den angefochtenen Entscheid als willkürlich auszuweisen:
4.1. Sie begründet die Kritik im Wesentlichen damit, die Vorinstanz habe bei der Anwendung von <ref-law> "auf die falschen Sachverhaltsmomente abgestellt" und insbesondere "die massgebliche Offerte vom 25. Juli 2011 schlicht ignoriert". Die Beschwerdegegnerin selbst habe in der Klageantwort vom 23. Februar 2015 diese Offerte "als Vertragsgrundlage der Lieferung bezeichnet und das Dok. D selbst eingereicht". Darin werde ausdrücklich auf die AGB der Beschwerdeführerin verwiesen, in deren Ziffer 12 sich eine Gerichtsstandsvereinbarung befinde.
Dass sie bereits im kantonalen Verfahren den rechtsgültigen Abschluss einer Gerichtsstandsvereinbarung durch Verwendung der AGB mittels Verweis in der Offerte prozesskonform behauptet hatte und damit vom Obergericht nicht gehört wurde, zeigt die Beschwerdeführerin aber nicht auf und ist auch nicht erkennbar. Im Gegenteil:
Die Vorinstanz hielt in dieser Hinsicht fest, die Beschwerdeführerin habe eine ausdrückliche Erklärung der Parteien, die in klarer und unzweideutiger Weise den Wunsch zum Ausdruck bringe, einen anderen als den gesetzlichen Gerichtsstand vorzusehen, weder behauptet noch bewiesen. Sie habe aber auch weder behauptet noch bewiesen, vor oder beim Abschluss des Vertrags auf ihre AGB hingewiesen und die AGB der Beschwerdegegnerin zugänglich gemacht zu haben, "was Voraussetzung gewesen wäre, dass diese zum Vertragsinhalt hätten werden können".
In der Beschwerde wird diese Feststellung nicht widerlegt. Vielmehr geht die Beschwerdeführerin offenbar selber davon aus, dass sie sich im kantonalen Verfahren nicht zum Einbezug der Gerichtsstandsklausel in den Vertrag geäussert hat. Jedenfalls verweist sie bloss pauschal auf Urkunden ("Offerte in Dok. D der Beschwerdegegnerin") sowie auf "die zentralen Ausführungen der Beschwerdegegnerin zum Vertragsabschluss", die im Zusammenhang mit der Gerichtsstandsvereinbarung vom Obergericht nicht erwähnt worden seien. Inwiefern damit der formgültige Abschluss einer Gerichtsstandsvereinbarung gemäss <ref-law> behauptet worden sein soll, ist nicht ersichtlich. Die Vorinstanz ist zutreffend davon ausgegangen, dass es mangels dahingehender Behauptungen nicht am Gericht lag, in den Urkunden nach entsprechenden Umständen zu forschen.
4.2. Ferner geht die Beschwerde am angefochtenen Entscheid vorbei, wenn darin wiederholt ausgeführt wird, der Lieferschein vom 1. September 2011 habe keine eigenständige Bedeutung, sondern bestätige bloss den Vertragsinhalt. Denn das Obergericht nahm gerade selber mit eingehender Begründung an, die Erstinstanz habe zu Unrecht auf diesen Lieferschein abgestellt.
4.3. Die Beschwerdeführerin vermag somit keine Verletzung von <ref-law> aufzuzeigen, geschweige denn Willkür, die im Rahmen der subsidiären Verfassungsbeschwerde einzig überprüft werden kann.
5.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 16. Februar 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz