Sachverhalt:
A.
Die A._ AG (Klägerin, Beschwerdeführerin) stellte mit Eingabe vom 6. Mai 2020 beim Friedensrichteramt Kreis XIII des Kantons Aargau ein Schlichtungsgesuch. Sie beantragte, die B._ Sàrl (Beklagte, Beschwerdegegnerin) sei zur Zahlung von Fr. 1'266.75 nebst 5 % Zins seit dem 8. September 2019 und den Zahlungsbefehlskosten von Fr. 73.30 zu verpflichten. Sodann sei der in der Betreibung Nr. xxx erhobene Rechtsvorschlag aufzuheben.
Nach Leistung eines Kostenvorschusses in der Höhe von Fr. 200.-- lud der Friedensrichter die Parteien auf den 3. Juni 2020 zur Schlichtungsverhandlung vor.
Die Beklagte setzte den Friedensrichter mit E-Mail vom 2. Juni 2020 über eine Vergleichsofferte der Klägerin in Kenntnis, die sie akzeptiert habe. Die Klägerin übermittelte in der Folge dem Friedensrichter mit E-Mail vom 3. Juni 2020 den von beiden Parteien unterzeichneten Vergleich und bat ihn, den Vergleich gerichtlich zu genehmigen und das Verfahren - unter Vormerknahme des Vergleichs - als erledigt abzuschreiben.
Der Friedensrichter verfügte am 3. Juni 2020:
"1. Auf Grund der schriftlichen Vereinbarung vom 02.06.2020 wurde auf die
Durchführung der Friedensrichterverhandlung verzichtet.
2. Der Vergleich wird gerichtlich genehmigt und das Verfahren wird als
erledigt abgeschrieben.
3. Die Kosten werden der klagenden Partei auferlegt (Art. 207 Abs. 1 lit. b
ZPO)."
B.
Die Klägerin bat den Friedensrichter mit Eingabe vom 15. Juni 2020 darum, ihr den am 11. Mai 2020 geleisteten Kostenvorschuss zurückzuerstatten oder seine Verfügung dergestalt zu ändern, dass sie die Verfahrenskosten von der Beklagten zurückfordern könne.
Der Friedensrichter beurteilte dieses Begehren mit Schreiben vom 16. Juni 2020 unter Hinweis auf den durch das Verfahren verursachten Aufwand abschlägig.
Dagegen erhob die Klägerin mit Eingabe vom 22. Juni 2020 Beschwerde an das Obergericht des Kantons Aargau.
Das Obergericht erwog im Entscheid vom 26. August 2020, in dem von den Parteien am 2. Juni 2020 unterzeichneten Vergleich verpflichte sich die Beklagte zur Zahlung von Fr. 1'619.05 in monatlichen Raten von Fr. 324.-- und die Klägerin - nach Befriedigung der Forderung - im Gegenzug zum Rückzug der gegen die Beklagte eingeleiteten Betreibung. Es handle sich bei der Vereinbarung unstrittig um einen aussergerichtlichen Vergleich und nicht um eine vorbehaltlose Klageanerkennung der Beklagten. Entsprechend habe die Klägerin die Schlichtungsbehörde mit E-Mail vom 3. Juni 2020 auch um Genehmigung des Vergleichs gebeten mit dem ausdrücklich geäusserten Ziel, einen definitiven Rechtsöffnungstitel zu erhalten. Hinsichtlich der Kosten des Schlichtungsverfahrens sei im Vergleich nichts ausdrücklich vereinbart worden (allerdings liege die anerkannte Summe rund Fr. 400.-- über dem eingeklagten Betrag, was einen Einbezug der Kosten der Klägerin nahelege). Die Kostenbestimmung für das Schlichtungsverfahren (<ref-law>) enthalte für diesen Fall keine Regelung, weshalb die Kosten gemäss <ref-law> zu verlegen seien. Rückzug und Anerkennung könne nicht angenommen werden, da die Anerkennung nicht vorbehaltlos erfolgt sei, sondern unter der Bedingung des Rückzugs der Betreibung nach Bezahlung der vereinbarten Summe. Also würden sich die Kosten nach <ref-law> und damit nach Ermessen richten. Unmittelbar verursacht worden seien die Kosten des Schlichtungsverfahrens durch die Einleitung des Schlichtungsgesuches, weshalb es als sachgerecht erscheine, der Klägerin die Kosten aufzuerlegen. Somit habe die Kostenverteilung des Friedensrichters Bestand und die Beschwerde sei abzuweisen.
C.
Gegen den Entscheid des Obergerichts erhob die Beschwerdeführerin Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde an das Bundesgericht. Sie beantragte, der Entscheid des Obergerichts sei vollumfänglich aufzuheben und die Kosten des Schlichtungsverfahrens seien vollumfänglich der Beschwerdegegnerin aufzuerlegen. Eventualiter sei der Entscheid des Obergerichts aufzuheben und die Kosten des Schlichtungsverfahrens seien der Beschwerdegegnerin zur Hälfte aufzuerlegen. Subeventualiter sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen.
Auf die Einholung von Vernehmlassungen wurde verzichtet.

Erwägungen:
1.
1.1. Im vorliegenden Fall ist die Verlegung der Kosten des Schlichtungsverfahrens umstritten. Es handelt sich damit um eine vermögensrechtliche Angelegenheit, für welche die Beschwerde in Zivilsachen zulässig ist, sofern die Streitwertgrenze von Fr. 30'000.-- oder diejenige von Fr. 15'000.-- in arbeits- und mietrechtlichen Fällen erreicht wird (<ref-law>).
1.2. Da der angefochtene Entscheid ein Endentscheid (<ref-law>) ist, bestimmt sich der Streitwert nach den Begehren, die vor der Vorinstanz streitig geblieben waren (<ref-law>). In Fällen, in denen eine Beschwerde an das Bundesgericht einzig die Kosten des kantonalen Verfahrens zum Gegenstand hat und es schon im vorinstanzlichen Verfahren allein um die Kosten ging, bestimmt sich der Streitwert nach dem Betrag, in dem diese vor der Vorinstanz strittig waren (<ref-ruling> E. 1 S. 47; <ref-ruling> E. 1.2.2).
Vor der Vorinstanz war nur die Verlegung der Kosten des Schlichtungsverfahrens von Fr. 200.-- strittig, womit die Streitwertgrenze für eine Beschwerde in Zivilsachen nicht erreicht wird.
1.3. Erreicht der Streitwert den massgebenden Betrag wie in casu nicht, ist sie dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>),
1.3.1. Der Begriff der Rechtsfrage von grundsätzlicher Bedeutung im Sinne von <ref-law> ist restriktiv auszulegen (<ref-ruling> E. 1.3; <ref-ruling> E. 1.2). Soweit es bei der aufgeworfenen Frage lediglich um die Anwendung von Grundsätzen der Rechtsprechung auf einen konkreten Fall geht, handelt es sich nicht um eine Rechtsfrage von grundsätzlicher Bedeutung (<ref-ruling> E. 1.3; <ref-ruling> E. 1.3 S. 4, 397 E. 1.2 S. 399). Die Voraussetzung von <ref-law> ist hingegen erfüllt, wenn ein allgemeines und dringendes Interesse besteht, dass eine umstrittene Frage höchstrichterlich geklärt wird, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit eine erhebliche Rechtsunsicherheit auszuräumen (<ref-ruling> E. 1 S. 165; <ref-ruling> E. 1.2; <ref-ruling> E. 1.3).
Eine neue Rechtsfrage kann vom Bundesgericht beurteilt werden, wenn dessen Entscheid für die Praxis wegleitend sein kann, namentlich wenn von unteren Instanzen viele gleichartige Fälle zu beurteilen sein werden (<ref-ruling> E. 1.3; <ref-ruling> E. 4 S. 343; <ref-ruling> E. 1.3 S. 4). Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt, so ist in der Beschwerde auszuführen, warum diese Voraussetzung erfüllt ist (<ref-law>), ansonsten die Beschwerde in Zivilsachen unzulässig ist (<ref-ruling> E. 1.3; <ref-ruling> E. 1.3 S. 5).
1.3.2. Die Beschwerdeführerin führt aus, es bestehe die Rechtsfrage von grundsätzlicher Bedeutung, ob die Verfahrenskosten bei Gegenstandslosigkeit vollumfänglich der klagenden Partei aufzuerlegen seien, nachdem ein aussergerichtlicher Vergleich zwischen den Parteien erzielt werden konnte, dieser aber keine Regelung betreffend die Verfahrenskosten enthalte. Es bestehe ein allgemeines Interesse an der Klärung dieser Frage, da sie sich in einer Vielzahl gleichartiger Fälle wieder stellen könne, werde doch eine beachtlich grosse Anzahl von Fällen bereits im Stadium des Schlichtungsverfahrens durch Vergleich abgeschlossen.
1.3.3. Es ist zutreffend, dass ein grosser Anteil der Verfahren bereits im Schlichtungsstadium erledigt wird. Ein Teil dieser Erledigungen dürfte darauf zurückzuführen sein, dass sich die Prozessparteien ausserhalb des Schlichtungsverfahrens gütlich einigen, wie im vorliegenden Fall. Das allein genügt aber noch nicht, damit es sich bei der von der Beschwerdeführerin vorgelegten Rechtsfrage um eine solche von grundsätzlicher Bedeutung handelt. Wie die Beschwerdeführerin an einem anderen Ort ihrer Beschwerdeschrift selbst vorbringt, enthalten Vergleiche, die während einem Schlichtungs- oder Gerichtsverfahren zwischen den Prozessparteien geschlossen werden, in aller Regel eine Regelung der Kosten- und Entschädigungsfolgen des Schlichtungs- oder Gerichtsverfahrens. Die "Standard-Kostenregelung" bei einem Vergleich besteht nämlich darin, dass die Gerichtskosten hälftig geteilt werden und jede Partei ihre Parteikosten selbst trägt.
Die von der Beschwerdeführerin als Rechtsfrage von grundsätzlicher Bedeutung aufgeworfene Frage stellt sich somit nur in der besonderen Situation, bei welcher die Parteien in einem Vergleich während einem laufenden Schlichtungs- oder Gerichtsverfahren keine Regelung über die Kosten und Entschädigungsfolgen treffen. Die Beschwerdeführerin, die dem Bundesgericht eine Rechtsfrage von grundsätzlicher Bedeutung unterbreiten will, die sich nur in einer solchen speziellen Konstellation stellt, hat darzutun, dass ein Entscheid des Bundesgerichts dennoch für die Praxis wegleitend sein kann und die Rechtsfrage nach einer höchstrichterlichen Klärung ruft, namentlich wenn von unteren Instanzen viele gleichartige Fälle zu beurteilen sein werden und kaum je der erforderliche Streitwert erreicht wäre.
Inwiefern das vorliegend der Fall wäre, legt die Beschwerdeführerin nicht dar. Es ist nicht hinreichend (Erwägung 1.3.1), ohne weitere Ausführungen bloss zu behaupten, dass eine grosse Zahl von Fällen bereits im Schlichtungsverfahren durch Vergleich abgeschlossen würde. Die Beschwerdeführerin vermag damit nicht aufzuzeigen, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt. Vielmehr geht es lediglich um die Anwendung von Art. 109 Abs. 2 i.V.m. Art. 106 - 108 ZPO im Einzelfall.
1.4. Da der notwendige Streitwert nicht erreicht wird und sich auch keine Rechtsfrage von grundsätzlicher Bedeutung stellt, steht die Beschwerde in Zivilsachen nicht offen.
2.
Die Beschwerde ist daher als subsidiäre Verfassungsbeschwerde zu behandeln (<ref-law>).
2.1. Mit der subsidiären Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Das Bundesgericht prüft die Verletzung verfassungsmässiger Rechte jedoch nur, wenn diese Rüge gemäss den Anforderungen von <ref-law> ausdrücklich vorgebracht und klar und detailliert begründet wird (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 2.1; <ref-ruling> E. 3.2). Dies bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2; <ref-ruling> E. 3.2; je mit weiteren Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>), was der Beschwerdeführer präzise geltend zu machen hat (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 445). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-ruling> E. 7.1, 585 E. 4.1 S. 588 f.).
Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie ent-sprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
3.1. Die Beschwerdeführerin schildert unter dem Titel "Tatsächliches" den Sachverhalt aus ihrer eigenen Sicht und geht dabei mehrfach über die Sachverhaltsfeststellungen der Vorinstanz hinaus, ohne eine Sachverhaltsrüge zu erheben (Erwägung 2.2). Darauf kann sie sich im Folgenden nicht stützen.
3.2. Die Beschwerdeführerin rügt sodann die Sachverhaltsfeststellung der Vorinstanz als offensichtlich unrichtig. Sie verlangt die Ergänzung des vorinstanzlich festgestellten Sachverhalts bezüglich der Umstände, die zur Einleitung des von ihr angehobenen Schlichtungsverfahrens führten. Sie verweist dafür in ihrer Beschwerdeschrift auf die einzelnen Beweismittel, woraus sich ihre Sachverhaltsdarstellung ergebe.
Damit genügt die Beschwerdeführerin den strengen Anforderungen an eine Sachverhaltsergänzung vor Bundesgericht nicht (Erwägung 2.2). Vielmehr hätte sie mit präzisen Aktenhinweisen aufzeigen sollen, dass sie neben den genannten Beweismitteln auch ihre diesbezüglichen Tatsachenhauptungen bereits im vorinstanzlichen Verfahren eingebracht hätte und weshalb sie entscheiderheblich sein sollen. Auch darauf kann sie sich im Folgenden nicht stützen.
3.3.
3.3.1. Die Beschwerdeführerin moniert unter Verweis auf den Vergleichstext und den Zahlungsbefehl vom 9. Dezember 2019, dass entgegen der Feststellung der Vorinstanz im Vergleich kein Einbezug der Kosten des Schlichtungsverfahrens erfolgt sei. Der Vergleichsbetrag von Fr. 1'619.05 entspreche den im Zahlungsbefehl aufgeführten Beträgen und damit den bereits vor Einleitung des Schlichtungsverfahrens entstandenen Kosten. Die vorinstanzliche Sachverhaltsfeststellung erweise sich als willkürlich, weil die Vorinstanz die Beweismittel offensichtlich falsch gewürdigt habe.
3.3.2. Die Vorinstanz stellte fest, dass die im Vergleich anerkannte Summe rund Fr. 400.-- über dem eingeklagten Betrag liege, "was einen Einbezug der Kosten der Klägerin" nahelege.
Die Vorinstanz stellte damit einzig fest, dass die im Vergleich von der Beschwerdegegnerin anerkannte Summe rund Fr. 400.-- über dem von der Beschwerdeführerin eingeklagten Betrag liege. Diese Feststellung ist unbestrittenermassen korrekt. Im Weiteren machte die Vorinstanz in diesem Zusammenhang keine weiteren Sachverhaltsfeststellungen, sondern sie mutmasste bloss, dass dieser höhere Betrag im Vergleich einen Einbezug der Kosten der Beschwerdeführerin "nahelege". Die Vorinstanz stützte sich im Folgenden aber nicht auf diesen Umstand; insbesondere berücksichtigte sie das nicht im Rahmen ihres Ermessensentscheids über die Kostenverlegung.
Die Beschwerdeführerin rügt zwar, dass die Vorinstanz Beweismittel willkürlich gewürdigt und "unhaltbare Schlussforderungen" gezogen habe. Inwiefern die von der Beschwerdeführerin beantragte Sachverhaltskorrektur aber entscheidwesentlich sein könnte, legt sie nicht dar, zumindest nicht hinreichend (Erwägung 2.2). Diese Sachverhaltsrüge geht damit fehl.
3.4. Es bleibt demnach beim vorinstanzlich festgestellten Sachverhalt.
4.
4.1. Die Beschwerdeführerin trägt vor, für den Fall, dass der Vergleich keine Kostenregelung enthalte, erfolge die Kostenverlegung gemäss <ref-law> nach den Bestimmungen von Art. 106 - 108 ZPO. Dabei sei der Prozesserfolg am Verhältnis zwischen den ursprünglichen Rechtsbegehren der Parteien und dem Inhalt des Vergleichs zu messen. Im vorliegenden Fall liege der Prozesserfolg der Beschwerdeführerin bei über 100 %, denn das ursprüngliche Rechtsbegehren betrage Fr. 1'266.75 und der Vergleichsbetrag Fr. 1'619.05. Es sei in stossender Weise ungerecht und offensichtlich unbillig, dass sie trotz Obsiegens dennoch sämtliche Verfahrenskosten übernehmen müsse, und nicht wenigstens eine hälftige Kostenteilung zwischen den Parteien erfolge.
4.2. Willkürlich ist ein Entscheid nach konstanter Praxis nicht schon dann, wenn eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint. Willkür in der Rechtsanwendung liegt nur vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dabei ist erforderlich, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 3.1 S. 372; <ref-ruling> E. 4.3; <ref-ruling> E. 4.2; <ref-ruling> E. 1.2 S. 308 f.; <ref-ruling> E. 2.1, 167 E. 2.1).
4.3. <ref-law> regelt nach der Marginale die Kosten des Schlichtungsverfahrens. Die Kostenverteilung bei Vergleich wird darin aber nicht erwähnt, sondern richtet sich nach den allgemeinen Verteilungsgrundsätzen der Zivilprozessordnung (<ref-law>). Nach <ref-law> trägt bei einem gerichtlichen Vergleich jede Partei die Prozesskosten nach Massgabe des Vergleichs. Enthält der Vergleich keine Kostenregelung, werden die Kosten gemäss <ref-law> nach den Artikeln 106 - 108 ZPO verteilt.
Die Vorinstanz stützte sich auf <ref-law> und verteilte die Kosten des Schlichtungsverfahrens nach Ermessen. Sie auferlegte die Kosten unter den vorliegenden Umständen der Beschwerdeführerin, da sie die Kosten des Schlichtungsverfahrens durch dessen Einleitung unmittelbar verursacht habe. Es mag zutreffen, dass es auch vertretbar wäre, den Inhalt des Vergleichs zu berücksichtigen und die Kosten teilweise der Beschwerdegegnerin aufzuerlegen, die zwar eine monatliche Ratenzahlung ausbedingte, ansonsten aber vollständig unterlag (vgl. Urteil 4A_345/2018 vom 5. November 2018 E. 3 am Ende). Es ist aber nicht offensichtlich unhaltbar, wenn die Vorinstanz angesichts dessen, dass vorliegend der Vergleich aussergerichtlich geschlossen wurde, womit das von der Beschwerdeführerin eingeleitete Schlichtungsverfahren hinfällig wurde, formell darauf abstellte, wer durch die Einleitung des Schlichtungsverfahrens die Kosten unmittelbar veranlasste und der Beschwerdeführerin als Verursacherin die Kosten auferlegte. Der Willkürvorwurf ist unbegründet.
5.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (<ref-law>). Die Beschwerdegegnerin hat keinen Anspruch auf eine Parteientschädigung, da ihr aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 11. November 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger