Sachverhalt:
A. Die X._ AG (Beschwerdeführerin) betrieb A._ (Beschwerdegegnerin) beim Betreibungsamt Romanshorn für Mietzinsforderungen in der Höhe von insgesamt Fr. 15'589.35. Auf Rechtsvorschlag der Beschwerdegegnerin hin erteilte das Vizegerichtspräsidium Arbon am 17. Juli 2007 der Beschwerdeführerin die provisorische Rechtsöffnung.
B. B.a Am 30. August 2007 erhob die Beschwerdegegnerin beim Friedensrichteramt Romanshorn Klage auf Aberkennung der Mietzinsforderungen. Mit Weisung vom 18. September 2007 wurde das Verfahren am 2. Oktober 2007 beim Einzelrichter am Bezirksgericht Arbon rechtshängig gemacht. Die Beschwerdeführerin erhob die Einrede der Unzuständigkeit. Sie vertrat die Ansicht, die Beschwerdegegnerin hätte zuerst die Schlichtungsbehörde in Mietsachen in Arbon anrufen müssen.
Mit Beschluss vom 8. Juli 2008 trat der Einzelrichter auf die Klage nicht ein. Er begründete dies mit Hinweis auf <ref-ruling> (4A_237/2007 vom 28. September 2007), in dem das Bundesgericht entschieden hat, dass für Aberkennungsklagen betreffend Mietzinsforderungen die Schlichtungsbehörde in Mietsachen sachlich zuständig ist.
B.b Gegen diesen Beschluss erhob die Beschwerdegegnerin beim Obergericht des Kantons Thurgau Rekurs und beantragte dessen Aufhebung. Mit Beschluss vom 26. Januar 2009 hiess das Obergericht den Rekurs gut, hob die Erledigungsverfügung auf und wies die Vorinstanz an, das Verfahren fortzuführen (Dispositiv-Ziff. 1). Es begründete dies damit, dass die Klage vor Erscheinen des Bundesgerichtsentscheids anhängig gemacht worden war. Der Bundesgerichtsentscheid bewirke im Kanton Thurgau eine Änderung einer 13 Jahre geltenden Praxis, wonach die Aberkennungsklage nur beim Friedensrichter fristwahrend eingereicht werden konnte. Mit Blick auf die Rechtssicherheit und den Grundsatz von Treu und Glauben sei die Prozesseinleitung der Beschwerdegegnerin daher als korrekt zu beurteilen.
C. Mit Beschwerde in Zivilsachen vom 16. März 2009 beantragt die Beschwerdeführerin dem Bundesgericht, es sei Dispositiv-Ziff. 2 betreffend Gerichtskosten und Parteientschädigung aufzuheben und auf deren Auferlegung zu verzichten oder es seien diese dem Staat aufzuerlegen, eventuell sei der ganze Beschluss des Obergerichts vom 26. Januar 2009 in Bestätigung des erstinstanzlichen Beschlusses aufzuheben.
Die Beschwerdegegnerin verzichtete auf eine Vernehmlassung. Das Obergericht schliesst in seiner Vernehmlassung auf Abweisung der Beschwerde.
Mit Präsidialverfügung vom 25. Mai 2009 wurde dem Gesuch um aufschiebende Wirkung stattgegeben.

Erwägungen:
1. 1.1 Beim angefochtenen Entscheid des Obergerichts handelt es sich um einen selbständig eröffneten Vorentscheid über die Zuständigkeit. Nach <ref-law> ist dagegen die Beschwerde an das Bundesgericht zulässig.
1.2 Gegenstand des Verfahrens bildet eine Zivilsache (<ref-law>). Die Rechtsbegehren der Beschwerdeführerin sind im kantonalen Verfahren nicht vollständig geschützt worden (<ref-law>), der für mietrechtliche Fälle massgebende Streitwert von Fr. 15'000.-- ist überschritten (Art. 51 i.V.m. <ref-law>). Die Beschwerdefrist ist eingehalten (<ref-law>). Auf die Beschwerde ist damit grundsätzlich einzutreten.
2. Die Beschwerdeführerin beantragt dem Bundesgericht sinngemäss, den Entscheid der Vorinstanz aufzuheben und das Urteil der ersten Instanz wiederherzustellen. Sie rügt, die Vorinstanz habe <ref-law> und <ref-law> verletzt, indem sie den Entscheid der Vorinstanz aufgehoben und damit ohne vorgängiges Verfahren vor der Schlichtungsbehörde in Mietsachen den Friedensrichter als für die Aberkennungsklage zuständig erklärt habe. Dabei verweist sie auf den bereits erwähnten <ref-ruling>.
2.1 Die Vorinstanz hat den Friedensrichter entgegen der bundesgerichtlichen Rechtsprechung (<ref-ruling>) für zuständig erklärt und damit <ref-law> und <ref-law> verletzt. Allerdings bestand im Kanton Thurgau gemäss den unbestrittenen Ausführungen der Vorinstanz während 13 Jahren eine dem <ref-ruling> widersprechende Praxis. Für den Rechtssuchenden im Kanton Thurgau kam das Urteil des Bundesgerichts somit einer Praxisänderung gleich. Selbst wenn die Frage der Zuständigkeit höchstrichterlich vorher noch ungeklärt war, rechtfertigt sich die Prüfung, ob die Beschwerdegegnerin in ihrem Vertrauen auf die thurgauische Praxis zu schützen ist.
2.2 Eine neue Praxis ist grundsätzlich sofort und in allen hängigen Verfahren anzuwenden (<ref-ruling> E. 3.2 S. 85; <ref-ruling> E. 5.1 S. 159; <ref-ruling> E. 3c/bb S. 59). Eine Einschränkung dieses Grundsatzes kann sich bei einer verfahrensrechtlichen Änderung bzw. Klarstellung der bisherigen Rechtsprechung aus dem Grundsatz des Vertrauensschutzes ergeben. Der Vorrang des Vertrauensschutzes wird nach bundesgerichtlicher Rechtsprechung bejaht, wenn die Änderung oder Klarstellung die Eintretensvoraussetzungen betrifft, insbesondere die Berechnung von Rechtsmittelfristen (<ref-ruling> E. 3.2 S. 85; <ref-ruling> E. 5.1 S. 159). Sofern der Betroffene dadurch einen Rechtsverlust erleiden würde, den er bei Kenntnis der neuen Praxis hätte vermeiden können, darf diese nicht ohne vorgängige Ankündigung Anwendung finden (<ref-ruling> E. 3.2 S. 85; <ref-ruling> E. 3c/bb S. 60).
2.3 Im vorliegenden Fall betrifft die Klarstellung des Bundesgerichts zwar nicht die Berechnung von Rechtsmittelfristen, wohl aber die Zuständigkeit, deren Vorliegen ebenfalls zu den Eintretensvoraussetzungen gehört. Sofern die Beschwerdegegnerin durch die Zuständigerklärung der Schlichtungsbehörde in Mietsachen einen Rechtsverlust erleiden würde, wäre dem Vertrauensschutz grundsätzlich der Vorrang zu gewähren.
<ref-law> bestimmt indessen, dass bei Zurückweisen einer Klage wegen Unzuständigkeit eine neue Klagefrist von gleicher Dauer beginnt. Es steht der Beschwerdegegnerin somit offen, innert einer am Tag nach Zustellung des Entscheides neu zu laufen beginnenden Frist von 20 Tagen nach <ref-law> eine Aberkennungsklage bei der Schlichtungsbehörde in Mietsachen einzureichen (vgl. Russenberger/Sauter, in: Kurzkommentar SchKG, 2009, N. 12 zu <ref-law>; NORDMANN, in: Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs SchKG I [Art. 1-87], 1998, N. 14 zu <ref-law>). Da dem Gesuch der Beschwerdeführerin um aufschiebende Wirkung stattgegeben wurde, ist für den Beginn des neuen Fristenlaufs die Zustellung des Rechtsmittelentscheides, hier des Bundesgerichtsentscheides, massgebend (vgl. JAEGER ET AL., Bundesgesetz über Schuldbetreibung und Konkurs, 4. Aufl. 1997, N. 5 zu Art. 32). Einen Rechtsverlust erleidet die Beschwerdegegnerin nicht. Der Einzelrichter am Bezirksgericht Arbon hat sich damit zu Recht als für die Aberkennungsklage unzuständig erklärt.
3. Aus diesen Gründen ist die Beschwerde gutzuheissen. Die Gerichtskosten sind der Beschwerdegegnerin aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht geschuldet, da die Beschwerdeführerin sich nicht durch einen Anwalt vertreten liess (Art. 68 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 4 S. 446). Die Sache ist zu neuem Entscheid über die Kosten- und Entschädigungsfolgen an die Vorinstanz zurückzuweisen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Beschluss des Obergerichts des Kantons Thurgau vom 26. Januar 2009 aufgehoben. Dispositiv-Ziff. 1 wird wie folgt neu gefasst:
"Der Rekurs wird abgewiesen."
2. Die Sache wird zur neuen Entscheidung über die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdegegnerin auferlegt.
4. Es wird keine Parteientschädigung zugesprochen.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 8. Juni 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni