Sachverhalt: A. B._ (Mieterin) mietete mit Verträgen vom 7./8. November 2012 von A._ (Vermieterin, Beschwerdeführerin) eine 4 1/2-Zimmerwohnung und einen Parkplatz in der Liegenschaft U._. C._ unterzeichnete die Verträge als Vertreterin der Vermieterin, wobei sich ihre Vertretungsbefugnis aus einem "Verwaltungsvertrag" betreffend die besagte Liegenschaft ergab, den sie am 28. August 2006 mit der Vermieterin und deren damaligen Miteigentümerin, D._, abgeschlossen hatte. Am 7. November 2013 sprach C._ die Kündigung für das Mietverhältnis per Ende März 2014 aus, worauf die Mieterin mit Eingabe vom 6. Dezember 2013 ein Begehren um Kündigungsschutz an die Schlichtungsstelle für Miet- und Pachtverhältnisse Wil stellte. An der Schlichtungsverhandlung vom 12. Februar 2014 waren klägerseits die Mieterin in Begleitung von E._ anwesend. Für die Vermieterin erschien C._ als Vertreterin, wobei sie als Vertretungsvollmacht den Verwaltungsvertrag vom 28. August 2006 vorlegte. Dessen Ziffer 2.1 lautet wie folgt: "Stellvertretung Vertretung der Auftraggeber gegenüber Behörden, Amtsstellen wie Baubehörden, Schlichtungsstellen und Mietamt etc." Die Vermieterin als Beklagte war selber nicht persönlich anwesend. Anlässlich der Schlichtungsverhandlung wurde ein Vergleich abgeschlossen, mit dem (unter anderem) die Kündigung von der Mieterin akzeptiert und das Mietverhältnis "im Einvernehmen der Parteien" bis am 30. Juni 2015 "definitiv" erstreckt wurde. Die Schlichtungsstelle schrieb das Verfahren noch am gleichen Tag als zufolge Vergleichs erledigt ab. B. Am 8. Mai 2014 beantragte die Vermieterin der Schlichtungsstelle mittels Revisionsgesuch gemäss Art. 328 Abs. 1 lit. c ZPO, "der Abschreibungsbeschluss" vom 12. Februar 2014 sei aufzuheben, und es sei festzustellen, dass "der vorbezeichnete Beschluss einschliesslich des in diesem aufgenommenen Vergleichs" nichtig sei. Die Schlichtungsverhandlung sei unter persönlicher Anwesenheit der Vermieterin erneut durchzuführen. Das Revisionsgesuch war im Wesentlichen damit begründet, C._ sei nicht - wie in Art. 204 Abs. 3 lit. c ZPO vorgeschrieben - schriftlich zum Abschluss eines Vergleichs ermächtigt gewesen, weshalb die Vermieterin an der Schlichtungsverhandlung vom 12. Februar 2014 nicht rechtsgültig vertreten gewesen sei. Die Schlichtungsverhandlung sei "demnach formell mangelhaft durchgeführt" worden mit der Folge, dass der Vergleich und der Abschreibungsbeschluss unwirksam respektive nichtig seien. Mit Entscheid vom 4. Juni 2014 wies die Schlichtungsstelle das Revisionsgesuch ab. Dagegen gelangte die Vermieterin an das Kantonsgericht St. Gallen, das ihre Beschwerde mit Entscheid vom 18. Dezember 2014 abwies. Das Kantonsgericht bestätigte nach eingehender Prüfung der Einwendungen der Vermieterin und Auslegung des Verwaltungsvertrags vom 28. August 2006 die Auffassung der Schlichtungsstelle, C._ sei zum Abschluss eines Vergleichs schriftlich ermächtigt gewesen. Dementsprechend sei weder die persönliche Anwesenheit der Vermieterin an der Schlichtungsverhandlung noch ihre persönliche Mitwirkung beim Vergleichsabschluss notwendig gewesen. Die Schlichtungsstelle habe somit keinen Verfahrensfehler begangen und das Revisionsgesuch zu Recht abgewiesen. C. Die Vermieterin begehrt mit Beschwerde in Zivilsachen, der Entscheid des Kantonsgerichts sei aufzuheben, und es sei festzustellen, dass "der Abschreibungsbeschluss" vom 12. Februar 2014 "einschliesslich des in diesem aufgenommenen Vergleichs" nichtig sei. Die Schlichtungsstelle sei anzuweisen, die Schlichtungsverhandlung unter persönlicher Anwesenheit der Beschwerdeführerin erneut durchzuführen. Die Vorinstanz verzichtete auf eine Vernehmlassung. Die Mieterin liess sich nicht vernehmen.