Sachverhalt: A. Am 23. Juni 2009 schloss A._ (Klägerin, Beschwerdeführerin) als Mieterin mit (C.C._ und) D.C._ als Vermieter einen Mietvertrag über ein Geschäftslokal in U._ ab. Die Mietlokalitäten wurden ab dem 1. Juli 2009 für eine fixe Dauer bis zum 30. Juni 2014 gemietet, wobei der Klägerin eine Verlängerungsoption eingeräumt wurde. In der Folge baute die Klägerin das Ladenlokal in eine Zahnarztpraxis um und nahm dabei zahlreiche Änderungen bzw. Erneuerungen am Mietobjekt vor. Am 2. November 2011 wurde das Ladenlokal durch das Betreibungsamt Walenstadt im Rahmen einer Betreibung auf Grundpfandverwertung versteigert, wobei B._ (Beklagte, Beschwerdegegnerin) nach erfolgtem Doppelaufruf den Zuschlag erhielt. Daraufhin kündigte die Klägerin den Mietvertrag per 30. Juni 2012. Mit Schreiben vom 16. Januar 2012 liess die Beklagte die Kündigung bestätigen. Am 2. Juli 2012 fand die Übergabe des Mietobjekts an die Beklagte statt. In der Folge konnten sich die Parteien nicht über die von der Klägerin verlangte Mehrwertentschädigung für die im Jahre 2009 durchgeführten Änderungen bzw. Erneuerungen an der Mietsache einigen. B. Am 12. September 2012 erhob die Klägerin beim Kreisgericht Werdenberg-Sarganserland Klage gegen die Beklagte und beantragte, diese sei zu verpflichten, ihr für die vorgenommenen Erneuerungen bzw. Änderungen der Mietsache eine Entschädigung von Fr. 19'200.-- nebst Zins zu bezahlen. Mit Entscheid vom 12. Februar 2013 wies die Einzelrichterin des Kreisgerichts die Klage ab. Eine gegen den Entscheid erhobene Berufung der Klägerin wies das Kantonsgericht St. Gallen mit Entscheid vom 10. November 2014 ab. C. Die Beschwerdeführerin verlangt mit Beschwerde in Zivilsachen, es seien der Entscheid des Kantonsgerichts sowie der Entscheid des Kreisgerichts aufzuheben und es sei die Beschwerdegegnerin zu verpflichten, ihr für die vorgenommenen Erneuerungen bzw. Änderungen der Mietsache eine Entschädigung von Fr. 19'200.-- nebst 5 % Zins seit 1. Juli 2012 zu bezahlen. Die Beschwerdegegnerin beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei und der Entscheid des Kantonsgerichts sowie der Entscheid des Kreisgerichts seien zu bestätigen. Die Vorinstanz verzichtete auf eine Vernehmlassung zur Beschwerde.