Sachverhalt: A. Am 21. Oktober 2014 kündigte B._ (Vermieterin, Gesuchstellerin, Beschwerdegegnerin) den mit B.A._ und A.A._ (Mieter, Gesuchsgegner, Beschwerdeführer) geschlossenen Mietvertrag betreffend ein 6,5-Zimmer-Einfamilienhaus an der Strasse U._ in V._ wegen Zahlungsverzugs auf den 30. November 2014. Die Mieter fochten daraufhin die Kündigung bei der Schlichtungsstelle für Miet- und Pachtverhältnisse See-Gaster an und räumten die Liegenschaft nicht. B. B.a. Nach erfolgloser Schlichtung reichten die Mieter beim Kreisgericht See-Gaster Klage gegen die Vermieterin ein mit dem Begehren, die Kündigung vom 21. Oktober 2014 sei nichtig zu erklären. Gleichzeitig mit der Klageantwort in diesem Verfahren reichte die Vermieterin gestützt auf Art. 257 ZPO ein Ausweisungs- und Forderungsbegehren (Verfahren SZ.2015.26) ein. Mit Entscheid vom 27. April 2015 fällte der Einzelrichter am Bezirksgericht See-Gaster - soweit hier von Interesse - im Verfahren nach Art. 257 ZPO folgenden Entscheid: Er befahl den Gesuchsgegnern, das Einfamilienhaus an der Strasse U._ in V._ unverzüglich zu räumen und der Gesuchstellerin in ordnungsgemässem Zustand zu übergeben. Die Politische Gemeinde Schänis wurde angewiesen, diesen Entscheid nach Rechtskraft auf erstes Verlangen der Gesuchstellerin hin zu vollziehen. B.b. Gegen diesen Entscheid erhoben die Gesuchsgegner Berufung beim Kantonsgericht St. Gallen. Sie beantragten im Wesentlichen, das angefochtene Urteil sei aufzuheben und die Kündigung des Mietvertrages vom 30. November 2014 sei für nichtig zu erklären. Mit Entscheid vom 25. Juni 2015 wies der Einzelrichter im Obligationenrecht des Kantonsgerichts St. Gallen die Berufung ab unter Kosten- und Entschädigungsfolge zulasten der Gesuchsgegner. C. Die Beschwerdeführer beantragen mit Beschwerde in Zivilsachen, der Entscheid des Kantonsgerichts St. Gallen vom 25. Juni 2015 sei vollumfänglich aufzuheben und das Gesuch um Mieterausweisung sei abzuweisen. In verfahrensrechtlicher Hinsicht ersuchen sie um Erteilung der aufschiebenden Wirkung. Die Beschwerdegegnerin schliesst auf Abweisung der Beschwerde und des Gesuchs um Erteilung der aufschiebenden Wirkung, soweit darauf einzutreten sei. Die Vorinstanz beantragt Abweisung der Beschwerde und des Gesuchs um Erteilung der aufschiebenden Wirkung.