Sachverhalt: A. Mit Schreiben vom 6. sowie vom 8. März 2012 forderte die X._ AG A.A._ und B.A._ auf, die ausstehenden Mietzinsen für die Liegenschaft Q._ innert 30 Tagen zu bezahlen. Zugleich drohte sie ihnen an, dass bei nicht vollständiger Bezahlung des Mietzinsausstandes innert der gesetzten Frist die ausserordentliche Kündigung des Mietvertrages nach Art. 257d OR ausgesprochen werde. Am 19. April 2012 teilte die X._ AG A.A._ und B.A._ je einzeln mit, sie kündige das Mietverhältnis. In der Folge reichten A.A._ und B.A._ beim Friedensrichteramt der Stadt Zürich (Kreise 1 und 2) ein Schlichtungsgesuch gegen die X._ AG ein mit dem Antrag, es sei festzustellen, dass zwischen den Parteien kein Mietverhältnis bestehe (im Folgenden: Feststellungsklage). B. Gleichzeitig stellten A.A._ und B.A._ bei der Schlichtungsstelle für Miet- und Pachtverhältnisse des Gerichtskreises See-Gaster vorsorglich ein "Begehren um Kündigungsschutz" für den Fall, dass das für die Feststellungsklage zuständige Gericht den Bestand eines Mietverhältnisses wider Erwarten bejahen sollte. Sie begehrten damit, es sei die Nichtigkeit der Kündigung vom 19. April 2012 festzustellen, eventualiter sei die Kündigung als missbräuchlich aufzuheben, subeventualiter das Mietverhältnis zu erstrecken. Sodann stellten sie den prozessualen Antrag, das Verfahren sei bis zum rechtskräftigen Entscheid über die (in Zürich anhängige) negative Feststellungsklage zu sistieren. Die X._ AG beantragte, es sei festzustellen, dass die Kündigung gültig (eventualiter nicht missbräuchlich) sei. Das Mietverhältnis sei nicht zu erstrecken. Gleichzeitig erhob sie Widerklage auf Zahlung von Mietzinsausständen sowie auf Ausweisung. Die Schlichtungsstelle lud daraufhin die Parteien zur Schlichtungsverhandlung auf den 5. Juli 2012 vor. Nachdem die Schlichtungsstelle ein Verschiebungsgesuch von A.A._ und B.A._ abgewiesen hatte, fand die Schlichtungsverhandlung statt, worauf die Schlichtungsstelle das Verfahren wegen Ausbleibens der klagenden Partei als gegenstandslos abschrieb und der X._ AG für die Widerklage die Klagebewilligung erteilte. Den Abschreibungsbeschluss der Schlichtungsstelle vom 9. Juli 2012 fochten A.A._ und B.A._ mit Berufung beim Kantonsgericht St. Gallen an. Das Kantonsgericht forderte sie in der Folge auf, für die Gerichtskosten einen Vorschuss von Fr. 3'000.-- zu leisten und zum Gesuch der X._ AG um Sicherheitsleistung für die Parteientschädigung Stellung zu nehmen, worauf A.A._ und B.A._ um Bewilligung der unentgeltlichen Rechtspflege ersuchten. Mit Entscheid vom 23. Oktober 2012 wies das Kantonsgericht das Gesuch um Bewilligung der unentgeltlichen Rechtspflege ab (Dispositiv-Ziffer 1) und verpflichtete A.A._ und B.A._ unter solidarischer Haftbarkeit, innert 10 Tagen für das Berufungsverfahren einen Gerichtskostenvorschuss von Fr. 3'000.-- zu leisten (Dispositiv-Ziffer 2). Das Gesuch der X._ AG um Sicherheitsleistung für die Parteientschädigung wies es ab (Dispositiv-Ziffer 4). C. A.A._ und B.A._ (Beschwerdeführer) verlangen mit Beschwerde in Zivilsachen, die Ziffern 1 und 2 des Entscheids des Kantonsgerichts vom 23. Oktober 2012 seien aufzuheben, und es sei den Beschwerdeführern die unentgeltliche Rechtspflege zu gewähren. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Sodann stellen sie ein Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. Es wurden keine Vernehmlassungen eingeholt. D. Mit Präsidialverfügung vom 11. Januar 2013 wurde der Beschwerde aufschiebende Wirkung erteilt.