Sachverhalt: A. Auf dem Grundstück Nr. www des Grundbuchs der Gemeinde U._ steht ein Mehrfamilienhaus mit den Adressen V._-Strasse Nr. xxx, yyy und zzz. Es besteht Stockwerkeigentum. Die C._ AG mit Sitz in T._ (früher: D._ AG mit Sitz in S._) (Klägerin, Beschwerdegegnerin) ist als Eigentümerin zweier Stockwerkeigentumseinheiten mit den Adressen V._-Strasse Nr. yyy und zzz und einer Wertquote von insgesamt 691/1000 (6 1/2-Zimmerhaus Nr. nnn und 2 1/2-Zimmerhaus Nr. ooo) im Grundbuch eingetragen. Auch gehören ihr zwei Miteigentumsanteile zu je 1/46 am Stockwerkeigentum Nr. rrr, bei dem es sich um eine zur Liegenschaft V._-Strasse Nr. qqq (Grundstück Nr. ppp) gehörende Garage mit 46 Autoabstellplätze handelt. A.A._ und B.A._ (Beklagte 1 und 2; Beschwerdeführer 1 und 2) bewohnen die Liegenschaft mit der Adresse V._-Strasse Nr. zzz, in U._ (nachfolgend: die Liegenschaft). Die D._ AG hatte die Liegenschaft mit öffentlich beurkundetem Kaufvertrag vom 23. Juni 2005 vom Beklagten 1 zum Preis von Fr. 1'275'000.-- gekauft, der durch die Übernahme von Grundpfandschulden getilgt wurde. Zuvor, nämlich am 14. Juni 2005, hatten die Beklagten mit der E._ GmbH einen öffentlich beurkundeten Kreditvertrag (nachfolgend: Kreditvertrag) geschlossen. Darin wurde festgehalten, dass die E._ GmbH gegenüber verschiedenen Firmen des Beklagten 1 offene Kredite von Fr. 1'788'916.63 habe, welcher Betrag von den Beklagten als Solidarschuldner übernommen und von der E._ GmbH wie folgt gewährt werde: a) Hypothekardarlehen auf Liegenschaft U._ Fr. 400'000.--; Festdarlehen Fr. 500'000.--; Kontokorrentdarlehen Fr. 880'000.--. Gleichzeitig wurde in diesem Kreditvertrag festgehalten, der Beklagte 1 verkaufe die Liegenschaft V._-Strasse zum Preis von Fr. 1,2 Mio. an die D._ AG. Der Kaufpreis werde durch Übernahme der bestehenden Hypotheken von insgesamt Fr. 875'000.--, vermindert um bisherige Amortisationen von Fr. 74'971.--, sowie durch Übernahme des erwähnten Hypothekardarlehens von Fr. 400'000.-- getilgt. Einzelheiten dieses Liegenschaftenverkaufs seien in einem separaten Vertrag zwischen der E._ GmbH, der D._ AG und den Beklagten geregelt (Ziff. 1.8 des Kreditvertrages). Am 8./14. Juni 2005 wurde diese in Ziffer 1.8 des Kreditvertrages erwähnte Vereinbarung unterzeichnet. Darin wurde unter dem Titel "1. Ausgangslage" auf die mit dem Kreditvertrag vorgenommene Umschuldung hingewiesen und festgehalten: "Im Rahmen dieser Umschuldung sind die Parteien übereingekommen, dass der heutige alleinige Eigentümer des privaten Wohnhauses "V._-Strasse, in U._" dieses per Stichtag 1. Juni 2005 an die D._ AG (im folgenden D._ genannt) verkauft. Eine grundbuchamtliche Übertragung ist bis 30. Juni 2005 vorgesehen. Es ist die heutige Absicht aller Parteien, dass dieses Haus wieder in das Eigentum von A.A._ und/oder B.A._ überführt wird, sofern ihre finanzielle Lage dies innert angemessener Frist zulässt und A.A._ und B.A._ dies dannzumal noch wollen. In Ergänzung zu diesem Grundbuchgeschäft und zum Kreditvertrag vom 8. Juni 2005 treffen die Parteien vor diesem Hintergrund heute die folgende 2. Vereinbarung". Unter dem Titel "2. Vereinbarung" regelten die Parteien dann ein Mietverhältnis (Punkt 2.1) und ein Kaufrecht (Punkt 2.2). Danach verpflichtete sich die D._, die Liegenschaft ab 1. Juni 2005 fest bis 30. Juni 2010 an die Beklagten zu vermieten, und es wurden die Einzelheiten dazu geregelt. Sie verpflichtete sich sodann, den Beklagten entschädigungslos ein Kaufrecht an der Liegenschaft einzuräumen. Dieses Kaufrecht könne erstmals ausgeübt werden, wenn die heute bestehenden Schulden der Solidarschuldner A.A._ und B.A._ gegenüber der E._ GmbH von Fr. 1'780'000.-- gemäss öffentlich beurkundetem Kreditvertrag vom 8. Juni 2005 vollständig getilgt seien. Dannzumal könnten sie die Liegenschaft zum Preis von Fr. 1,2 Mio. kaufen. Sofern sie das Kaufrecht nicht bis zum 31. Dezember 2012 ausübten, erlösche es bedingungs- und entschädigungslos. B. B.a. Unter Vorlage je einer Klagebewilligung der Schlichtungsstelle für Miet- und Pachtverhältnisse See-Gaster vom 8. November 2012 und des Vermittleramts Gaster vom 8. Oktober 2012 verlangte die Klägerin mit Eingabe vom 15. November 2012 beim Kreisgericht Gaster-See, den Beklagten sei unter Strafandrohung zu befehlen, die Liegenschaft V._-Strasse Nr. zzz, bestehend aus den beiden Hausteilen nnn und ooo, in U._ sofort zu räumen und in gereinigtem Zustand zu verlassen und der Klägerin die Schlüssel zu übergeben, sowie entsprechende Vollzugsanordnungen. Einem vorangegangenen Begehren um raschen Rechtsschutz war mangels liquider Verhältnisse nicht stattgegeben worden. Mit Entscheid vom 29. Mai 2015 befahl das Kreisgericht den Beklagten, die Liegenschaft innert 10 Tagen nach Eintritt der Rechtskraft seines Entscheids zu räumen und der Klägerin ordnungsgemäss zu übergeben. Ausserdem ordnete es entsprechende Vollzugsbefugnisse der Gemeinde U._ an. Das Kreisgericht stellte fest, dem Grundbuch zufolge sei die Klägerin Eigentümerin der streitgegenständlichen Grundstücke. Es verwarf den Einwand der Beklagten, die Klägerin sei zu Unrecht im Grundbuch eingetragen, weil der Kaufvertrag simuliert und der richtige Wille auf eine fiduziarische Eigentumsübertragung gerichtet gewesen sei, der fiduziarische Vertrag aber mangels öffentlicher Beurkundung ebenfalls nichtig sei. Zwar pflichtete es den Beklagten bei, dass diesfalls der Treuhandvertrag wegen Formmangels ungültig und die Eigentumsübertragung wegen Fehlens eines gültigen Rechtsgrunds unwirksam sei. Es liess aber offen, ob in diesem Sinn von Simulation auszugehen wäre, denn jedenfalls sei die Berufung der Beklagten auf Formnichtigkeit rechtsmissbräuchlich, da die Parteien den Vertrag in Kenntnis des Mangels irrtumsfrei erfüllt hätten. Der Klägerin als Eigentümerin stehe daher ein sachenrechtlicher Anspruch auf Ausweisung nach Art. 641 Abs. 2 ZGB zu, sofern die Beklagten dem nicht ein besseres dingliches oder obligatorisches Recht entgegenhalten könnten. Ein von den Beklagten in diesem Zusammenhang geltend gemachtes Rückkaufsrecht verneinte es mangels öffentlicher Beurkundung eines solchen und weil die Beklagten den Nachweis nicht erbracht hätten, dass die Ausübungsbedingungen eingetreten seien. Es befand, dass ein Mietverhältnis vorliege. Dieses könne zufolge Zahlungsrückstands gültig gekündigt werden. B.b. Das Kantonsgericht St. Gallen wies mit Entscheid vom 2. August 2016 eine von den Beklagten gegen diesen Entscheid erhobene Berufung kostenfällig ab. Anders als das Kreisgericht prüfte es, ob die Beklagten eine Simulation des Kaufvertrages nachgewiesen hätten, und widerlegte die von den Beklagten dafür vorgebrachten Indizien im Einzelnen. Im Rahmen einer Eventualbegründung verwies es wie das Kreisgericht darauf, die freiwillige und irrtumsfreie Erfüllung des Kaufvertrages lasse die Berufung auf dessen Formungültigkeit als missbräuchlich erscheinen. Sodann sei mit der Erstinstanz davon auszugehen, dass ein Rückkaufsrecht nicht formgültig vereinbart worden sei und auch die Voraussetzungen zu dessen Ausübung weder genügend substanziiert behauptet noch nachgewiesen wären. Zwischen den Parteien bestehe ein nach Ablauf dessen Befristung stillschweigend verlängertes Mietverhältnis, wobei die Vereinbarung vom 8./14. Juni 2005 dieses nur im Grundsatz regle, namentlich bezüglich des Mietzinses. Schliesslich verwarf es die Einwände der Beklagten betreffend Fälligkeit der Mietzinse, Gültigkeit der Kündigung sowie einen Verstoss gegen das Verbot des Verfallpfandes. C. Mit Beschwerde in Zivilsachen beantragen die Beklagten dem Bundesgericht, den Entscheid des Kantonsgerichts kostenfällig aufzuheben und auf die Klage nicht einzutreten. Eventuell sei diese abzuweisen. Subeventuell sei die Sache zu neuer Beurteilung an das Kreisgericht zurückzuweisen. Die Beschwerdegegnerin trägt auf kostenfällige Abweisung der Beschwerde an. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.