Sachverhalt: A. Die Liegenschaft U._, ein Einfamilienhaus mit Einliegerwohnung, wurde seit 1997 durch B.A._ und A.A._ (Kläger; Beschwerdeführer) als Mieter bewohnt. Mit dem damaligen Eigentümer und Vermieter, D._, war ab Juni 2004 ein Mietzins von Fr. 1'530.-- (ohne Nebenkosten und Garagen) vereinbart. Die Liegenschaft wies im Jahr 2004 einen amtlichen Verkehrswert von Fr. 397'000.-- und einen Eigenmietwert von Fr. 17'770.-- auf. A.A._ stand ein übertragbares Kaufsrecht an der Liegenschaft zu. Mit Vertrag vom 20. April 2007 übertrug er es an C._ (Beklagter; Beschwerdegegner). Dieser verpflichtete sich, das Kaufsrecht auszuüben und nach Grundbucheintrag des Eigentumserwerbs beiden Klägern wiederum ein Kaufsrecht einzuräumen. Mit Kaufvertrag vom 26. April 2007 erwarb der Beklagte das Grundstück. Am 15. Juni 2007 vereinbarten der Beklagte und A.A._ ein übertragbares, bis 30. Juni 2012 befristetes Kaufsrecht. Der Kaufpreis wurde auf Fr. 345'000.-- festgesetzt. Dieser sollte sich jährlich um Fr. 5'500.-- vermindern. Der Vertrag verwies auf ein bestehendes Mietverhältnis zwischen den Parteien und wies Grundpfandschulden von Fr. 325'000.-- aus. A.A._ übertrug das Kaufsrecht am 8. Juni 2012 unentgeltlich an B.A._, diese wiederum am 19. Juni 2012 gegen Einräumung eines Kaufsrechts und der Nutzniessung auf drei Jahre nach Erwerb der Liegenschaft an die E._ AG, die das Kaufsrecht in der Folge ausübte. Trotz Bemühungen kam es während der Zeit, da der Beklagte Eigentümer der von den Klägern bewohnten Liegenschaft war, nicht zur Abfassung eines schriftlichen Mietvertrags. Zu Beginn des Mietverhältnisses leisteten die Kläger unregelmässige Zahlungen an den Beklagten. Im August 2008 schlug der damalige Rechtsvertreter des Beklagten einen Mietzins von Fr. 1'530.-- vor, da man sich bislang nicht habe einigen können und die Kläger einen tieferen Zins als beim Voreigentümer bezahlt hätten. Ab November 2008 erfolgten Zahlungen in dieser Höhe. Die Kläger behaupten, ab Januar 2010 verschiedene Mängel gerügt zu haben, insbesondere seien die Treppen mangelhaft gewesen. Sie hinterlegten die Mietzinse ab Mai 2011 für drei Monate bei der Gemeinde Quarten. Danach deponierten sie die Mietzinse bei der eigenen Bank, weil gemäss bestrittener Behauptung der Kläger die Gemeinde die weitere Entgegennahme verweigert habe. Am 17. März 2011 rügten die Kläger diverse Mängel schriftlich. Zwischenzeitlich, am 21. Oktober 2010, war der Beklagte in Konkurs gefallen. Das Konkursamt Surselva genehmigte einzelne Reparaturrechnungen, gab aber nach Rücksprache mit dem Beklagten kein Einverständnis zur Verlängerung des Kaufsrechts und hielt vor dem Entscheid über weitere Renovationen dafür, die weitere Entwicklung der Eigentumsverhältnisse abzuwarten, da an sich eine Gesamtsanierung fällig sei. Das Konkursamt mahnte am 14. Mai 2012 die ausstehenden Mietzinse für die Monate Juni 2011 bis Mai 2012 im Betrag von Fr. 18'360.-- (12 x Fr. 1'530.--) zur Zahlung bis 14. Juni 2012. Der Konkurs über den Beklagten wurde am selben Tag widerrufen. B. Bereits am 27. Mai 2011 hatten die Kläger bei der Schlichtungsstelle für Miet- und Pachtverhältnisse Werdenberg-Sarganserland ein Schlichtungsbegehren auf Mängelbeseitigung, Reduktion der Mietzinse ab November 2010 um 50 % und Freigabe der hinterlegten Mietzinse zu ihren Gunsten eingereicht. Nach erfolglosem Schlichtungsversuch reichten die Kläger am 28. Juni 2012 beim Kreisgericht Werdenberg-Sarganserland Klage ein mit den Anträgen, der Beklagte sei zu verpflichten, die (restlichen) Mängel am Mietobjekt zu beseitigen. Der Mietzins sei vom 1. November 2010 bis zur Beseitigung der Mängel um 50 % zu reduzieren. Der bei der Gemeinde Quarten hinterlegte Mietzins sei zugunsten der Kläger freizugeben. Der Beklagte beantragte die Abweisung der Klage. Er erhob Widerklage und verlangte die Verpflichtung der Kläger, ihm Fr. 23'429.-- nebst Zins als ausstehendes Entgelt für die Gebrauchsüberlassung am betreffenden Grundstück zu bezahlen. Eventualiter sei die Höhe des Mietzinses für die vollzogene Mietdauer durch den Richter zu bestimmen, wobei der Eventualantrag weiter differenziert wurde. Die Kläger trugen auf Abweisung der Widerklage an. Am 30. Januar 2013 traf die Einzelrichterin am Kreisgericht Werdenberg-Sarganserland folgenden Entscheid: "1. Die Kläger werden unter solidarischer Haftbarkeit verpflichtet, dem Beklagten CHF 17'827.10 nebst Zins zu 5% seit dem 1. August 2012 zu bezahlen. 2. Die bei der Gemeinde Quarten hinterlegten Mietzinse von total CHF 4'590.00 sind - unter Anrechnung an die Forderung gemäss Ziff. 1 - dem Beklagten herauszugeben. 3. Das klägerische Begehren betreffend Mängelbeseitigung an der Liegenschaft U._ wird zufolge Gegenstandslosigkeit als erledigt abgeschrieben. 4. Im weiteren Umfang werden Klage und Widerklage abgewiesen. [5.-6. Gerichts- und Parteikosten]" Gegen diesen Entscheid erhoben die Kläger Berufung an das Kantonsgericht St. Gallen. Sie beantragten die Aufhebung des erstinstanzlichen Entscheids mit Ausnahme von Ziffer 3 (Gegenstandslosigkeit des klägerischen Begehrens um Mängelbeseitigung), die Reduktion der Mietzinse um 50 % von November 2010 bis zum Ende des Mietverhältnisses, die Herausgabe der hinterlegten Mietzinse sowie die Abweisung der Widerklage. Mit Entscheid vom 5. Februar 2014 wies das Kantonsgericht die Berufung ab. C. Die Kläger beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts vom 5. Februar 2014 aufzuheben. Die Ziffern 1, 2 sowie 4-6 des Entscheids der Einzelrichterin am Kreisgericht Werdenberg-Sarganserland vom 30. Januar 2013 seien aufzuheben. Der Mietzins für das Einfamilienhaus an der U._ sei vom 1. November 2010 bis zur Beendigung des Mietverhältnisses am 30. Juni 2012 um 50 % zu reduzieren. Der bei der Gemeinde Quarten hinterlegte Mietzins sei zugunsten der Beschwerdeführer freizugeben. Die Widerklage sei abzuweisen. Der Beschwerdegegner beantragt, die Beschwerde abzuweisen. Die Vorinstanz verzichtete auf Vernehmlassung. Mit Präsidialverfügung vom 12. Mai 2014 wurde das Gesuch der Beschwerdeführer um Gewährung der aufschiebenden Wirkung abgewiesen.