Sachverhalt:
A.
Am 22. August 2011 schlossen A.A._ (Klägerin 1, Beschwerdeführerin 1) als Mieterin und die C._ AG (Beklagte, Beschwerdegegnerin) als Vermieterin einen Mietvertrag für ein Reiheneinfamilienhaus ab. B.A._ (Kläger 2; Beschwerdeführer 2) unterschrieb den Vertrag unter der Bezeichnung "Ehepartner" ebenfalls.
Die Klägerin 1 rügte nach dem Einzug diverse Mängel, die von der Beklagten teilweise behoben wurden. In der Folge erwirkte die Klägerin 1 auf dem Klageweg am Kreisgericht See-Gaster und auf ihre Berufung hin am Kantonsgericht St. Gallen teilweise erfolgreich die Beseitigung noch bestehender Mängel sowie eine zeitlich begrenzte Mietzinsherabsetzung. Die von beiden Parteien gegen den Entscheid des Kantonsgerichts eingereichten Beschwerden wurden vom Bundesgericht - soweit Eintreten erfolgte - mit Urteil 4A_333/2015 und 4A_337/2015 vom 27. Januar 2016 abgewiesen.
B.
Am 30. Dezember 2015 reichte der Kläger 2 bei der Schlichtungsstelle für Miet- und Pachtverhältnisse See-Gaster ein Schlichtungsgesuch ein, mit dem er die Beseitigung weiterer Mängel - sowie bis zu deren Behebung - eine Mietzinsherabsetzung forderte. Die Streitsache blieb unvermittelt und die Schlichtungsstelle stellte am 16. März 2016 für den Kläger 2 eine Klagebewilligung aus. Gestützt darauf reichte er am 18. April 2016 für sich selbst und in Vertretung der Klägerin 1 am Kreisgerichts See-Gaster Klage ein. Mit Entscheid vom 16. August 2016 trat der Einzelrichter des Kreisgerichts auf die Klage nicht ein. Er erwog im Wesentlichen, der Kläger 2 habe das Schlichtungsverfahren alleine im eigenen Namen geführt, obwohl er nicht Partei des Mietvertrages sei. Seine Ehefrau habe er als Klägerin 1 erstmals in der Klage genannt. Selbst wenn der Kläger 2 Mieter gewesen wäre, würde dies zu keinem anderen Ergebnis führen, da dann eine notwendige Streitgenossenschaft mit der Klägerin 1 bestanden hätte, diese sich aber nicht am Schlichtungsverfahren beteiligt habe.
Dagegen erhob der Kläger 2 für sich und in Vertretung der Klägerin 1 Berufung an das Kantonsgericht St. Gallen und verlangte die Gutheissung der Klage. Das Kantonsgericht erwog mit Entscheid vom 23. Januar 2018, die Erstinstanz sei auf die Klage der Klägerin 1 mangels gültiger Klagebewilligung zu Recht nicht eingetreten. Insofern erweise sich die Berufung als unbegründet. Demgegenüber sei auf die Klage des Klägers 2 einzutreten. In diesem Sinne sei der angefochtene Entscheid zu korrigieren. Indessen fehle es für die Gutheissung seiner Klage in zweierlei Hinsicht an materiellrechtlichen Voraussetzungen, da ihm einerseits mangels Parteistellung im Mietvertrag die nötige Klagelegitimation abgehe und seine Klage andererseits selbst unter der Annahme, er sei ebenfalls Mietpartei, mangels gültiger Teilnahme der Klägerin 1 als notwendige Streitgenossin abzuweisen sei. Entsprechend sei die Berufung der Klägerin 1 abzuweisen. Die Klage des Klägers 2 sei abzuweisen; im Übrigen bleibe der angefochtene Entscheid unverändert.
C.
Gegen den Entscheid des Kantonsgerichts erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Sie beantragen die Aufhebung des Entscheids des Kantonsgerichts, die Verpflichtung der Beschwerdegegnerin zur Behebung der im Rechtsbegehren spezifizierten Mängel und, bis zu deren vollständigen Behebung, die im Rechtsbegehren bestimmte Herabsetzung des Mietzinses. Eventualiter sei die Sache an die Vorinstanz zurückzuweisen. Alles unter Kosten- und Entschädigungsfolgen zu Lasten der Beschwerdegegnerin.
Auf Vernehmlassungen zur Beschwerde wurde verzichtet.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, insbesondere auch das Streitwerterfordernis von <ref-law> mit einem Streitwert von Fr. 15'400.--, und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) ist daher auf die Beschwerde einzutreten.
2.
2.1. Die Vorinstanz erwog, unbestritten sei, dass die Beschwerdeführerin 1 als Mieterin Partei des Mietvertrages sei. Unbestritten sei auch, dass sie nicht am Verfahren vor der Schlichtungsbehörde teilgenommen habe. Die Rüge des überspitzten Formalismus der Beschwerdeführer an die Adresse der Schlichtungsbehörde, wonach diese den Beschwerdeführer 2 im Falle einer notwendigen Streitgenossenschaft auf die Notwendigkeit der Teilnahme der Beschwerdeführerin 1 hätte hinweisen müssen, gehe fehl: Die Schlichtungsbehörde sei nicht gehalten gewesen, im laufenden Schlichtungsverfahren von sich aus Abklärungen zu treffen, ob dem Beschwerdeführer 2 überhaupt Mieterstellung zukomme. Schon gar nicht sei sie verpflichtet gewesen, alsdann, unter der Annahme einer notwendigen Streitgenossenschaft, darauf hinzuwirken, dass die Beschwerdeführerin 1 ebenfalls an der Schlichtungsverhandlung teilnehme. Vorliegend sei die Schlichtung zumindest teilweise gescheitert, woraufhin die Klagebewilligung ausgestellt worden sei. Diese nenne auf der Klägerseite einzig den Beschwerdeführer 2. Die Beschwerdeführerin 1 werde dagegen nicht aufgeführt. Es werde auch nicht geltend gemacht bzw. es fehlten Hinweise, dass die Beschwerdeführerin 1 im Schlichtungsgesuch aufgeführt gewesen sei und alsdann auf der Klagebewilligung vergessen worden wäre. Die Beschwerdeführerin 1 sei mithin im Schlichtungsverfahren nicht Partei. Folgerichtig verfüge sie auch über keine Klagebewilligung, womit es an einer Prozessvoraussetzung fehle. Die Erstinstanz sei somit auf ihre Klage zu Recht nicht eingetreten.
2.2. Das Gericht tritt auf eine Klage oder auf ein Gesuch ein, sofern die Prozessvoraussetzungen erfüllt sind (<ref-law>). Wo dem Prozess ein Schlichtungsversuch vorauszugehen hat, ist das Vorliegen einer gültigen Klagebewilligung der Schlichtungsbehörde nach <ref-law> eine Prozessvoraussetzung, die das Gericht gemäss <ref-law> von Amtes wegen zu prüfen hat (<ref-ruling> E. 2.1 mit Hinweisen). Abgesehen vom Spruch über die Kosten, stellt die Klagebewilligung keinen anfechtbaren Entscheid dar (<ref-ruling> E. 2.1). Die beklagte Partei kann ihre Gültigkeit aber im erstinstanzlichen Klageverfahren bestreiten (<ref-ruling> E. 2.1). Das Gericht hat dann im Rahmen der Klärung der Prozessvoraussetzungen zu prüfen, ob der geltend gemachte Mangel des Schlichtungsverfahrens die Ungültigkeit der Klagebewilligung bewirkt. Neben dem Fall der offensichtlichen Unzuständigkeit der Schlichtungsbehörde (vgl. <ref-ruling> E. 2.1 und 2.2) wäre dies nach der Rechtsprechung des Bundesgerichts etwa dann denkbar, wenn wegen der Mitwirkung eines befangenen Schlichters die Möglichkeit einer Einigung der Parteien illusorisch war und das Schlichtungsverfahren dadurch seines Zweckes beraubt wurde (Urteile 4A_387/2013 vom 17. Februar 2014 E. 3.2, nicht publ. in <ref-ruling>; 4A_131/2013 vom 3. September 2013 E. 2.2.2.1). Bejaht das Gericht Mängel des Schlichtungsverfahrens, welche die Klagebewilligung ungültig machen, hat es auf die Klage nicht einzutreten (Urteil 5A_38/2016 vom 21. April 2016 E. 2).
2.3. Vorliegend beruft sich nicht die Beschwerdegegnerin als beklagte Partei auf Mängel im Schlichtungsverfahren, sondern die Beschwerdeführer als Kläger beanstanden die Klagebewilligung. Sie beharren auf ihrer bereits vor der Vorinstanz vorgebrachten Auffassung, dass die Schlichtungsbehörde den Beschwerdeführer 2 darauf hätte hinweisen müssen, dass auch die Beschwerdeführerin 1 am Schlichtungsverfahren teilzunehmen habe. Sie beantragen vor Bundesgericht die Gutheissung ihrer Klage auf Mängelbeseitigung und Herabsetzung des Mietzinses und verlangen damit implizit, dass die Vorinstanz auf die Klage der Beschwerdeführerin 1 hätte eintreten müssen.
2.4. Diesem Begehren kann nicht statt gegeben werden: Unbestritten ist, dass die Beschwerdeführerin 1 nicht persönlich an der Schlichtungsverhandlung teilnahm und die Klagebewilligung als klagende Partei einzig den Beschwerdeführer 2 nennt ("Klagende Partei: B.A._"). Selbst wenn der Auffassung der Beschwerdeführer gefolgt würde, und die Klagebewilligung deswegen ungültig würde, führte dies nicht dazu, dass das Gericht auf die Klage der Beschwerdeführerin 1 hätte eintreten müssen. Die Beschwerdeführerin 1 nahm nicht an der Schlichtungsverhandlung teil und deshalb wurde für sie korrekterweise keine Klagebewilligung ausgestellt.
Die Beschwerdeführer machen sodann nicht rechtsgenüglich geltend, dass die Beschwerdeführerin 1 an der Schlichtungsverhandlung nicht habe persönlich erscheinen können und von ihrem Ehemann rechtskonform vertreten worden wäre (<ref-law>). Soweit sie diesbezüglich erstmals vor Bundesgericht vorbringen, die Beschwerdeführerin 1 habe aus gesundheitlichen Gründen nicht an der Schlichtungsverhandlung teilgenommen, stützen sie sich auf tatsächliche Elemente, die im vorinstanzlichen Sachverhalt nicht festgestellt wurden, ohne dabei eine rechtsgenügliche Willkürrüge zu erheben (<ref-ruling> E. 1.3.1 S. 18, 86 E. 2 S. 90). Damit sind sie nicht zu hören.
Es fehlt der Beschwerdeführerin 1 damit an einer Klagebewilligung und daher an einer Prozessvoraussetzung, weshalb die Vorinstanz zu Recht nicht auf ihre Klage eingetreten ist (vgl. <ref-ruling> E. 3.2.1). Die Beschwerdeführerin 1 hat folglich für ihre Klage auf Mängelbeseitigung und Herabsetzung des Mietzinses ein Schlichtungsgesuch zu stellen und an der Schlichtungsverhandlung grundsätzlich persönlich zu erscheinen (<ref-law>). Es handelt sich dabei nicht um einen formalistischen Leerlauf, hat doch die Beschwerdeführerin 1 als die auf dem Mietvertrag vom 22. August 2011 ausgewiesene Mieterin bis anhin noch nicht am obligatorischen Schlichtungsversuch teilgenommen.
Dass den Beschwerdeführern durch die (erneute) Stellung des Schlichtungsgesuchs Nachteile entstünden, legen sie in der Beschwerdeschrift nicht dar. Im Übrigen war das Schlichtungsverfahren kostenlos (<ref-law>); eine Parteientschädigung wurde nicht zugesprochen (<ref-law>). Die erst- und zweitinstanzlichen Kosten- und Entschädigungsfolgen beanstanden sie schliesslich nicht hinreichend (dazu unten Erwägung 4).
3.
3.1. Die Beschwerdeführer wenden sich gegen die vorinstanzliche Abweisung der Klage des Beschwerdeführers 2. Die Vorinstanz erwog, die Beschwerdeführer seien der Auffassung, dass nicht nur die Beschwerdeführerin 1, sondern auch der Beschwerdeführer 2 Mieter und somit berechtigt sei, den vorliegenden Prozess - allenfalls gar alleine - zu führen.
Die Vorinstanz kam diesbezüglich in einer ausführlichen Vertragsauslegung zusammengefasst zum Schluss, dass der Beschwerdeführer 2 nicht Partei des am 22. August 2011 geschlossenen Mietvertrages sei. Selbst unter der Annahme, dass der Beschwerdeführer 2 ebenfalls Partei des hier strittigen Mietverhältnisses wäre, würde sich am Ausgang des Verfahrens nichts ändern: In diesem Fall handle es sich bei den Beschwerdeführern um eine notwendige Streitgenossenschaft, mit der Konsequenz, dass beide Kläger persönlich am Schlichtungsverfahren hätten teilnehmen müssen, um in der Folge auch gemeinsam klagen zu können. Klagten die notwendigen Streitgenossen nicht zusammen, so fehle dem teilnehmenden Streitgenossen die Aktivlegitimation und die Klage sei, wie vorliegenden in Bezug auf den Beschwerdeführer 2, abzuweisen.
3.2. Nach dem Gesagten wies die Vorinstanz die Klage des Beschwerdeführers 2 mit zwei selbstständigen Begründungen ab. Beruht der angefochtene Entscheid auf mehreren selbständigen Begründungen, die je für sich den Ausgang des Rechtsstreits besiegeln, so hat die beschwerdeführende Partei darzulegen, dass jede von ihnen Recht verletzt; andernfalls kann auf die Beschwerde nicht eingetreten werden (<ref-ruling> E. 3.4 S. 735).
Diesen Anforderungen kommen die Beschwerdeführer nicht nach. Sie berufen sich vor Bundesgericht einzig darauf, dass der Beschwerdeführer 2 entgegen der Auffassung der Vorinstanz Partei des Mietvertrages sei. Die selbstständig tragende Eventualbegründung der Vorinstanz, dass selbst unter der Annahme, der Beschwerdeführer 2 sei Partei des Mietvertrags, die Klage mangels gültiger Teilnahme der Beschwerdeführerin 1 an der Schlichtungsverhandlung als notwendige Streitgenossin abzuweisen sei, widerlegen sie nicht, zumindest nicht rechtsgenügend, sodass auf dieses Vorbringen nicht einzutreten ist.
4.
4.1. Schliesslich beanstanden die Beschwerdeführer die Höhe der Verfahrenskosten. Sie berufen sie darauf, falls das Verfahren zu ihren Gunsten ausgehen sollte, habe die Beschwerdegegnerin die Verfahrenskosten zu tragen. Abgesehen davon sei die Höhe der Verfahrenskosten "zur Überprüfung zu stellen". Gesamthaft ergäben sich für die ersten beiden Instanzen Gerichtskosten von Fr. 4'250.-- und Fr. 6'545.50 an Parteientschädigung. Wirtschaftlich betrachtet stünden die Gerichtskosten in keinem sinnvollen Verhältnis zum angestrebten Wert des Verfahrens. Auch die Parteientschädigung der anwaltlich vertretenen Beschwerdegegnerin stünde im Missverhältnis zum Nutzen des Verfahrens. Die Prozesskosten seien nicht verhältnismässig.
4.2. Da die Beschwerde nach dem Gesagten nicht gutgeheissen werden kann, entfällt eine andere Verlegung der Prozesskosten aufgrund des Prozessausgangs. Soweit sich die Beschwerdeführer direkt gegen die Höhe der erstinstanzlichen Prozesskosten richten, kann darauf von vornherein nicht eingetreten werden, denn die Beschwerde in Zivilsachen ist nur gegen Entscheide letzter kantonaler Instanzen zulässig (<ref-law>). Bezüglich der vorinstanzlichen Kosten- und Entschädigungsfolgen fehlt es an einem bezifferten Antrag (<ref-ruling> E. 1.2), sodass schon aus diesem Grund darauf nicht einzutreten ist.
Unabhängig davon, begründete die Vorinstanz in Erwägung IV.2 S. 18 unter Verweis auf die anwendbaren kantonalen Vorschriften die Höhe der Gerichskosten und der Parteientschädigung im Berufungsverfahren. Indem die Beschwerdeführer dagegen einzig pauschal behaupten, dass diese unverhältnismässig seien, legen sie nicht hinreichend dar und es ist auch nicht ersichtlich, inwiefern die Vorinstanz bezüglich der Kosten- und Entschädigungsfolgen ihr Ermessen über- bzw. unterschritten oder missbraucht und damit Bundesrecht verletzt hätte (vgl. <ref-ruling> E. 3.3.2 S. 109). Es hat damit sein Bewenden.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit auf sie überhaupt eingetreten werden kann. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer in solidarischer Haftbarkeit kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin ist aus dem bundesgerichtlichen Verfahren kein entschädigungs-pflichtiger Aufwand erwachsen, weshalb ihr keine Parteientschädigung zuzusprechen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern in solidarischer Haftbarkeit auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 27. April 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger