Sachverhalt:
A.
B.A._ und A.A._ (Kläger, Beschwerdeführer) erwarben mit öffentlich beurkundetem Grundstückkaufvertrag vom 17. Dezember 2010 von D.C._ und C.C._ (Beklagte, Beschwerdegegner) das Maiensäss "X._" zum Preis von Fr. 360'000.--. Im Herbst 2013 traf A.A._ die Beklagten, welche ihm einen Ordner mit diversen Unterlagen zum gekauften Objekt überreichten. Daraufhin vereinbarten die Parteien am 2. und 20. Mai 2014 Gespräche, anlässlich welcher die Kläger zusammengefasst behaupteten, sie hätten nicht gewusst, dass der zum Grundstück gehörende Anbau lediglich als Holz- und Geräteschopf bewilligt worden war und die zulässige Erweiterung der Bruttogeschossfläche bereits mit dem ersten Bewilligungsverfahren aus den Jahren 1993/1994 ausgeschöpft worden sei. Die Beklagten stellten sich hingegen auf den Standpunkt, sie hätten zumindest A.A._ über diese Umstände informiert.
B.
Mit Klageschrift vom 5. November 2014 beantragten die Kläger beim Bezirksgericht Plessur im Wesentlichen, es sei festzustellen, dass der zwischen den Parteien abgeschlossene öffentlich beurkundete Grundstückkaufvertrag vom 17. Dezember 2010 wegen absichtlicher Täuschung, eventualiter wegen Irrtums für die Kläger unverbindlich sei. Die Beklagten seien solidarisch zu verpflichten, den Klägern Zug um Zug gegen Rückübertragung des Grundstücks den Kaufpreis von Fr. 360'000.-- und Schadenersatz von Fr. 55'173.40, zuzüglich Zins, zu bezahlen sowie den weiteren Schaden in der Höhe von Fr. 30'000.-- zu ersetzen. Eventualiter seien die Beklagten solidarisch zu verpflichten, den Klägern Ersatz des Minderwertes der Kaufsache von Fr. 260'000. -- zu bezahlen. Die Beklagten schlossen auf Abweisung der Klage. Anlässlich der Hauptverhandlung reduzierten die Kläger ihre Schadenersatzforderung (nach Abzug Mietzins) auf Fr. 48'873.40 sowie ihre Forderung auf Ersatz weiteren Schadens auf Fr. 18'282.90. Die Beklagten hielten an ihrem Antrag auf Klageabweisung fest.
Mit Urteil vom 16. März 2016 wies das Bezirksgerichts Plessur die Klage ab. Es erachtete die vorgeworfene Täuschung als unbewiesen und den behaupteten Irrtum als unwesentlich. Schliesslich könne den Beklagten auch kein arglistiges Verschweigen von Mängeln vorgeworfen werden.
Die hiergegen von den Klägern erhobene Berufung vom 2. Mai 2016 wurde vom Kantonsgericht von Graubünden mit Urteil vom 16. August 2017 abgewiesen.
C.
Mit Beschwerde in Zivilsachen begehren die Kläger im Wesentlichen die Aufhebung der Urteile des Bezirksgerichts Plessur sowie des Kantonsgerichts von Graubünden und erneuern die vor erster sowie zweiter Instanz gestellten Rechtsbegehren.
Die Beschwerdegegner beantragen die Abweisung der Beschwerde. Die Vorinstanz beantragt die Abweisung der Beschwerde, soweit auf sie einzutreten sei.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen einen Endentscheid (<ref-law>) eines oberen kantonalen Gerichts, das in einer Zivilsache (<ref-law>) als Rechtsmittelinstanz entschieden hat (<ref-law>). Der Streitwert übersteigt den Betrag von Fr. 15'000.-- (<ref-law>). Die Rechtsbegehren der Beschwerdeführer sind im kantonalen Verfahren nicht geschützt worden (<ref-law>) und die Beschwerde erging fristgerecht (<ref-law>). Auf die Beschwerde ist unter Vorbehalt einer rechtsgenüglichen Begründung (<ref-law> und <ref-law>) einzutreten.
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht der beschwerdeführenden Partei (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.3; <ref-ruling> E. 1.4 S. 400). Beruht der angefochtene Entscheid auf mehreren selbständigen Begründungen, die je für sich den Ausgang des Rechtsstreits besiegeln, so hat die beschwerdeführende Partei darzulegen, dass jede von ihnen Recht verletzt (<ref-ruling> E. 2.4 S. 368; <ref-ruling> E. 4.1.4; <ref-ruling> E. 3.4 S. 735; <ref-ruling> E. 6.3).
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.2. Die Beschwerdeführer berücksichtigen diese Grundsätze in der Beschwerdeschrift über weite Strecken nicht. Insoweit sie lediglich dem vorinstanzlichen Sachverhalt ihre eigene Sicht der Dinge gegenüberstellen oder sich darauf beschränken, wiederholt zu behaupten, die Tatsachendarstellung der Vorinstanz sei falsch bzw. aktenwidrig, vermögen sie die Anforderungen an eine rechtsgenügliche Rüge nicht zu erfüllen. Weil die Beschwerdeführer zudem Sachverhalts- und Rechtsfragen in unzulässiger Weise vermengen, ist teilweise unklar, inwiefern Bundesrecht durch den angefochtenen Entscheid verletzt sein soll, wenn die vorinstanzlichen Feststellungen im angefochtenen Urteil zugrunde gelegt werden. So handelt es sich insbesondere bei den Feststellungen, unter welchen Umständen die Verhandlungen und der Vertragsabschluss stattfanden, um Sachverhaltsfragen.
Diesbezüglich führte die Vorinstanz aus, D.C._ habe A.A._ anlässlich der Besichtigung des Anbaus darauf hingewiesen, dass sie in letzter Zeit aus gesundheitlichen Gründen darin geschlafen habe. Eine Bewilligung für diese Nutzung liege jedoch nicht vor. Der Grundbuchführer Diener wisse das, sei aber der Meinung gewesen, dass hierfür "kein Büro aufgemacht" werde. Ausserdem habe D.C._ A.A._ über die verschiedenen Bewilligungsverfahren orientiert. A.A._ habe entgegnet, dies stelle für ihn kein Problem dar. Zudem hätten die Beschwerdegegner bereits vor Abschluss des Kaufvertrags den Beschwerdeführern einen Ordner mit Unterlagen zum Kaufobjekt angeboten. A.A._ habe indessen erwidert, er verfüge bereits über alle nötigen Unterlagen, weshalb für ihn der Ordner nicht wichtig sei. Die Vorinstanz schloss, dass zumindest A.A._ Kenntnis von der fehlenden Bewilligung für die Nutzung des Anbaus als Wohnraum hatte, wobei sich seine Ehefrau dieses Wissen anzurechnen habe.
2.3. Im Zusammenhang mit der Verteilung der Beweislast bezüglich Aufklärung über die fehlende Bewilligung des Anbaus zur Wohnnutzung erachten die Beschwerdeführer <ref-law> als verletzt. Die Frage der Beweislastverteilung wird indessen gegenstandslos, wenn die Vorinstanz aufgrund ihrer Beweiswürdigung zum Ergebnis gekommen ist, ein bestimmter Sachverhalt sei nachgewiesen worden (<ref-ruling> E. 3 S. 282; <ref-ruling> E. 3.4 S. 634; <ref-ruling> E. 5.4 S. 602; <ref-ruling> E. 2b/aa S. 277). Richtig besehen beanstanden die Beschwerdeführer mit ihren Vorbringen das Ergebnis der vorinstanzlichen Beweiswürdigung und damit die Feststellung des Sachverhalts. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung übereinstimmen, belegt jedoch keine Willkür im Sinne von <ref-law> (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2).
2.4. Die Beschwerdeführer rügen in Bezug auf die Feststellung des Sachverhalts zudem eine Verletzung von Art. 6 Ziff. 1 EMRK, <ref-law>, Art. 55, Art. 150 und <ref-law>, weil die Vorinstanz die von den Beschwerdeführern anlässlich der Instruktionsverhandlung vorgetragenen Bestreitungen der von den Beschwerdegegnern in der Klageantwort aufgestellten Tatsachenbehauptungen als verspätet erachtete und ihrer rechtlichen Würdigung die unbestritten gebliebene Sachdarstellung der Beschwerdegegner zugrunde legte.
2.4.1. Nach der Rechtsprechung kann sich jede Partei (nur) zweimal unbeschränkt äussern (Urteil 4A_338/2017 vom 24. November 2017 E. 2.1, zur Publikation vorgesehen; <ref-ruling> E. 6.6; <ref-ruling> E. 3.2.4 S. 486) : Ein erstes Mal im Rahmen des ersten Schriftenwechsels; ein zweites Mal entweder im Rahmen eines angesichts der Verhältnisse vom Gericht als erforderlich erachteten zweiten Schriftenwechsels (<ref-law>) oder an einer Instruktionsverhandlung (<ref-law>) oder zu Beginn der Hauptverhandlung vor den ersten Parteivorträgen (<ref-law>). Wenn ein zweiter Schriftenwechsel angeordnet wurde, die Parteien aber auf entsprechende Eingaben verzichteten, gilt der doppelte Schriftenwechsel als durchgeführt, womit der Aktenschluss eintritt. Wäre es stattdessen möglich, an einer einem doppelten Schriftenwechsel folgenden Instruktionsverhandlung noch unbeschränkt Tatsachen vorzubringen, wäre die Eventualmaxime in das Ermessen des Gerichts gestellt und eine Partei wüsste von vornherein nie, wann der Aktenschluss eintritt. Ein solches Vorgehen würde einem geordneten und für die Parteien berechenbaren Prozessablauf widersprechen (vgl. Urteil 4A_338/2017 vom 24. November 2017 E. 2.1, zur Publikation vorgesehen; <ref-ruling> E. 6.3.2.3 S. 314 f.).
2.4.2. Es ist unbestritten, dass den Beschwerdegegnern Frist angesetzt wurde, um eine schriftliche Replik einzureichen und dass diese hierauf mit schriftlicher Eingabe vom 25. März 2014 ausdrücklich verzichteten. Da die Beschwerdeführer zu Recht nicht vorbringen, ihr Verzicht, im Rahmen eines zweiten Schriftenwechsels unbeschränkt neue Tatsachen und Beweismittel vorzubringen, sei nicht rechtsgültig, trat der Aktenschluss bereits zu diesem Zeitpunkt ein. Entgegen dem, was die Beschwerdeführer anzunehmen scheinen, kann eine Partei durch Verzicht auf Einreichung einer schriftlichen Replik nicht bewirken, dass der Aktenschluss erst nach einer hiernach stattfindenden Instruktionsverhandlung im Sinne von <ref-law> eintritt. Mithin ist es aufgrund der Eventualmaxime sowohl der Parteidisposition als auch dem Ermessen des Gerichts entzogen, die Novenschranke zu einem späteren Zeitpunkt fallen zu lassen (Urteil 4A_338/2017 vom 24. November 2017 E. 2.1, zur Publikation vorgesehen; <ref-ruling> E. 6.3.2.3 S. 314 f.). Entgegen der Ansicht der Beschwerdeführer können auch die - nota bene erst nach dem Verzicht auf Replik angebrachten - gegenteiligen (unrichtigen) Hinweise des Instruktionsrichters nichts an dieser Rechtslage ändern.
Demnach ging die Vorinstanz zutreffend davon aus, dass die von den Beschwerdeführern erst anlässlich der nach dem zweifachen Schriftenwechsel durchgeführten Instruktionsverhandlung vorgebrachten Tatsachenbehauptungen bzw. Bestreitungen verspätet erfolgten. Da keine erheblichen Zweifel an der Richtigkeit der nicht streitigen Tatsachendarstellung der Beschwerdegegner bestand (vgl. Art. 150 Abs. 1 und 153 Abs. 2 ZPO), durfte die Vorinstanz willkürfrei und ohne Verletzung von Bundesrecht (vgl. Art. 97 Abs. 1 und <ref-law>) von der unbestritten gebliebenen Tatsachendarstellung der Beschwerdegegner ausgehen.
2.4.3. Insoweit die Beschwerdeführer schliesslich jeweils ohne rechtsgenügliche Begründung im Sinne von Art. 42 Abs. 1 und 2 BGG behaupten, ihr (unbedingtes) Replikrecht gestützt auf <ref-law> und Art. 6 Ziff. 1 EMRK (vgl. dazu <ref-ruling> E. 4.1; <ref-ruling> E. 3.2; <ref-ruling> E. 2; je mit Hinweisen) sei nicht gewahrt worden sowie Art. 55 bzw. <ref-law> seien verletzt worden, können sie nicht gehört werden.
3.
In materieller Hinsicht rügen die Beschwerdeführer eine Verletzung von Art. 28, Art. 23 ff. sowie <ref-law>, weil die Vorinstanz ihnen weder Ansprüche aus Mängeln des Vertragsabschlusses (Art. 23 ff. und <ref-law>) noch aus kaufrechtlicher Gewährleistung (<ref-law>) zugestand.
Der Vertrag kann von einer Partei für unverbindlich erklärt werden, wenn sie sich bei dessen Abschluss in einem wesentlichen Irrtum befunden hat (<ref-law>) oder wenn sie getäuscht worden ist (<ref-law>), wobei in letzterem Fall der Irrtum kein wesentlicher zu sein braucht. Sodann haftet nach <ref-law> der Verkäufer dem Käufer für körperliche oder rechtliche Mängel der Kaufsache, die ihren Wert oder ihre Tauglichkeit zu dem vorausgesetzten Gebrauche aufheben oder erheblich mildern und die der Käufer zur Zeit des Kaufes nicht gekannt hat (<ref-law>). Anspruchsvoraussetzung ist demnach jeweils die mangelnde Kenntnis des wahren Zustands der Kaufsache.
Wenn die willkürfreie Feststellung der Vorinstanz der Kenntnis bezüglich fehlender Bewilligung des Anbaus zur Wohnnutzung dem Urteil zugrunde gelegt wird (<ref-law>), stehen den Beschwerdeführern weder Ansprüche aus Mängeln des Vertragsabschlusses (zufolge Irrtums nach <ref-law> bzw. absichtlicher Täuschung nach <ref-law>) noch aus kaufrechtlicher Gewährleistung (<ref-law>) zu. Die Vorinstanz hat die von den Beschwerdeführern geltend gemachten Ansprüche zutreffend verneint.
4.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Ausgangsgemäss werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 7'000.-- werden den Beschwerdeführern (solidarisch, intern je zur Hälfte) auferlegt.
3.
Die Beschwerdeführer (solidarisch, intern je zur Hälfte) haben die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 8'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 31. Januar 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Hug