Sachverhalt:
A. Mit Vertrag vom 31. März 2001 verkauften die Ehegatten A._ und B._ (Beschwerdeführer) Herrn C._ (Beschwerdegegner) ihren landwirtschaftlichen Betrieb zu einem Preis von Fr. 1'450'000.--. Anlässlich der öffentlichen Beurkundung leistete der Beschwerdegegner vereinbarungsgemäss eine Anzahlung von Fr. 100'000.--. Am 1. April 2001 übernahm er den Landwirtschaftsbetrieb zur Bewirtschaftung, zum Eigentumsübergang kam es jedoch in der Folge nicht. Mit Schreiben vom 23. November 2001 erklärte der Beschwerdegegner den Rücktritt vom Vertrag.
B. B.a Am 27. Mai 2003 reichte der Beschwerdegegner beim Bezirksgericht Steckborn Klage ein mit dem Begehren, die Beschwerdeführer seien zu verurteilen, ihm unter solidarischer Haftung Fr. 100'000.-- nebst Zins zu bezahlen.
Der Beschwerdegegner machte unter anderem geltend, die Beschwerdeführer hätten ihm für den Betrieb und die zu übernehmenden Grundstücke einen Ertragswert von Fr. 539'500.-- sowie eine Belastungsgrenze von Fr. 677'000.-- zugesichert. Nachträglich habe er jedoch realisieren müssen, dass der effektive Ertragswert nur Fr 247'000.-- und die Belastungsgrenze Fr. 334'100.-- betragen habe. Deshalb sei er am 23. November 2001 vom Kaufvertrag zurückgetreten. Er fordere die Anzahlung des Kaufpreises von Fr. 100'000.-- zurück, die Zahlung einer Konventionalstrafe von Fr. 50'000.-- gemäss Art. 12.2 Abs. 3 des Vertrages sowie eine Entschädigung für ausgeführte Arbeiten an der Liegenschaft und für die Fütterung der als Jungvieh übernommenen acht Rinder. Demgegenüber anerkenne er, den Verkäufern einen Betrag von Fr. 44'330.-- zu schulden.
B.b Mit Urteil vom 7. März 2008 hiess das Bezirksgericht Steckborn die Klage teilweise gut und verurteilte die Beschwerdeführer zur Zahlung von Fr. 100'000.-- zuzüglich 5% Zins seit 15. November 2002. Dagegen legten die Beschwerdeführer beim Obergericht des Kantons Thurgau Berufung ein mit dem Antrag, die Klage sei abzuweisen. Mit Urteil vom 21. Oktober 2008 wies das Obergericht die Berufung ab und verurteilte die Beschwerdeführer zur Zahlung von Fr. 100'000.-- zuzüglich 7.6% Zins seit 15. November 2002. Bei der Höhe des Zinssatzes handelte es sich um einen offensichtlichen Verschrieb. Auf ein Berichtigungsgesuch hin korrigierte das Obergericht in der Folge den Zinssatz und setzte ihn in Übereinstimmung mit dem erstinstanzlichen Entscheid auf 5% fest.
C. Mit Beschwerde in Zivilsachen vom 19. Mai 2009 beantragen die Beschwerdeführer dem Bundesgericht, es sei das Urteil des Obergerichts des Kantons Thurgau aufzuheben und die Klage des Beschwerdegegners abzuweisen. Eventualiter sei das Urteil des Obergerichts aufzuheben und die Streitsache zur Neubeurteilung an die erste Instanz, allenfalls an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner und die Vorinstanz schliessen in ihren Vernehmlassungen auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz (Art. 75 Abs. 1 i.V.m. <ref-law>) in einer Zivilsache (<ref-law>), die Rechtsbegehren des Beschwerdeführers sind im kantonalen Verfahren nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist eingehalten (Art. 46 Abs. 1 lit. a i.V.m. <ref-law>). Auf die Beschwerde ist damit grundsätzlich einzutreten.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden, und kann deshalb die Beschwerde auch aus andern als den geltend gemachten Gründen gutheissen oder abweisen (<ref-ruling> E. 1.1 S. 104; <ref-ruling> E. 1. S. 50, mit Hinweisen). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). In der Beschwerdeschrift ist zudem in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Aus den materiellrechtlichen Rügen muss wenigstens sinngemäss ersichtlich sein, inwieweit der angefochtene Entscheid nach Ansicht der Beschwerdeführer bundesrechtliche Normen verletzen soll, wenn der von der Vorinstanz verbindlich festgestellte und nicht der davon abweichende, von den Beschwerdeführern lediglich behauptete Sachverhalt zugrunde gelegt wird (<ref-law>).
2. Die Beschwerdeführer werfen der Vorinstanz offensichtlich unrichtige Sachverhaltsfeststellungen im Sinne von <ref-law> vor. Entgegen der Auffassung der Vorinstanz sei nicht belegt, dass der Beschwerdegegner aufgrund der zu tiefen Belastungsgrenze nicht genügend Hypotheken für seine eigenen Bauvorhaben habe aufnehmen können.
2.1 Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Dabei bedeutet "offensichtlich unrichtig" willkürlich (<ref-ruling> E. 1.5 mit Hinweis). Entsprechende Beanstandungen sind nach Massgabe von <ref-law> zu begründen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 1.4.3 S. 254 f. mit Hinweisen).
2.2 Gemäss den Feststellungen der Vorinstanz haben die Beschwerdeführer die auf den verkauften Liegenschaften lastenden Hypotheken erhöht, ohne dass sie mit dem aufgenommenen Kapital jene Bauvorhaben realisiert hätten, welche das Landwirtschaftsamt bei der Berechnung der in der Betriebsbeschreibung angegebenen Belastungsgrenze mitberücksichtigt hat. Das für die Realisierung dieser Bauvorhaben notwendige Fremdkapital konnte der Beschwerdegegner in der Folge nicht mehr beschaffen, da die Belehnungsgrenze in Wirklichkeit tiefer war.
Demgegenüber behaupten die Beschwerdeführer, dass die Belastungsgrenze im August 2001 auf Gesuch des Beschwerdeführers hin auf Fr. 868'000.-- erhöht worden sei; damit habe der Beschwerdeführer weitere Fr. 268'600.-- für die Realisierung seiner Bauvorhaben aufnehmen können. Wenn der Beschwerdegegner aufgrund eigener Bauvorhaben die Belastungsgrenze erhöhen konnte, bedeutet dies jedoch entgegen der Ansicht der Beschwerdeführer nicht zwingend, dass die frühere Grenze im Verhältnis zum aktuellen Zustand nicht zu hoch angesetzt war und dass die neue Belastungsgrenze dem Beschwerdegegner erlaubt hätte, die für seine Bauten benötigten Hypothekarkredite in vollem Umfang aufnehmen zu können. Die Feststellung der Vorinstanz, dass der Beschwerdegegner das für die Realisierung seiner Bauvorhaben notwendige Fremdkapital nicht mehr habe beschaffen können, ist nicht willkürlich.
2.3 Soweit die Beschwerdeführer bestreiten, dass sie über die Diskrepanz der amtlichen Angaben und der tatsächlichen Situation im Bild gewesen seien, und dass die Belastungsgrenze für den Beschwerdegegner eine wesentliche Vertragsgrundlage bildete, handelt es sich um appellatorische Rügen. Die Beschwerdeführer begnügen sich damit, ihre eigene Version des Sachverhalts zu behaupten, ohne aufzuzeigen, dass die vorinstanzliche Beweiswürdigung geradezu unhaltbar ist. Auf diese Rügen ist mangels hinreichender Begründung nicht einzutreten.
3. Die Beschwerdeführer werfen der Vorinstanz weiter die Verletzung der aus dem Anspruch auf rechtliches Gehör fliessenden Begründungspflicht und des Willkürverbots vor. Die Vorinstanz sei auf den Einwand der Beschwerdeführer nicht eingegangen, dass die Gewährleistung für die Richtigkeit des Belehnungswerts gestützt auf Art. 3 des Vertrages wegbedungen worden sei. Sie habe auch nicht berücksichtigt, dass der Beschwerdegegner die Kaufsache gemäss Art. 3 des Vertrags "wie besichtigt im heutigen Zustand" übernommen habe. Zudem habe die Vorinstanz nicht begründet, inwiefern die Beschwerdeführer dem Beschwerdegegner hinsichtlich des Ertragswerts bzw. der Belastungsgrenze überhaupt Zusicherungen abgegeben hätten.
3.1 Das Bundesgericht leitet aus dem in <ref-law> gewährleisteten Anspruch auf rechtliches Gehör in ständiger Rechtsprechung die Pflicht der Behörden ab, ihre Entscheide zu begründen. Die Begründung muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt (<ref-ruling> E. 3.2 S. 236; <ref-ruling> E. 2b S. 102; <ref-ruling> E. 2c S. 57). Nicht erforderlich ist hingegen, dass sich der Entscheid mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Es genügt, wenn sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache sachgerecht anfechten kann (BGE <ref-ruling> E. 2b S. 102; <ref-ruling> E. 2c S. 372).
3.2 Es trifft zu, dass sich die Beschwerdeführer vor der Vorinstanz unter anderem auch auf Art. 3 des Kaufvertrags mit dem Titel "Keine Gewährleistung" berufen haben. Diese Bestimmung lautet wie folgt:
"Der Käufer übernimmt die Grundstücke und Gebäude wie besichtigt im heutigen Zustand. Jede Gewährleistungspflicht der Verkäuferschaft für Rechts- und Sachmängel der Kaufsobjekte wird, soweit gesetzlich zulässig, ausdrücklich wegbedungen."
Die Beschwerdeführer bestritten vor der Vorinstanz, dass die Höhe des Ertragswerts und der Belehnungsgrenze eine wesentliche Vertragsgrundlage bildete. Aber selbst wenn dies der Fall sein sollte, würde ihrer Ansicht nach jedenfalls der Gewährleistungsausschluss die Beschwerdeführer von jeglicher Verantwortlichkeit befreien.
Mit diesem Einwand hat sich die Vorinstanz nicht ausdrücklich auseinandergesetzt. Aus dem Umstand, dass sie die zugesicherten Werte als für den Kaufentschluss wesentlich betrachtet, lässt sich jedoch schliessen, dass die Vorinstanz den Einwand des Gewährleistungsausschlusses im vorliegenden Fall zum Vornherein für unerheblich hielt. Die Beschwerdeführer sind denn auch durchaus in der Lage, den Entscheid in Bezug auf die Frage des Gewährleistungsausschlusses sachgerecht anzufechten. Eine Verletzung der Begründungspflicht liegt nicht vor.
3.3 Im Übrigen hat die Vorinstanz in ihrer Begründung ausgeführt, der Beschwerdegegner habe aufgrund des ihm bekannten Zustands der Liegenschaft erwarten dürfen, dass die Belastungsgrenze bei zusätzlichen Ausbauten weiter angehoben würde. Damit hat die Vorinstanz dazu Stellung genommen, welches aus Sicht des Beschwerdegegners der Zustand der Kaufsache war und welche Erwartungen er in diesem Zusammenhang haben durfte. Dass sich die Vorinstanz nicht explizit auf Art. 3 des Vertrags bezog, ist unschädlich.
Ebenfalls geäussert hat sich die Vorinstanz zu den Zusicherungen der Beschwerdeführer gegenüber dem Beschwerdegegner, wenn sie festhält, dass zwar nicht die Vertragsurkunde selbst, wohl aber die von den Beschwerdeführern dem Beschwerdegegner ausgehändigte Betriebsbeschreibung Angaben zum Ertragswert und zur Belehnungsgrenze enthielt. Eine Verletzung der Begründungspflicht liegt auch hier nicht vor.
4. In der Sache rügen die Beschwerdeführer, die Vorinstanz habe <ref-law> verletzt, da es sich beim Ertragswert und der Belehnungsgrenze um keine für den Vertragsschluss wesentliche Tatsachen gehandelt habe. Der Beschwerdegegner könne daher nicht vom Vertrag zurücktreten.
4.1 Ein Vertrag ist für denjenigen unverbindlich, der sich beim Abschluss in einem wesentlichen Irrtum befunden hat (<ref-law>). Handelt es sich dabei um einen Motivirrtum, so ist dieser dann wesentlich, wenn sich die irrende Partei über einen bestimmten Sachverhalt geirrt hat, der für sie notwendige Vertragsgrundlage war, und den sie nach Treu und Glauben im Geschäftsverkehr als eine notwendige Grundlage des Vertrages betrachten durfte (<ref-law>; <ref-ruling> E. 1.3 S. 740; <ref-ruling> E. 4.1 S. 165 f.; <ref-ruling> E. 2 S. 202). Neben der subjektiven Wesentlichkeit ist damit erforderlich, dass der zu Grunde gelegte Sachverhalt auch objektiv, vom Standpunkt oder nach den Anforderungen des loyalen Geschäftsverkehrs als notwendige Grundlage des Vertrages erscheint (<ref-ruling> E. 3b S. 62).
4.2 Gemäss Art. 73 Abs. 1 des Bundesgesetzes über das bäuerliche Bodenrecht vom 4. Oktober 1991 (SR 211.412.11; BGBB) dürfen landwirtschaftliche Grundstücke nur bis zur Belastungsgrenze mit Grundpfandrechten belastet werden. Die Belastungsgrenze entspricht der Summe des um 35 Prozent erhöhten landwirtschaftlichen Ertragswerts und des Ertragswerts der nichtlandwirtschaftlichen Teile (<ref-law>). Die Belastungsgrenze als Hinweis auf den Ertragswert stellt für den Bewirtschafter eines landwirtschaftlichen Gewerbes nicht nur eine Grundlage für die Abschätzung seines Einkommens dar, sondern sie limitiert auch die Möglichkeit, seinen Betrieb zu verschulden. Für Kreditgeber bildet sie zudem einen wichtigen Anhaltspunkt für die Bewertung des landwirtschaftlichen Grundstückes als Kreditsicherheit. Dass ohne Sicherheit keine Kredite zu beschaffen sind, ist notorisch. Die Belastungsgrenze des landwirtschaftlichen Grundstückes indiziert für den Eigentümer somit die Grössenordnung, in der er zu vernünftigen Konditionen Fremdkapital beschaffen kann.
Die Belastungsgrenze gibt freilich nur dann eine zutreffende Information über das Kreditpotenzial wieder, wenn sie sich auf den tatsächlichen Zustand des Grundstücks bezieht. Werden bei der Berechnung des Ertragswerts als Grundlage für die Belastungsgrenze bereits Bauten einbezogen, welche die Grundeigentümer lediglich planen, spiegelt die Belastungsgrenze nicht das tatsächliche Kreditpotenzial wider, solange diese Bauten nicht erstellt sind. Auf eine solche Situation muss ein Verkäufer den Käufer hinweisen. Andernfalls darf sich der Käufer darauf verlassen, dass sich die Belastungsgrenze auf den Zustand des Grundstücks im Moment des Vertragsschlusses bezieht. Er muss nicht damit rechnen, dass hypothetische wertvermehrende Aufwendungen in der ihm zugesicherten Belastungsgrenze bereits inbegriffen sind.
Im vorliegenden Fall wurden bei der Berechnung der dem Beschwerdegegner zugesicherten Belastungsgrenze bereits Bauvorhaben der Beschwerdeführer einbezogen. Die Belastungsgrenze schöpften die Beschwerdeführer nach den Feststellungen der Vorinstanz denn auch aus, indem sie weitere Hypothekarkredite auf das Grundstück aufnahmen. Diese verwendeten sie in der Folge jedoch nicht zur Erstellung der Bauten. Damit erwies sich das Grundstück im Moment des Vertragsschlusses mindestens in dem Umfange als zu hoch belastet, als die Beschwerdeführer die entsprechenden Hypothekarkredite nicht in das Grundstück investiert hatten. Dies führte gemäss den Feststellungen der Vorinstanz dazu, dass der Beschwerdegegner in diesem Umfang kein Fremdkapital beschaffen konnte, um seine eigenen Bauvorhaben zu verwirklichen. Der Beschwerdegegner hat sich im Moment des Vertragsschlusses aufgrund der ihm zugesicherten Belastungsgrenze folglich über die tatsächliche Belastungssituation geirrt. Dass die ihm zugesicherte Belastungsgrenze die tatsächliche Belastungssituation des Grundstücks widerspiegelt, war jedoch subjektiv wesentlich für die Bildung seines Kaufentschlusses. Der Beschwerdegegner durfte dies nach Treu und Glauben im Geschäftsverkehr denn auch als eine notwendige Grundlage des Vertrages betrachten. Damit konnte er den Vertrag gestützt auf <ref-law> i.V.m. Art. 12.2 Abs. 1 des Vertrags wirksam anfechten.
5. Weiter rügen die Beschwerdeführer, dass sich der Beschwerdegegner aufgrund des Gewährleistungsausschlusses nicht auf einen Grundlagenirrtum oder sonstigen Willensmangel berufen könne.
5.1 Die Berufung auf Grundlagenirrtum versagt, wenn der Irrtum mit fehlenden Eigenschaften der Kaufsache begründet wird, für welche die Verkäufer die Gewährleistung wegbedungen haben (<ref-ruling> E. 3 S. 66). Eine allgemeine Freizeichnungsklausel schliesst jedoch die Haftung der Verkäufer für zugesicherte Eigenschaften nicht aus, da der Käufer trotz einer solchen Klausel auf Zusicherungen des Verkäufers vertrauen darf, soweit im Vertrag nicht unmissverständlich zum Ausdruck kommt, dass sich die Verkäufer bei ihren Angaben nicht behaften lassen möchten (<ref-ruling> E. 4; vgl. auch <ref-ruling> E. 3 S. 66). Eine Zusicherung liegt nicht nur dann vor, wenn die Verkäufer eine Eigenschaft ausdrücklich "zusichern" oder "garantieren". Vielmehr genügt jede Erklärung der Verkäufer gegenüber dem Käufer, welche dieser nach Treu und Glauben als Zusicherung einer bestimmten, objektiv feststellbaren Eigenschaft verstehen darf (<ref-ruling> E. 3c, 416; <ref-ruling> E. 4; vgl. auch <ref-ruling> E. 1 und 2, 267 f.).
5.2 Bei den Angaben in der Betriebsbeschreibung zum Ertragswert und zur Belehnungsgrenze handelt es sich um bestimmte, objektiv feststellbare Eigenschaften des Kaufobjekts. Der Beschwerdegegner durfte nach Treu und Glauben davon ausgehen, dass diese Angaben den tatsächlichen Zustand des Grundstücks widerspiegeln. Darauf durfte er sich denn auch trotz der allgemeinen Freizeichnungsklausel gemäss Art. 3 des Vertrages berufen, kommt in dieser doch gerade nicht unmissverständlich zum Ausdruck, dass sich die Beschwerdeführer bei ihren Angaben in der Betriebsbeschreibung nicht behaften lassen wollen. Daran ändert auch nichts, dass in Art. 3 von einer Übernahme "wie besichtigt im heutigen Zustand" die Rede ist, da die tatsächliche Belastungssituation eben gerade nicht sichtbar war.
6. Die Beschwerdeführer rügen weiter, die Vorinstanz habe Bundesrecht verletzt, indem sie dem Beschwerdegegner gestützt auf Art. 12.2 Abs. 3 des Vertrags eine Konventionalstrafe von Fr. 50'000.-- zugesprochen habe.
Die Vorinstanz kam zum Schluss, dass der Irrtum des Beschwerdegegners auf das Verhalten der Beschwerdeführer zurückzuführen sei. Gemäss Art. 12.2 Abs. 3 des Vertrages, wonach die Verkäuferschaft dem Käufer eine Konventionalstrafe von Fr. 50'000.-- schulden, falls die "Gründe für eine Vertragsauflösung auf Seiten der Verkäuferschaft" liegen, habe der Beschwerdegegner Anspruch auf die Konventionalstrafe.
Nachdem sich herausgestellt hat, dass der Irrtum des Beschwerdegegners auf die Betriebsbeschreibung zurückzuführen ist, die ihm die Beschwerdeführer im Vorfeld des Vertragsschlusses übergeben haben, ist an dieser Vertragsauslegung durch die Vorinstanz bundesrechtlich nichts zu beanstanden.
7. Weiter werfen die Beschwerdeführer der Vorinstanz eine Verletzung der Verhandlungsmaxime vor. Die Vorinstanz habe das Bestehen von Verrechnungsforderungen gestützt auf eine Saldoklausel gemäss Art. 12.2 Abs. 4 des Vertrages verneint, obwohl keine der Parteien diese Klausel angerufen habe. Zudem sei die Anrufung der Saldoklausel willkürlich, da der Beschwerdegegner diverse Verrechnungsforderungen im Gesamtbetrag von Fr. 44'330.-- anerkannt habe. Dies zeige, dass die Parteien sich im Zuge der Rückabwicklung des Vertrages nicht auf die Saldoklausel berufen hätten.
7.1 Entgegen der Ansicht der Beschwerdeführer, welche die Verhandlungsmaxime in <ref-law> verorten wollen, ist diese Verfahrensregel keine Norm des Bundesrechts, sondern des kantonalen Rechts. Erst mit Inkrafttreten der Schweizerischen Zivilprozessordnung vom 19. Dezember 2008 (BBl 2009 S. 21) wird die Verhandlungsmaxime in den Rang des Bundesrechts gehoben (vgl. <ref-law>/CH: "Die Parteien haben dem Gericht die Tatsachen, auf die sie ihre Begehren stützen, darzulegen und die Beweismittel anzugeben"). Die Anwendung kantonalen Rechts kann das Bundesgericht nur unter dem Blickwinkel der Willkür prüfen.
7.2 Dass der Beschwerdegegner - wie von der Vorinstanz festgestellt - eine Verrechnungsforderung von Fr. 44'330.-- anerkannt hat, schliesst nicht aus, dass die weiteren von den Beschwerdeführern geltend gemachten Forderungen nach dem Willen der Parteien unter die Saldoklausel fallen. Die Feststellung der Vorinstanz ist nicht willkürlich.
8. Schliesslich rügen die Beschwerdeführer eine Verletzung der bundesrechtlichen Regeln zur Substanziierungslast, indem die Vorinstanz eine von ihnen geltend gemachte Schadenersatzforderung von Fr. 100'000.-- mangels genügender Substanziierung abgewiesen habe.
Die Vorinstanz kam zum Schluss, dass die Behauptungen der Beschwerdeführer im Zusammenhang mit der Schadenersatzforderung von Fr. 100'000.-- nicht ausreichend substanziiert seien, um daraus die Existenz eines Schadens abzuleiten. Dies bestreiten die Beschwerdeführer vor Bundesgericht. Sie belegen jedoch nicht, dass sie vor der Vorinstanz entsprechende Behauptungen substanziiert aufgestellt und Beweise angeboten hätten. Sie weisen lediglich auf ihre Klageantwort vor erster Instanz hin, ohne darzutun, dass sie die dort angeblich substanziiert aufgestellten Behauptungen auch im Berufungsverfahren vor der Vorinstanz wiederholt hätten. Auf die Rüge ist daher mangels Begründung nicht einzutreten.
9. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten wird. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern (unter solidarischer Haftung und intern zu gleichen Teilen) auferlegt.
3. Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren (unter solidarischer Haftung und intern zu gleichen Teilen) mit Fr. 6'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 26. Oktober 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni