Sachverhalt: A. Mit Vertrag vom 31. März 2001 verkauften die Ehegatten A._ und B._ (Beschwerdeführer) Herrn C._ (Beschwerdegegner) ihren landwirtschaftlichen Betrieb zu einem Preis von Fr. 1'450'000.--. Anlässlich der öffentlichen Beurkundung leistete der Beschwerdegegner vereinbarungsgemäss eine Anzahlung von Fr. 100'000.--. Am 1. April 2001 übernahm er den Landwirtschaftsbetrieb zur Bewirtschaftung, zum Eigentumsübergang kam es jedoch in der Folge nicht. Mit Schreiben vom 23. November 2001 erklärte der Beschwerdegegner den Rücktritt vom Vertrag. B. B.a Am 27. Mai 2003 reichte der Beschwerdegegner beim Bezirksgericht Steckborn Klage ein mit dem Begehren, die Beschwerdeführer seien zu verurteilen, ihm unter solidarischer Haftung Fr. 100'000.-- nebst Zins zu bezahlen. Der Beschwerdegegner machte unter anderem geltend, die Beschwerdeführer hätten ihm für den Betrieb und die zu übernehmenden Grundstücke einen Ertragswert von Fr. 539'500.-- sowie eine Belastungsgrenze von Fr. 677'000.-- zugesichert. Nachträglich habe er jedoch realisieren müssen, dass der effektive Ertragswert nur Fr 247'000.-- und die Belastungsgrenze Fr. 334'100.-- betragen habe. Deshalb sei er am 23. November 2001 vom Kaufvertrag zurückgetreten. Er fordere die Anzahlung des Kaufpreises von Fr. 100'000.-- zurück, die Zahlung einer Konventionalstrafe von Fr. 50'000.-- gemäss Art. 12.2 Abs. 3 des Vertrages sowie eine Entschädigung für ausgeführte Arbeiten an der Liegenschaft und für die Fütterung der als Jungvieh übernommenen acht Rinder. Demgegenüber anerkenne er, den Verkäufern einen Betrag von Fr. 44'330.-- zu schulden. B.b Mit Urteil vom 7. März 2008 hiess das Bezirksgericht Steckborn die Klage teilweise gut und verurteilte die Beschwerdeführer zur Zahlung von Fr. 100'000.-- zuzüglich 5% Zins seit 15. November 2002. Dagegen legten die Beschwerdeführer beim Obergericht des Kantons Thurgau Berufung ein mit dem Antrag, die Klage sei abzuweisen. Mit Urteil vom 21. Oktober 2008 wies das Obergericht die Berufung ab und verurteilte die Beschwerdeführer zur Zahlung von Fr. 100'000.-- zuzüglich 7.6% Zins seit 15. November 2002. Bei der Höhe des Zinssatzes handelte es sich um einen offensichtlichen Verschrieb. Auf ein Berichtigungsgesuch hin korrigierte das Obergericht in der Folge den Zinssatz und setzte ihn in Übereinstimmung mit dem erstinstanzlichen Entscheid auf 5% fest. C. Mit Beschwerde in Zivilsachen vom 19. Mai 2009 beantragen die Beschwerdeführer dem Bundesgericht, es sei das Urteil des Obergerichts des Kantons Thurgau aufzuheben und die Klage des Beschwerdegegners abzuweisen. Eventualiter sei das Urteil des Obergerichts aufzuheben und die Streitsache zur Neubeurteilung an die erste Instanz, allenfalls an die Vorinstanz zurückzuweisen. Der Beschwerdegegner und die Vorinstanz schliessen in ihren Vernehmlassungen auf Abweisung der Beschwerde.