Sachverhalt:
A. L._, geboren 1959, ist seit 1991 als selbstständiger Landwirt tätig. Daneben führte er verschiedene Arbeiten in unselbstständiger Stellung aus. Mit Anmeldung vom 17. Juni 2003 ersuchte er um Leistungen der Invalidenversicherung, namentlich um eine Rente. Die IV-Stelle Thurgau (nachfolgend: IV-Stelle) gewährte mit Verfügung vom 10. Dezember 2003 Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten. Zudem holte sie verschiedene ärztliche Stellungnahmen ein und prüfte die wirtschaftlichen Verhältnisse. Mit Verfügung vom 9. September 2005, bestätigt mit Einspracheentscheid vom 17. Oktober 2007, lehnte die IV-Stelle das Leistungsbegehren ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 9. Juli 2008 ab.
C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und die IV-Stelle zu verpflichten, ihm mindestens eine Viertelsrente auszurichten. Eventualiter sei die Sache zur Durchführung weiterer Abklärungen an die IV-Stelle zurückzuweisen. Zudem sei ein zweiter Schriftenwechsel durchzuführen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Von der Durchführung des beantragten zweiten Schriftenwechsels ist abzusehen, enthält doch die Vernehmlassung der IV-Stelle weder prozessual zulässige, für den Verfahrensausgang wesentliche neue Aspekte, zu denen der Versicherte vor der Entscheidfällung angehört werden müsste, noch dient ein zweiter Schriftenwechsel dazu, Anträge und Rügen vorzubringen, die bereits in der Beschwerde selbst hätten gestellt oder vorgebracht werden können und müssen (<ref-law>; vgl. Urteil 8C_119/2008 vom 22. September 2008 E. 1 mit Hinweis).
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung im Sinne von Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>; vgl. zur Invaliditätsbemessung auch <ref-ruling>).
3. Die Vorinstanz hat die Grundsätze über die Anforderungen an einen ärztlichen Bericht sowie dessen beweisrechtliche Würdigung (<ref-ruling> E. 3a S. 352 mit Hinweisen), insbesondere bei Gutachten, welche die Verwaltung bei externen Fachärzten in Auftrag gegeben hat (<ref-ruling> E. 3b/bb S. 353 mit Hinweisen), zutreffend dargelegt. Darauf wird verwiesen.
4. 4.1 In seiner Anmeldung zum Leistungsbezug vom 17. Juni 2003 gab der Versicherte als Ursachen seiner Arbeitsunfähigkeit Beschwerden im rechten Knie (seit 1990) und am rechten Handgelenk (seit 1994) an.
4.2 Dr. med. G._, Facharzt für Innere Medizin, diagnostizierte am 19. Juli 2003 mit Einschränkung der Arbeitsfähigkeit Gonarthrose rechts nach Teilmeniskektomie und valgisierender Tibiakopfosteotomie 1989 sowie medialbetonte Gonarthrose links bei Status nach Teilmeniskektomie und Setzen von Mikrofrakturen am medialen Femurkondylus 2002; Diagnosen ohne Einschränkung der Arbeitsfähigkeit gab er keine an. Das rechte Handgelenk sei nach einem Bruch im Jahr 1979 in der Beweglichkeit zur Hälfte eingeschränkt. Die Beweglichkeit der Hals- und Brustwirbelsäule sei eingeschränkt. Die Kniegelenke seien gut beweglich und etwas verformt. Die Gonarthrose sei fortschreitend und werde früher oder später einen Gelenkersatz notwendig machen. Es gebe Arbeiten als Landwirt, die zu 100 % ausgeführt werden könnten, andere gar nicht. Ein guter Teil des Einkommens stamme aus dem Rebbau; für die Arbeit im schrägen Gelände müsse der Versicherte fremde Leute anstellen. Auf Grund der Kniebeschwerden, des defekten rechten Handgelenks und der chronischen Rückenproblematik sei eine Arbeitsfähigkeit von 50 % vertretbar.
4.3 Dr. med. A._, Facharzt für orthopädische Chirurgie, diagnostizierte in seinem Gutachten vom 25. Oktober 2004 mit Einschränkung der Arbeitsfähigkeit eine Varus-Gonarthrose rechts bei Status nach medialer Teilmeniskektomie und valgisierender Tibiakopfosteotomie 1989, eine Varus-Gonarthrose links bei Status nach medialer Teilmeniskektomie und Setzen von Mikrofrakturen am medialen Femurkondylus 2002, eine Scaphoid-Fraktur rechts 1980, eine radiocarpale Arthrose rechts, eine Zyste am Os hamatum links sowie den Status nach einer intraartikulären Radiusfraktur links 1994 und einer proximalen Metacarpale Fraktur am Daumen rechts 1994. Als Landwirt und im Rebbau bestehe eine Arbeitsfähigkeit von 50 %, d.h. 4 Stunden pro Tag. Alle Tätigkeiten, welche körperlich wenig belastend seien und keine grosse Gehdistanz erforderten, seien zumutbar, auch sitzende Arbeiten. Nicht zumutbar seien hingegen repetitive und das rechte Handgelenk belastende Tätigkeiten. Im Rahmen einer angepassten Tätigkeit sei eine volle Arbeitsfähigkeit gegeben.
4.4 Am 17. Februar 2005 berichtete Dr. med. G._, der Gesundheitszustand sei stationär und es habe sich keine Änderung der Diagnosen ergeben. Nach wie vor bestünden belastungsabhängige Kniebeschwerden, vor allem im Gehen und Stehen. Im Sitzen habe der Versicherte kaum Beschwerden. Es sei gelungen, die Beschwerden zu stabilisieren. Früher oder später werde es vermutlich zu einer Knieprothese kommen. Von einer Epilepsie sei ihm nichts bekannt. Die Arbeitsunfähigkeit sei vor allem wegen der Kniebeschwerden eingeschränkt. Mit Schreiben vom 4. März 2005 ergänzte Dr. med. G._, er habe in den Akten einen Hinweis gefunden, wonach der Versicherte ein Medikament schlucke, welches bei Epilepsie eingenommen werde; er sei aber deswegen nicht bei ihm in Behandlung.
4.5 Dr. med. M._, Facharzt für Neurologie, verwies am 21. März 2005 auf seine Einträge in der Krankengeschichte seit 1995. In seinem Eintrag vom 21. März 2005 hielt er fest, seitens der Epilepsie gehe es gut. Sie begründe keine Arbeitsunfähigkeit. Die Arbeitsfähigkeit sei nur durch die Arthrose in den Knien und am rechten Handgelenk beeinträchtigt, welche er aber nicht beurteilen könne.
4.6 Gemäss Bericht des Spitals X._ vom 30. November 2006 war der Versicherte infolge eines Verkehrsunfalls vom 30. November 2006, bei welchem er sich eine Commotio cerebri, eine Gesichtskontusion, eine Rissquetschwunde an der Innenseite der Unterlippe sowie eine Thoraxkontusion rechts mit Lungenkontusion zuzog, bis zum 2. Dezember 2006 hospitalisiert. Bis zur Klärung der Unfallursache wurde der Versicherte angewiesen, auf das Fahren eines Personenwagens zu verzichten.
4.7 Im Rahmen des vorinstanzlichen Verfahrens legte der Versicherte seine von Dr. med. M._ festgehaltene Krankengeschichte mit Einträgen für die Zeit vom 7. Juli 2003 bis 16. Oktober 2007 auf. Daraus ergibt sich, dass der Versicherte infolge Unverträglichkeit des bisherigen Medikaments eine Umstellung vornehmen musste, wobei es zu einer den Unfall vom 30. November 2006 verursachenden Episode kam, und die Umstellung auf ein weiteres Medikament nötig machte, welche jedoch noch nicht abgeschlossen war. Zudem werden häufigere Episoden festgehalten.
4.8 Im Schreiben vom 8. September 2008 führte Dr. med. G._ aus, auf Grund der Klinik und der MRT-Untersuchung bestehe kaum Zweifel, dass die Gonarthrose fortgeschritten sei, was auch die vermehrten Schmerzen erkläre. Deshalb empfehle er eine neue Untersuchung durch einen Orthopäden, was auch die Möglichkeit erhöhe, dass eine Teilinvalidität zugestanden werde. Da es sich bei diesem vor Bundesgericht erstmals aufgelegten und sich auf den aktuellen Gesundheitszustand beziehenden Schreiben um ein unzulässiges Novum im Sinne von <ref-law> handelt, ist im Weiteren darauf nicht mehr einzugehen.
5. 5.1 Der erstinstanzliche Sozialversicherungsprozess ist vom Untersuchungsgrundsatz beherrscht (<ref-law>). Danach hat das Gericht von Amtes wegen für die richtige und vollständige Abklärung des rechtserheblichen Sachverhalts zu sorgen (<ref-ruling> E. 2 S. 195; <ref-ruling> E. 1a S. 158; vgl. <ref-ruling> E. 3.2 S. 183).
5.2 Die IV-Stelle hat in ihrer Verfügung vom 9. September 2005 für die Beurteilung der Arbeitsfähigkeit auf das Gutachten des Dr. med. A._ vom 25. Oktober 2004, die Berichte des Dr. med. G._ vom 19. Juli 2003 und 17. Februar 2005 sowie des Dr. med. M._ vom 21. März 2005 abgestellt. Dies ist nicht zu beanstanden. Entgegen der Ansicht des Versicherten entspricht das Gutachten des Dr. med. A._ den Anforderungen der Rechtsprechung und es kommt ihm voller Beweiswert zu. Daran ändert auch nichts, dass er bezüglich des Rückens keine Diagnose stellt. Denn eine Einschränkung der Beweglichkeit der Wirbelsäule ist nicht zwingend mit einer Einschränkung der Arbeitsfähigkeit verbunden. Zudem stellte auch Dr. med. G._ bezüglich des Rückens keine Diagnose. Auch der Versicherte selbst mass in seiner Anmeldung den Rückenbeschwerden keinen Einfluss auf die Arbeitsfähigkeit bei. Seitens der Epilepsie verneinte der seit Jahren behandelnde Dr. med. M._ zu diesem Zeitpunkt eine Einschränkung der Arbeitsfähigkeit. Es ist demnach davon auszugehen, dass dem Versicherten bei Erlass der Verfügung vom 9. September 2005 eine adaptierte Tätigkeit voll zumutbar war.
5.3 Zu prüfen ist weiter, wie es sich im massgebenden Zeitpunkt (vgl. <ref-ruling> E. 1.2 S. 4 mit Hinweis) des Einspracheentscheids, mithin dem 17. Oktober 2007, verhält. Die IV-Stelle hat vor Erlass des Einspracheentscheids keine zusätzlichen medizinischen Abklärungen veranlasst oder bei den behandelnden Ärzten nachgefragt. Der Versicherte hat der IV-Stelle in dieser Zeit weder ärztliche Berichte zukommen lassen noch eine Verschlechterung seines Gesundheitszustandes oder den Unfall vom 30. November 2006 gemeldet. Im Rahmen des vorinstanzlichen Verfahrens hat er jedoch einen aktualisierten Auszug aus der von Dr. med. M._ geführten Krankengeschichte und den Bericht des Spitals X._ vom 30. November 2006 sowie Auszüge aus der polizeilichen Akte über den Verkehrsunfall vom 30. November 2006 auflegen lassen. Angesichts dieser Akten, insbesondere der durch Dr. med. M._ dokumentierten Schwierigkeiten bei der medikamentösen Neueinstellung der Epilepsie, durfte die Vorinstanz im Rahmen der antizipierten Beweiswürdigung nicht davon ausgehen, dass die Epilepsie sich auch im Zeitpunkt des Einspracheentscheids nicht auf die Arbeitsfähigkeit auswirken würde. Sie wäre vielmehr gehalten gewesen, diesbezüglich weitere Abklärungen zu veranlassen. Dies gilt auch hinsichtlich der übrigen Beschwerden, waren doch seit der letzten orthopädischen Beurteilung bis zum Einspracheentscheid über zweieinhalb Jahre verstrichen, so dass angesichts der von Dr. med. G._ prognostizierten Verschlechterung nicht mehr ohne Weiteres auf die frühere Beurteilung der Arbeitsfähigkeit abgestellt werden durfte. Der Versicherte rügt demnach zu Recht eine Verletzung von <ref-law> und die Sache ist an die Verwaltung zurückzuweisen, damit sie unter Einholung eines (polydisziplinären) Gutachtens den Gesundheitszustand und die zumutbaren Tätigkeiten im massgebenden Zeitpunkt abkläre.
6. Das Verfahren ist kostenpflichtig. Die unterliegende IV-Stelle hat die Gerichtskosten zu tragen (<ref-law>). Der Versicherte hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 9. Juli 2008 und der Einspracheentscheid der IV-Stelle des Kantons Thurgau vom 17. Oktober 2007 werden aufgehoben. Die Sache wird an die IV-Stelle des Kantons Thurgau zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch auf eine Invalidenrente neu verfüge. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Thurgau zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. März 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Riedi Hunold