Sachverhalt:
A. L._, geboren 1959, ist seit 1991 als selbstständiger Landwirt tätig. Daneben führte er verschiedene Arbeiten in unselbstständiger Stellung aus. Mit Anmeldung vom 17. Juni 2003 ersuchte er um Leistungen der Invalidenversicherung, namentlich um eine Rente. Die IV-Stelle Thurgau (nachfolgend: IV-Stelle) gewährte mit Verfügung vom 10. Dezember 2003 Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten. Zudem holte sie verschiedene ärztliche Stellungnahmen ein und prüfte die wirtschaftlichen Verhältnisse. Mit Verfügung vom 9. September 2005, bestätigt mit Einspracheentscheid vom 17. Oktober 2007, lehnte die IV-Stelle das Leistungsbegehren ab. Nachdem das Verwaltungsgericht des Kantons Thurgau die dagegen erhobene Beschwerde mit Entscheid vom 9. Juli 2008 abgewiesen hatte, hob das Bundesgericht diesen Entscheid auf und wies die Sache an die IV-Stelle des Kantons Thurgau zurück, damit sie, nach Vornahme weiterer Abklärungen, über den Anspruch auf eine Invalidenrente neu verfüge (Urteil 8C_761/2008 vom 27. März 2009).
Die IV-Stelle liess L._ polydisziplinär untersuchen (MEDAS-Gutachten vom 2. Dezember 2009; Ergänzung vom 18. Januar 2010) und holte eine wirtschaftliche Einschätzung beim Fachmann des Abklärungsdienstes Selbständigerwerbende, Ing. agr. HTL/Wirtschaftsing. FH, vom 23. September 2010 ein. Mit Verfügung vom 5. April 2011 wies sie das Leistungsbegehren von L._ ab.
B. Das Verwaltungsgericht des Kantons Thurgau wies die dagegen erhobene Beschwerde mit Entscheid vom 11. Januar 2012 ab.
C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und ihm eine Invalidenrente bei einem Invaliditätsgrad von mindestens 70 % auszurichten. Zudem ersucht er um einen zweiten Schriftenwechsel.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Gemäss Art. 42 Abs. 1 BGG ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 108 Abs. 1 lit. b BGG). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden.
1.2 Das Bundesgericht prüft die Verletzung von Grundrechten nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Hier muss die Beschwerdeschrift die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 2.2 S. 246).
1.3 Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in Art. 106 Abs. 2 BGG genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von Art. 105 Abs. 2 BGG, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
2. Von der Durchführung des beantragten zweiten Schriftenwechsels ist abzusehen, da keine Vernehmlassung der IV-Stelle eingeholt wurde, so dass weder prozessual zulässige, für den Verfahrensausgang wesentliche neue Aspekte, zu denen der Versicherte vor der Entscheidfällung angehört werden müsste, vorliegen, noch dient ein zweiter Schriftenwechsel dazu, Anträge und Rügen vorzubringen, die bereits in der Beschwerde selbst hätten gestellt oder vorgebracht werden können und müssen (Art. 102 BGG; vgl. Urteil 8C_761/2008 vom 27. März 2009 E. 1 mit Hinweis).
3. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; <ref-ruling>). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheides liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von Art. 99 Abs. 1 BGG für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_1007/2010 vom 9. Mai 2011 E. 2 mit Hinweisen).
Der Beschwerdeführer legt letztinstanzlich die Buchhaltung seines landwirtschaftlichen Betriebs der Jahre 2009 und 2010 auf. Er will damit belegen, dass kein freiwillig unterdurchschnittlicher Verdienst vorliege. Allerdings hat nicht erst der vorinstanzliche Entscheid das vor Eintritt des Gesundheitsschadens bescheidene Einkommen des Beschwerdeführers thematisiert, sondern dies war bereits Bestandteil der Verwaltungsverfügung vom 5. April 2011. Somit handelt es sich bei den erstmals aufgelegten Buchhaltungsunterlagen 2009 und 2010 um unzulässige Noven im Sinne von Art. 99 Abs. 1 BGG und es ist auf sie in der Folge nicht weiter einzugehen.
4. Die Vorinstanz hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG) und der Erwerbsunfähigkeit (Art. 7 ATSG), die Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (Art. 16 ATSG; <ref-ruling> E. 4.1 S. 325 und E. 5.2 S. 327; <ref-ruling> E. 1 S. 30) und den Anspruch auf eine Invalidenrente (Art. 28 Abs. 2 IVG; bis 31. Dezember 2007 Art. 28 Abs. 1 IVG) zutreffend dargelegt. Dasselbe gilt für den Grundsatz der Schadenminderungspflicht (<ref-ruling> E. 4.2 S. 463; <ref-ruling> E. 3d S. 32, je mit Hinweisen), namentlich die Zumutbarkeit eines Berufswechsels (AHI 2001 S. 283 E. 5a; Urteil des Eidg. Versicherungsgerichts I 316/04 vom 23. Dezember 2004 E. 2.2 mit Hinweisen), die Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) und die Aufgabe des Arztes bei der Ermittlung des Invaliditätsgrades (<ref-ruling> E. 4 S. 99 mit Hinweisen). Darauf wird verwiesen.
5. Streitig ist der Invaliditätsgrad, namentlich die diesem zugrundeliegenden Validen- und Invalideneinkommen.
6. 6.1 Der Versicherte beanstandet, die Vorinstanz hätte sein Valideneinkommen infolge seiner unterdurchschnittlichen Höhe parallelisieren müssen. Beim vorinstanzlich ermittelten Invalideneinkommen rügt er eine willkürliche Beweiswürdigung, indem die Vorinstanz gestützt auf den Bericht des Abklärungsdienstes Selbstständigerwerbende vom 23. September 2010 die festgestellte 50%-ige Arbeitsunfähigkeit in der angestammten Tätigkeit als "darin aufgegangen" werte, weil sein Betrieb nur Arbeitsstunden für ein 50%-Pensum generieren würde. Nach Ansicht des Versicherten beträgt das massgebliche Invalideneinkommen aufgrund der 50%-igen Arbeitsfähigkeit in der angestammten Tätigkeit die Hälfte des zuvor erwirtschafteten Betriebsergebnisses minus eines behinderungsbedingten Abzugs von 10 %, d.h. Fr. 13'158.-. Auch macht er geltend, die Aufgabe seines landwirtschaftlichen Betriebs sei ihm - entgegen der vorinstanzlichen Ansicht - nicht zumutbar, was sich aus dem psychiatrischen Teilgutachten der MEDAS ergebe und zudem seine Grundrechte verletze.
6.2 Der Beschwerdeführer bringt weder bezüglich des MEDAS-Gutachtens vom 2. Dezember 2009 noch des Berichts des Abklärungsdienstes Selbständigerwerbende vom 23. September 2010 Gründe vor, wonach diese nicht die Anforderungen der Rechtsprechung erfüllen würden. Soweit er eine Verletzung der Rechtsgleichheit (Art. 8 BV), der Wirtschaftsfreiheit (Art. 27 BV) sowie der Niederlassungsfreiheit (Art. 24 BV) geltend macht, ist darauf nicht weiter einzugehen, da die entsprechende Rüge den Anforderungen von Art. 106 Abs. 2 BGG nicht zu genügen vermag. Auch die übrigen Einwände erweisen sich als unbehelflich:
Bezog eine versicherte Person aus invaliditätsfremden Gründen ein deutlich unterdurchschnittliches Einkommen und wollte sie sich nicht aus freien Stücken damit begnügen, so hat nach der Rechtsprechung eine Parallelisierung der beiden Vergleichseinkommen zu erfolgen (<ref-ruling>). Nützte die versicherte Person im Gesundheitsfall ihr wirtschaftliches Potenzial nicht voll aus, so ist dieser nicht verwertete Teil der Erwerbsfähigkeit nicht versichert (<ref-ruling> E. 3.4.1 S. 61 mit Hinweisen). Denn wenn jemand vor Eintritt des Gesundheitsschadens aus gesundheitsfremden Gründen nur ein sehr geringes, nicht existenzsicherndes Einkommen erzielt hat und nach Eintritt des Gesundheitsschadens immer noch ein Einkommen in unveränderter Höhe erzielen könnte, so ist nicht der Gesundheitsschaden ursächlich für eine allfällige tatsächliche Erwerbseinbusse; kausal sind vielmehr die (nicht bei der Invalidenversicherung versicherten) wirtschaftlichen und persönlichen Umstände (<ref-ruling> E. 3.4.1 S. 61 mit Hinweis). Dies trifft auch auf den Beschwerdeführer zu: Er hat schon Jahre vor Eintritt des Gesundheitsschadens sich mit einem geringen Einkommen begnügt, weil er den Familienbetrieb nicht aufgeben wollte, obwohl dieser - wie er selbst zugibt - aus strukturellen (und damit nicht gesundheitlichen Gründen) in seiner Existenz gefährdet ist. Gemäss den Einschätzungen der medizinischen Experten ist ihm auf seinem landwirtschaftlichen Mischbetrieb eine Arbeitsfähigkeit von 50 % (ganztägiges Arbeitspensum bei halber Leistung) zumutbar (MEDAS-Gutachten vom 2. Dezember 2009). Nachdem aber der Hof des Versicherten nach den Massstäben der Eidg. Forschungsanstalt für Agrarwirtschaft und Landtechnik, Tänikon, als typischer Nebenerwerbsbetrieb einzustufen ist, welcher rund 1600 Arbeitsstunden pro Jahr generiert (Bericht des Abklärungsdienstes für Selbstständigerwerbende vom 23. September 2010), ist nicht zu beanstanden, dass Vorinstanz und Verwaltung davon ausgingen, dass der Versicherte auch nach Eintritt des Gesundheitsschadens noch in der Lage ist, seinen Betrieb mit der ihm verbleibenden zumutbaren Arbeitsfähigkeit selbst zu bewirtschaften. Somit kann er nach wie vor ein Einkommen erzielen, das - angesichts seines aus invaliditätsfremden Gründen unterdurchschnittlichen Valideneinkommens - rentenausschliessend ist. Daran ändert auch der Wegfall jeglicher Nebenerwerbstätigkeit nichts, da diese im Gesundheitsfall im Durchschnitt weniger als 10 % des gesamten Erwerbseinkommens betrug. Bei dieser Sach- und Rechtslage kann offen bleiben, ob die Aufgabe des eigenen Hofes und die Aufnahme einer unselbstständigen Erwerbstätigkeit zumutbar ist.
7. Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juni 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Riedi Hunold