Sachverhalt:
A. N._, geboren 1957, meldete sich am 24. Februar 2000 unter Hinweis auf unfallbedingte Beschwerden an der Halswirbelsäule (HWS) bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Thurgau holte die Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) ein, welche Leistungen für den am 9. Februar 1999 erlittenen Verkehrsunfall (seitliche Kollision) mit HWS-Distorsion erbrachte. In der Folge liess sie den Versicherten interdisziplinär durch Dr. med. B._, FMH Physikalische Medizin und Rehabilitation, spez. Rheumaerkrankungen, und Dr. med. M._, FMH Psychiatrie und Psychotherapie, untersuchen (Gutachten vom 27. August bzw. 17. September 2001). Nach Erlass eines Vorbescheides vom 20. Dezember 2001, mit welchem die IV-Stelle N._ eine Viertelsrente in Aussicht stellte, veranlasste sie weitere Abklärungen durch Dr. med. B._ (Gutachten vom 1. April 2004) und Dr. med. V._, FMH Psychiatrie und Psychotherapie (Gutachten vom 27. Mai 2004). Mit Verfügungen vom 30. Juni und vom 15. Juli 2005 sprach die IV-Stelle N._ mit Wirkung ab 1. Februar 2000 bei einem Invaliditätsgrad von 48% eine Viertelsrente (nebst Zusatzrente für die Ehefrau und vier bzw. drei Kinderrenten) zu. Auf Einsprache hin, mit welcher - namentlich aus psychischen Gründen - eine erheblich höhere als die von der IV-Stelle angenommene Arbeitsunfähigkeit (von 35%) geltend gemacht wurde, ordnete die IV-Stelle eine weitere Begutachtung durch Dr. med. M._ an (Einspracheentscheid vom 12. Dezember 2005). Gestützt auf dessen Gutachten vom 6. Oktober 2006 stellte die IV-Stelle dem Versicherten erneut eine Viertelsrente in Aussicht (Vorbescheid vom 12. Februar 2007). Der Rechtsvertreter des Versicherten machte in der Folge geltend, dass dieser am 2. Dezember 2006 einen weiteren Unfall erlitten habe, und rügte, dass er zu Unrecht wiederum durch Dr. med. M._ begutachtet worden sei. Die IV-Stelle holte daraufhin ein Gutachten des Instituts X._ vom 19. Februar 2008 ein und stellte dem Versicherten gestützt darauf mit Vorbescheid vom 23. Oktober 2008 in Aussicht, dass kein Rentenanspruch mehr bestehe und die Rente aufgehoben werde. Der Versicherte hatte sich zwischenzeitlich, am 26. Juni 2008, in psychiatrische Behandlung begeben und wurde vom 10. Dezember 2008 bis zum 13. März 2009 in der Psychiatrischen Klinik Y._ hospitalisiert (Berichte der Psychiatrischen Dienste Z._ vom 27. März 2009). Des Weiteren liess er sich neuropsychologisch durch Frau Dr. med. W._, Neurologie FMH, untersuchen (Bericht vom 28. September 2009). Die IV-Stelle beauftragte deshalb erneut das Institut X._ mit einer Abklärung (Gutachten vom 23. November 2009). Am 29. März 2010 verfügte sie, dass die Rente aufzuheben sei.
B. Nach Ankündigung einer in Betracht fallenden Schlechterstellung (reformatio in peius) wies das Verwaltungsgericht des Kantons Thurgau die dagegen erhobene Beschwerde mit Entscheid vom 13. Oktober 2010 ab. Die angefochtene Verfügung vom 29. März 2010 wurde insoweit aufgehoben, als N._ damit für den Zeitraum vom 1. Dezember 2008 bis zum 30. April 2010 eine Viertelsrente zugesprochen worden war, und es wurde festgestellt, dass seit dem 1. Februar 2000 kein Anspruch auf eine Invalidenrente bestanden habe.
C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag auf Zusprechung mindestens einer halben Invalidenrente, eventualiter sei die Sache zu weiteren medizinischen Abklärungen zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling> E. 3 S. 196 ff.). Neue Begehren sind unzulässig (<ref-law>).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>) sowie zur Rentenrevision (<ref-law>; <ref-ruling>; <ref-ruling>; <ref-ruling> E. 3.2.3 S. 75 f.) zutreffend dargelegt. Darauf wird verwiesen.
3. Nach den Feststellungen der Vorinstanz erfüllen die Gutachten des Instituts X._ die für den Beweiswert von Arztberichten massgebenden Anforderungen in jeder Hinsicht (<ref-ruling> E. 3 S. 352 ff.; <ref-ruling>, insb. E. 4.3 und 4.4 S. 468 ff.) und ist daher darauf abzustellen.
Dementsprechend sei der Beschwerdeführer in somatischer Hinsicht in der Arbeitsfähigkeit nicht eingeschränkt. Er leide an einer Schmerzverarbeitungsstörung, wobei differentialdiagnostisch eine anhaltende somatoforme Schmerzstörung diskutiert worden sei, und an einer rezidivierenden depressiven Störung. Andere im Recht liegende medizinische Berichte seien insgesamt nicht geeignet, die Ergebnisse der Gutachten des Instituts X._ in Zweifel zu ziehen. Das kantonale Gericht hat insbesondere erwogen, dass die Behandlung des beim Verkehrsunfall vom 9. Februar 1999 zugezogenen Schleudertraumas bei Ablauf der einjährigen Wartefrist gemäss <ref-law> (in der bis am 31. Dezember 2007 gültig gewesenen Fassung) abgeschlossen gewesen sei und seither eine 100%ige Arbeits- und Leistungsfähigkeit für körperlich leichte bis mittelschwere Tätigkeiten bestanden habe. Hinsichtlich des psychischen Leidens sei eine Invalidisierung durch die diagnostizierte Schmerzverarbeitungsstörung zu verneinen, da eine psychische Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer (<ref-ruling> E. 1.2 S. 50 f.) nicht angenommen werden könne und die von der Praxis alternativ zum Vorliegen einer psychischen Komorbidität umschriebenen Kriterien, welche eine adäquate Schmerzbewältigung objektiv konstant und intensiv behindern können (vgl. <ref-ruling> E. 2.2.3 S. 354 f.; <ref-ruling> E. 1.2 S. 50 f.), nicht erfüllt seien. Vielmehr hätten die untersuchenden Ärzte mehrfach eine erhebliche Aggravation dokumentiert, weshalb ein invalidisierender Gesundheitsschaden rechtsprechungsgemäss zu verneinen sei (<ref-ruling> E. 1.2).
4. 4.1 Beschwerdeweise wird im Wesentlichen das Gutachten des Instituts X._ bemängelt.
4.2 Es wird zunächst eine Verletzung des rechtlichen Gehörs geltend gemacht, indem sich die Vorinstanz nicht mit dem Bericht der psychiatrischen Klinik Y._ vom 27. März 2009 auseinandergesetzt habe; dem Versicherten sei dort eine 50%ige Arbeitsunfähigkeit attestiert worden.
4.3 Einen wesentlichen Bestandteil des in <ref-law> verankerten Anspruchs auf rechtliches Gehör bildet die Pflicht der Verwaltungsbehörden und der Sozialversicherungsgerichte, ihre Entscheide zu begründen. Die Begründungspflicht soll verhindern, dass sich die Behörde von unsachlichen Motiven leiten lässt, und der betroffenen Person ermöglichen, die Verfügung oder den Gerichtsentscheid gegebenenfalls sachgerecht anzufechten. Dies ist nur möglich, wenn sowohl die betroffene Person als auch die Rechtsmittelinstanz sich über die Tragweite des Entscheides ein Bild machen können. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf welche sich ihre Verfügung bzw. ihr Urteil stützt. Dies bedeutet indessen nicht, dass sie sich ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (<ref-ruling> E. 2b S. 102; <ref-ruling> E. 1a S. 181; SVR 2001 IV Nr. 17 S. 49, I 582/99 E. 2a). Die Behörde darf sich aber nicht damit begnügen, die von der betroffenen Person vorgebrachten Einwände tatsächlich zur Kenntnis zu nehmen und zu prüfen; sie hat ihre Überlegungen der betroffenen Person gegenüber auch namhaft zu machen und sich dabei ausdrücklich mit den (entscheidwesentlichen) Einwänden auseinanderzusetzen oder aber zumindest die Gründe anzugeben, weshalb sie bestimmte Gesichtspunkte nicht berücksichtigen kann (<ref-ruling> E. 4.3 S. 540; <ref-ruling> E. 1a S. 181).
4.4 Rechtsprechungsgemäss ist bei psychischen Beeinträchtigungen zu prüfen, ob eine seelische Abwegigkeit mit Krankheitswert besteht, welche die versicherte Person auch bei Aufbietung allen guten Willens daran hindert, ein rentenausschliessendes Erwerbseinkommen zu erzielen, beziehungsweise ob ein pathogenetisch (ätiologisch) unklarer syndromaler Zustand mit zumutbarer Willensanstrengung überwindbar ist (<ref-ruling> E. 3.2.2 S. 283 u. E. 3.3 S. 284; <ref-ruling> E. 4.2.1 S. 70 f.; <ref-ruling> E. 1.2 S. 50; <ref-ruling> E. 2.2.1 S. 353; <ref-ruling> E. 5.3.2 S. 398 f.). Anhaltende somatoforme Schmerzstörungen fallen grundsätzlich unter die psychischen Leiden mit Krankheitswert; sie sind aus rechtlicher Sicht Voraussetzung, nicht aber hinreichende Basis für die Annahme einer invalidisierenden Einschränkung der Arbeitsfähigkeit (<ref-ruling> E. 2.2.3 S. 353 f.).
Ob eine anhaltende somatoforme Schmerzstörung oder ein vergleichbarer pathogenetisch (ätiologisch) unklarer syndromaler Zustand (u.a. eine Somatisierungsstörung, Urteil 8C_696/2008 vom 3. Juni 2009 E. 8.2.2) vorliegt und bejahendenfalls, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern, betrifft den Sachverhalt (SVR 2008 IV Nr. 23 S.71, I 683/06 E. 2.2). Rechtsfrage ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine im Hinblick auf eine erwerbliche Tätigkeit nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf deren invalidisierenden Charakter zu gestatten (SVR 2008 IV Nr. 23 S. 71, I 683/06 E. 2.2).
4.5 Die Vorinstanz hat sich eingehend dazu geäussert, dass und weshalb ein invalidisierendes psychisches Leiden nicht vorliegt. Auch wenn sie sich zur Stellungnahme der Psychiatrischen Klinik Y._, auf welche sich der Beschwerdeführer beruft, nicht ausdrücklich geäussert hat, hat sie doch ihre Überlegungen genannt, von denen sie sich hat leiten lassen und auf welche sie ihren Entscheid stützt, was nach der erwähnten Rechtsprechung hinreichend ist. Es liegt somit keine Verletzung des rechtlichen Gehörs vor.
4.6 Der Beschwerdeführer legt aber auch nicht dar, inwiefern die Vorinstanz eine psychische Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer (<ref-ruling> E. 1.2 S. 50 f.) und im Sinne eines verselbstständigten Gesundheitsschadens (SVR 2008 IV Nr. 62 S. 203, 9C_830/2007 E. 4.2), welcher unabhängig von der Schmerzverarbeitungsstörung oder anhaltenden somatoformen Schmerzstörung auf die Unzumutbarkeit einer willentlichen Schmerzüberwindung schliessen liesse (vgl. <ref-ruling> E. 3.3.1 S. 358; Urteil 8C_930/2008 vom 28. April 2009 E. 3.2.2), rechtsfehlerhaft ausgeschlossen habe. Gleiches gilt in Bezug auf die von der Praxis alternativ zum Vorliegen einer psychischen Komorbidität umschriebenen Kriterien, welche eine adäquate Schmerzbewältigung objektiv konstant und intensiv behindern können (vgl. <ref-ruling> E. 2.2.3 S. 354 f.; <ref-ruling> E. 1.2 S. 50 f.).
Die Berufung auf die Stellungnahmen der behandelnden Ärzte der Psychiatrischen Klinik Y._ (vom 27. März 2009) vermag eine offensichtliche Unrichtigkeit oder Rechtsfehlerhaftigkeit der vorinstanzlichen Feststellungen nicht zu begründen, zumal diesen zu entnehmen ist, dass die diagnostizierte somatoforme Schmerzstörung eine Depression nach sich gezogen habe - was gegen einen verselbstständigten Gesundheitsschaden spricht - und sich die Ärzte entgegen dem Einwand des Beschwerdeführers zu den genannten Kriterien nicht ausdrücklich äussern. Demgegenüber haben die Gutachter des Instituts X._ gerade auch im Zusammenhang mit ihrer Stellungnahme zur Einschätzung der behandelnden Ärzte eingehend dargelegt, weshalb es zu - reaktiven - depressiven Verstimmungen gekommen sei. So gehe der Versicherte wegen seiner ausgeprägten subjektiven Krankheitsüberzeugung seit 1999 keiner beruflichen Tätigkeit mehr nach. Dies habe nicht nur zu erheblichen wirtschaftlichen Schwierigkeiten geführt, sondern der Versicherte habe deshalb auch keine Tagesstruktur mehr, wisse nichts mit sich anzufangen und langweile sich. Eine schwere depressive Störung lasse sich nicht feststellen, es handle sich aktuell um leichte depressive Verstimmungen, wobei die stationäre Behandlung eine Verbesserung gebracht habe und entgegen den Angaben des Versicherten anhand der Blutuntersuchungen festgestellt worden sei, dass er die ihm verordneten antidepressiven und stimmungsstabilisierenden Medikamente nicht einnehme. Hinsichtlich der weiteren Kriterien wird namentlich ausgeführt, dass sich ein ausgeprägter sozialer Rückzug nicht feststellen lasse und alle therapeutischen Bemühungen vor allem deswegen gescheitert seien, weil der Explorand aufgrund der ausgeprägten subjektiven Krankheitsüberzeugung wenig Motivation zeige, trotz allfälliger Restbeschwerden sich aktiv um seine Genesung zu bemühen und sich den Belastungen der Arbeitswelt wieder auszusetzen.
Anhand der vom Gutachten des Instituts X._ abweichenden Einschätzung der Arbeitsfähigkeit durch die behandelnden Ärzte der Psychiatrischen Klinik Y._ bestehen mit Blick auf die dargelegte Rechtsprechung zur ausnahmsweisen Annahme einer Invalidisierung durch eine anhaltende somatoforme Schmerzstörung oder einen vergleichbaren pathogenetisch (ätiologisch) unklaren syndromalen Zustand und zum Beweiswert von ärztlichen Berichten (<ref-ruling> E. 3a S. 352, E. 3b/bb u. 3b/cc S. 353; <ref-ruling> E. 4.4 u. 4.5 S. 470 f.) sowie auf die vorgebrachten Rügen keine Anhaltspunkte für eine offensichtlich unrichtige oder rechtsfehlerhafte Feststellung des Sachverhalts durch die Vorinstanz.
4.7 Auch die übrigen, nicht weiter substantiierten Einwände hinsichtlich der Beweiskraft des Gutachtens des Instituts X._ vermögen keine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellung zu begründen. Dies gilt zunächst für den Hinweis auf die neuropsychologische Abklärung durch Frau Dr. med. W._, Neurologie FMH (Stellungnahme vom 28. September 2009). Damit haben sich sowohl die Gutachter des Instituts X._ wie auch die Vorinstanz eingehend auseinandergesetzt. Zur rückwirkenden Einschätzung der Arbeitsfähigkeit durch die Gutachter des Instituts X._ beziehungsweise zum zeitlichen Verlauf der Krankengeschichte hat sich das kantonale Gericht ebenfalls einlässlich geäussert. Es ist hier daher nicht weiter darauf einzugehen.
4.8 Der Beschwerdeführer rügt schliesslich eine mangelnde Unabhängigkeit des Instituts X._.
Rechtsprechungsgemäss lässt auch eine ausgedehnte Gutachtertätigkeit eines Arztes oder einer Ärztegemeinschaft für die Sozialversicherungsträger nicht per se auf deren Befangenheit oder Voreingenommenheit schliessen (<ref-ruling>; <ref-ruling> E. 6.2 S. 381 f.; SVR 2009 UV Nr. 32 S. 111, 8C_509/2008 E. 6). Daran hat das Bundesgericht zuletzt in BGE 9C_400/2010 vom 9. September 2010 festgehalten. Es hat sich namentlich zur Beweistauglichkeit von Administrativgutachten der Medizinischen Abklärungsstellen (MEDAS) unter den Aspekten der Unabhängigkeit sowie der Verfahrensfairness und Waffengleichheit geäussert und sich auch mit dem vom Versicherten ins Feld geführten, von Prof. Dr. iur. Jörg Paul Müller und Dr. iur. Johannes Reich verfassten "Rechtsgutachten zur Vereinbarkeit der bundesgerichtlichen Rechtsprechung zur medizinischen Begutachtung durch Medizinische Abklärungsstellen betreffend Ansprüche auf Leistungen der Invalidenversicherung mit Art. 6 der Konvention vom 4. November 1950 zum Schutze der Menschenrechte und Grundfreiheiten" vom 11. Februar 2010 (abrufbar im Internet) auseinandergesetzt. Darauf wird verwiesen.
Soweit sich die Kritik des Beschwerdeführers gegen den Leiter des Instituts X._ Dr. med. L._ richtet, gilt es darauf hinzuweisen, dass das gegen ihn eröffnete Strafverfahren nicht dazu führen kann, nunmehr alle Gutachten des Instituts X._ pauschal als unglaubwürdig zu betrachten (vgl. etwa Urteil 8C_370/2010 vom 7. Februar 2011 E. 4.2). Es ist kein konkreter Anhaltspunkt ersichtlich, der auf eine Verfälschung der Abklärungsergebnisse durch diesen Arzt im vorliegenden Verfahren schliessen liesse, zumal Dr. med. L._ an der Begutachtung gar nicht mitgewirkt hat.
5. Die vom Beschwerdeführer gegenüber dem Gutachten des Dr. med. B._ vom 1. April 2004 beziehungsweise gegen den Experten selber vorgebrachten Einwände vermögen an der vorinstanzlichen Beurteilung insofern nichts zu ändern, als das kantonale Gericht auf seine Einschätzung letztlich ohnehin nicht abgestellt, sondern lediglich festgestellt hat, dass keine Widersprüche zu den Gutachten des Instituts X._ bestehen. Gleiches gilt hinsichtlich der Rüge der mangelnden Unabhängigkeit des Dr. med. M._. Es ist daher nicht weiter darauf einzugehen.
6. Gerügt wird weiter, dass die IV-Stelle das Gutachten des Dr. med. V._ vom 27. Mai 2004 "schlicht übergangen" habe.
6.1 <ref-law> statuiert die Sachverhaltsabklärung von Amtes wegen, wobei es im Ermessen des Versicherungsträgers liegt, darüber zu befinden, mit welchen Mitteln diese zu erfolgen hat. Im Rahmen der Verfahrensleitung kommt ihm ein grosser Ermessensspielraum bezüglich Notwendigkeit, Umfang und Zweckmässigkeit von medizinischen Erhebungen zu. Was zu beweisen ist, ergibt sich aus der Sach- und Rechtslage. Gestützt auf den Untersuchungsgrundsatz ist der Sachverhalt soweit zu ermitteln, dass über den Leistungsanspruch zumindest mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit entschieden werden kann. Die für die Beurteilung des Leistungsanspruchs von Amtes wegen durchzuführenden notwendigen Abklärungen im Sinne von <ref-law> beinhalten indessen rechtsprechungsgemäss nicht das Recht des Versicherungsträgers, eine "second opinion" zum bereits in einem Gutachten festgestellten Sachverhalt einzuholen, wenn ihm dieser nicht passt (SVR 2007 UV Nr. 33 S. 111, U 571/06 E. 4.1 u. 4.2).
6.2 Ein solcher Fall liegt hier indessen nicht vor und der sinngemässe Einwand, die IV-Stelle habe aus Interesse an einem anderen Verfahrensausgang das Gutachten des Dr. med. V._ unbeachtet gelassen, ist unberechtigt.
6.3 Nach Auffassung der IV-Stelle ergaben sich aus der Stellungnahme des Dr. med. V._ Unklarheiten und war der Psychiater in der Folge für Rückfragen nicht erreichbar. Sie musste sich daher entweder auf das Vorgutachten des Dr. med. M._ stützen oder aber weitere Abklärungen veranlassen. Dass sie das Gutachten des Dr. med. V._ aus beliebigen Gründen übergangen habe, wie beschwerdeweise geltend gemacht wird, trifft daher nicht zu.
Der Vorgutachter Dr. med. M._ war am 17. September 2001 zum Schluss gelangt, dass eine psychische Störung mit Krankheitswert nicht vorliege, sondern von einer erheblichen Aggravation allfälliger somatischer Restbeschwerden auszugehen sei; mit Rücksicht auf das somatische Leiden sei der Versicherte zu 60 bis 70% arbeitsfähig. Dr. med. V._ stellte am 27. Mai 2004 die Diagnosen einer anhaltenden somatoformen Schmerzstörung als Ausdruck einer psychogenen Fehlverarbeitung und Anpassungsstörung bei Verdacht auf Aggravation sowie einer einfachstrukturierten, kümmerentwickelten Grundpersönlichkeit. Er schätzte die Arbeitsunfähigkeit auf 75% und führte zur Begründung an, es sei wenig wahrscheinlich, dass der Versicherte durch irgendeinen therapeutischen Ansatz nach mehr als fünf Jahren Arbeitsentwöhnung einer erneuten Arbeitstätigkeit zugeführt werden könne. Wie den Akten zu entnehmen ist, versuchte die IV-Stelle in der Folge, bei Dr. med. V._ um Klärung der Diskrepanz zu Dr. med. M._ nachzufragen, konnte ihn jedoch zu einer Stellungnahme nicht erreichen. Sie legte den Fall daher ihrem Regionalen Ärztlichen Dienst (RAD) vor. Dieser führte am 15. Oktober 2004 aus, dass das sehr dürftige Gutachten des Dr. med. V._ keinen relevanten psychopathologischen Befund erhebe, der die hohe Arbeitsunfähigkeit rechtfertigen würde, und verwies auf die bundesgerichtliche Rechtsprechung, wonach die anhaltende somatoforme Schmerzstörung nur ausnahmsweise eine Invalidität zu begründen vermöge, wobei hier jedoch die massgeblichen Kriterien nicht erfüllt seien. Nach Erlass der Verfügungen vom 30. Juni und 15. Juli 2005 wurde auf Einsprache hin eine weitere psychiatrische Begutachtung angeordnet.
6.4 Die Rüge, es sei zu Unrecht eine "second opinion" eingeholt worden, liesse sich allenfalls dann begründen, wenn die erneute Begutachtung zu einer anderen Beurteilung des Leistungsanspruchs geführt hätte.
Nach den Erwägungen des kantonalen Gerichts lässt sich ein Widerspruch des Dr. med. V._ (wie auch des Dr. med. M._, vgl. oben E. 5) zum Abklärungsergebnis des Instituts X._ nicht ausmachen, weil auch die Gutachter des Instituts X._ ausser der Schmerzverarbeitungsstörung (differentialdiagnostisch anhaltende somatoforme Schmerzstörung) und einer rezidivierenden depressiven Störung aus psychiatrischer Sicht keine weitere Diagnose stellen konnten. Die fünfjährige Arbeitsabstinenz und die fehlenden Chancen des Beschwerdeführers auf dem freien Markt, mit welchen Dr. med. V._ die Arbeitsunfähigkeit begründete, reichten nach Auffassung der Vorinstanz nicht aus, um eine psychische Störung von invalidisierendem Ausmass zu postulieren. Wie bereits ausgeführt, wird beschwerdeweise nicht dargelegt, inwiefern die Vorinstanz die rechtsprechungsgemäss erforderliche psychische Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer oder alternativ die von der Praxis umschriebenen Kriterien, welche eine adäquate Schmerzbewältigung objektiv konstant und intensiv behindern können, rechtsfehlerhaft ausgeschlossen habe (oben E. 4.6).
7. Damit ist das Bundesgericht an die vorinstanzliche Beurteilung des Gesundheitsschadens und der Arbeitsfähigkeit gebunden.
8. Der von der Vorinstanz vorgenommene Einkommensvergleich wird nicht beanstandet und gibt daher keinen Anlass zu Weiterungen.
9. Rechtsprechungsgemäss besteht keine Bindungswirkung der Invaliditätsschätzung der Unfallversicherung für die Invalidenversicherung (<ref-ruling> E. 6 S. 553 ff.). Auf den diesbezüglichen Einwand des Beschwerdeführers ist daher nicht weiter einzugehen.
10. Gerügt wird schliesslich die lange Dauer des Verfahrens, ohne dass damit eine Rechtsverletzung substantiiert würde. Insbesondere genügen die pauschalen Hinweise in keiner Art den erhöhten Anforderungen an eine Grundrechtsrüge (<ref-law>; <ref-ruling> E. 1.4.2 S. 254; vgl. auch <ref-ruling>). Auf den Einwand ist daher nicht weiter einzugehen. Immerhin ist darauf hinzuweisen, dass festgestellte Verfahrensmängel rechtzeitig dem Gericht anzuzeigen wären (<ref-ruling>) und dass ein schutzwürdiges Interesse an der Feststellung einer allfälligen Rechtsverzögerung auf Grund der Dauer des kantonalen Verfahrens nach dem materiellen Entscheid des kantonalen Gerichts nicht gegeben ist (Urteil 9C_773/2008 vom 12. Dezember 2008 E. 4.3).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Durizzo