Sachverhalt:
A. A.a Der 1950 geborene N._, von Beruf Realschullehrer, meldete sich am 23. Mai 2003 zum Leistungsbezug bei der Invalidenversicherung an. Nach Beizug namentlich des Gutachtens des Dr. med. M._, Facharzt für Psychiatrie und Psychotherapie, vom 11. Oktober 2004 ermittelte die IV-Stelle des Kantons Thurgau unter Anrechnung eines im Pensum von 50 % als Fachlehrer erzielten Lohnes den Invaliditätsgrad von 50 %, worauf sie eine halbe Rente der Invalidenversicherung zusprach mit Wirkung ab 1. November 2003 (Verfügung vom 31. März 2005). Die Verfügung erwuchs unangefochten in Rechtskraft.
A.b Anlässlich eines im Juli 2008 angehobenen Revisionsverfahrens liess die IV-Stelle den Versicherten erneut psychiatrisch begutachten, wobei die Expertise vom 4. März 2009 der Integrierten Psychiatrie keine wesentliche Veränderung des Gesundheitszustands ergab und die Experten eine mittelgradige rezidivierende depressive Störung diagnostizierten. Abklärungen in beruflicher Hinsicht zeigten sodann, dass der Versicherte ab 1. März 2006 eine nebenberufliche Tätigkeit ausübt, was der Verwaltung bis anhin nicht bekannt war. Den hiebei im Jahr 2006 bezogenen Lohn von Fr. 2'710.- rechnete die IV-Stelle dem Invalidenlohn an und verfügte deswegen und unter Berücksichtigung von Nebenverdienst beim Validenlohn am 13. Juli 2009 den Anspruch bloss mehr auf eine Viertelsrente; dies rückwirkend ab 1. März 2006 (Invaliditätsgrad von 48 %). Zufolge der wegen des revidierten Invaliditätsgrades von März 2006 bis August 2008 zuviel bezahlten Renten forderte die Verwaltung mit Verfügung vom 3. Juli 2009 den Betrag von Fr. 20'012.- zurück.
B. Die gegen die Verfügungen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 20. Januar 2010 in dem Sinne teilweise gut, als es den Rückforderungsbetrag auf Fr. 13'032.- reduzierte. Das Gericht bestätigte hingegen die Herabsetzung der halben Rente auf eine Viertelsrente.
C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei die Beschwerdegegnerin zu verpflichten, rückwirkend ab 1. März 2006 eine halbe Invalidenrente auszurichten. Eventuell sei die Streitsache an Vorinstanz oder Verwaltung zu weiterer Abklärung zurückzuweisen.
Die IV-Stelle und das kantonale Gericht beantragen die Abweisung der Beschwerde, wogegen sich das Bundesamt für Sozialversicherungen (BSV) der Stellungnahme enthält.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 140). Im Verfahren vor Bundesgericht dürfen gemäss <ref-law> neue Tatsachen und Beweismittel nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. Werden Tatsachen etwa erst durch den vorinstanzlichen Entscheid rechtswesentlich, so sind die im letztinstanzlichen Verfahren neu dazu eingereichten Belege als zulässige Noven im Sinne von <ref-law> zu qualifizieren (Urteil 8C_184/2009 vom 25. August 2009 E. 4.3.1; NICOLAS VON WERDT, in: Bundesgerichtsgesetz [BGG], 2007, N. 6 zu <ref-law>).
2. Zu prüfen ist die Höhe des Invalidenrentenanspruches, wobei letztinstanzlich nurmehr das Valideneinkommen streitig ist.
2.1 Der Beschwerdeführer reicht vor Bundesgericht zwei Schreiben der Sekundarschulgemeinde Z._ ein. In jenem vom 23. Februar 2010 äussert sich der Schulleiter der Schulanlage R._ dahingehend, eine altersbedingte Leistungsreduktion des Beschwerdeführers sei schwer vorstellbar, wäre er nicht krank geworden. Es sei vielmehr davon auszugehen, dass er als Gesunder wie in den Jahren 2001 und 2002 weiterhin Zusatzlektionen erteilt hätte. Die Sekundarschulgemeinde hielt dafür, es bestünden keine Anhaltspunkte, dass der Versicherte heute ohne Teilinvalidität keine Zusatzlektionen erteilte (Schreiben vom 2. März 2010).
2.2 Die beiden Schreiben beschlagen die Frage, ob der Beschwerdeführer als Gesunder neben dem Lohn aus ordentlicher Lehrertätigkeit Zusatzeinkommen erzielte, wäre er nicht invalid geworden. Das Valideneinkommen lag allerdings bereits vorinstanzlich im Streit, wobei der Beschwerdeführer Zusatzeinkommen behauptete, weshalb unbesehen der vor kantonalem Gericht geltenden Untersuchungsmaxime nicht erst der angefochtene Entscheid Anlass gab, die Schreiben als Beweismittel einzureichen. Denn das kantonale Gericht stellt den Sachverhalt unter Mitwirkung der Parteien fest (<ref-law>), weswegen der Beschwerdeführer gehalten war, die Beweise im Rahmen der Mitwirkungspflicht bereits vor kantonalem Gericht einzureichen. Bei den Schreiben handelt es sich daher um unzulässige Noven (<ref-law>).
3. 3.1 Nach <ref-law> ist die Rente bei einer erheblichen Änderung des Invaliditätsgrades von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend zu erhöhen, herabzusetzen oder aufzuheben. Revisionsbegründend kann u.a. eine Änderung des Gesundheitszustandes oder der erwerblichen Auswirkungen sein (<ref-ruling> E. 6.1 S. 546; <ref-ruling> E. 3.5 S. 349 ff.). Die Frage, ob eine erhebliche, d.h. mit Bezug auf den Invaliditätsgrad rentenwirksame Änderung der tatsächlichen Verhältnisse eingetreten ist, beurteilt sich hier durch Vergleich des Sachverhaltes, wie er im Zeitpunkt der ursprünglichen Rentenverfügung vom 31. März 2005 bestanden hat, mit demjenigen im Zeitpunkt der streitigen Revisionsverfügung (BGE <ref-ruling> E. 3.5.2 S. 351; Urteil 8C_871/2008 vom 24. März 2009 E. 2.2.1 mit weiteren Hinweisen).
Liegt eine erhebliche Änderung des Sachverhalts vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig, d.h. unter Berücksichtigung des gesamten für die Leistungsberechtigung ausschlaggebenden Tatsachenspektrums und ohne Bindung an die ursprüngliche Rentenverfügung, zu prüfen (<ref-ruling> E. 4b S. 200; Urteil I 526/02 vom 27. August 2003 E. 2.3, publ. in: SVR 2004 IV Nr. 17 S. 53; vgl. auch <ref-ruling> E. 3.4 S. 259, 125 V 413 E. 2d S. 417 f.; Urteil I 652/00 vom 12. März 2002 E. 2a, publ. in: AHI 2002 S. 164).
3.2 Im Rahmen des für die Invaliditätsbemessung durchzuführenden Einkommensvergleichs ist ein Nebenerwerbseinkommen beim hypothetischen Einkommen ohne Invalidität (Valideneinkommen) zu berücksichtigen, sofern es der Versicherte mit überwiegender Wahrscheinlichkeit weiterhin erzielt hätte, wenn er gesund geblieben wäre, und zwar grundsätzlich ohne Rücksicht auf den hiefür erforderlichen zeitlichen oder leistungsmässigen Aufwand (Urteil 8C_125/2009 vom 27. April 2009 E. 4.1.1, Urteil U 130/02 vom 29. November 2002 E. 3.2.1, publ. in: RKUV 2003 Nr. U 476 S. 107).
4. 4.1 Das kantonale Gericht und die Verwaltung ermittelten - wie schon anlässlich der ursprünglichen Rentenzusprache - im Revisionsverfahren den Validenlohn zunächst auf der Grundlage des als Realschullehrer im Vollpensum erzielten Einkommens (für das Jahr 2006: Fr. 133'518.50). Dieses erhöhte die IV-Stelle um den Betrag von Fr. 4'776.- für bereits vor Eintritt der Invalidität am Lehrerseminar X._ und im Kanton St. Gallen erteilten Unterricht sowie für die Tätigkeit bei der evangelischen Kirchgemeinde Y._. Den so berechneten Nebenverdienst hob das vorinstanzliche Gericht auf Fr. 5'544.30 an, was das Bundesgericht bindet (Art. 105 Abs. 1 und Art. 107 Abs. 1 BGG). Hingegen berücksichtigten weder Verwaltung noch Vorinstanz Lohn für vom Beschwerdeführer geltend gemachten Zusatzunterricht an der Oberstufe Z._. Der angefochtene Entscheid verweist dabei namentlich auf § 38 Abs. 1 der kantonalen Verordnung des Regierungsrates des Kantons Thurgau über die Rechtsstellung der Lehrpersonen an den Volksschulen vom 25. Januar 2005 (RLV; 411.114). Diese Bestimmung sehe eine Altersentlastung mit Pensumsreduktion für Lehrpersonen ab dem 58. Altersjahr vor. Es habe als erstellt zu gelten, dass Reallehrer im Alterssegment des Beschwerdeführers in pädagogischer und didaktischer Hinsicht in der Regel stärker gefordert und belastet seien als andere Volksschullehrer, weshalb mit überwiegender Wahrscheinlichkeit eher eine Reduktion des Pensums als die Beibehaltung einer über das Vollpensum hinaus gehenden Lektionenzahl anzunehmen sei. Es könne mithin nicht angenommen werden, der Beschwerdeführer hätte weiterhin Zusatzlektionen erteilt.
4.2 Die Vorinstanz beurteilte die Sache folglich wesentlich auch unter Berufung auf die allgemeine Lebenserfahrung, was als Rechtsfrage vom Bundesgericht frei zu überprüfen ist (<ref-ruling> E. 3.2 S. 398). Der im angefochtenen Entscheid aus den beruflichen Gegebenheiten und der kantonalrechtlichen Altersentlastung gezogene Schluss, bei Realschullehrern sei mit überwiegender Wahrscheinlichkeit eher von einer Pensumsreduktion als von der Beibehaltung einer über das Vollpensum hinaus gehenden Lektionenzahl auszugehen, ist für den Einzelfall des Beschwerdeführers nicht beweiskräftig. Die vom kantonalen Gericht zum Ausschluss von Nebenverdienst aus Zusatzunterricht angeführten Gründe des Alters und der beruflichen Belastung eines Realschullehrers würden im Übrigen die Ablehnung jeglichen Nebenverdienstes nahelegen, was dem vorinstanzlich berücksichtigten Nebeneinkommen von Fr. 5'544.30 den Boden entzöge. Die vorinstanzliche Würdigung der Aktenlage überzeugt insoweit rechtlich nicht.
4.3 Das kantonale Gericht stellte als Invalideneinkommen den im Jahr 2006 im Beruf des Reallehrers tatsächlich erzielten Lohn von Fr. 68'527.75 fest. Diesen Betrag erhöhte es um das Nebeneinkommen von Fr. 2'710.- auf Fr. 71'237.75. Eine halbe Rente setzte demnach einen Validenlohn von mindestens Fr. 142'475.50.- voraus. Nach den verbindlichen Feststellungen im angefochtenen Entscheid (<ref-law>) betrug im Jahr 2006 das für den Validenlohn massgebliche Einkommen eines Reallehrers im Vollpensum hingegen Fr. 133'518.45 (Besoldungstabelle 2006). Der Beschwerdeführer müsste daher - für den Gesundheitsfall - ein Nebeneinkommen von mindestens Fr. 8'957.05.- (Fr. 142'475.50 - Fr. 133'518.45) und damit mehr als das Dreifache des tatsächlichen Nebenerwerbs von Fr. 2'710.- nachweisen, damit es weiterhin beim Anspruch auf eine halbe Invalidenrente bliebe. Sodann ermittelte die Vorinstanz gestützt auf die ab 1. Januar 2008 gültige Revisionsbestimmung von <ref-law>, welche nurmehr die teilweise Berücksichtigung einer Einkommensverbesserung vorsieht, einen Invalidenlohn für das Jahr 2008 von Fr. 74'367.-. Ein 50%iger Invaliditätsgrad ergäbe sich folglich erst bei einem Validenlohn von minimal Fr. 148'734.-. Nach der Besoldungstabelle 2008 betrug der Jahreslohn eines vollzeitlich tätigen Reallehrers Fr. 136'472.05, weshalb erst ein Nebeneinkommen von Fr. 12'261.95 Anspruch auf eine halbe Rente gäbe (Fr. 148'734.- - Fr. 136'472.05). Dieser Betrag übertrifft den im Jahr 2007 effektiv erzielten Nebenverdienst von Fr. 4'990.- (IK-Auszug) um mehr als das Zweifache. Ein im Jahr 2008 davon wesentlich abweichendes tatsächliches Nebeneinkommen behauptet der Beschwerdeführer nicht (E. 2 hievor).
Bei der gegebenen Aktenlage ist weder für das Jahr 2006 noch für 2008 ein als Gesunder erzielter Nebenerwerb in der erforderlichen halbrentenbegründenden Höhe mit überwiegender Wahrscheinlichkeit beweisbar. Dass es sich für 2007 anders verhalten sollte, ist nicht einzusehen. Das im angefochtenen Entscheid festgestellte hypothetische Nebeneinkommen des Validenlohns ist nach dem Gesagten nicht bundesrechtswidrig.
5. 5.1 Der für 2006 verbindlich festgestellte Invalidenlohn von Fr. 71'237.75 (<ref-law>) und das Valideneinkommen von Fr. 139'062.80 ergeben einen Invaliditätsgrad von 49 %, was nur mehr eine Viertelsrente begründet (<ref-law> in der bis 31. Dezember 2007 gültigen Fassung). Ferner stellte das vorinstanzliche Gericht ein Valideneinkommen im Jahr 2008 von Fr. 142'228.95 fest, weshalb unter Berücksichtigung des Invalidenlohnes von Fr. 74'367.- der Invaliditätsgrad 48 % beträgt (<ref-law> in der ab 1. Januar 2008 gültigen Fassung).
5.2 Nach dem Gesagten ist der als Invalider tatsächlich erzielte Nebenverdienst eine anspruchsvermindernde neue Tatsache (<ref-law>), welche die revisionsweise Herabsetzung der zuvor halben Invalidenrente auf eine Viertelsrente zur Folge hat (<ref-law>).
6. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Oktober 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin