Sachverhalt: A. A.a Der 1950 geborene N._, von Beruf Realschullehrer, meldete sich am 23. Mai 2003 zum Leistungsbezug bei der Invalidenversicherung an. Nach Beizug namentlich des Gutachtens des Dr. med. M._, Facharzt für Psychiatrie und Psychotherapie, vom 11. Oktober 2004 ermittelte die IV-Stelle des Kantons Thurgau unter Anrechnung eines im Pensum von 50 % als Fachlehrer erzielten Lohnes den Invaliditätsgrad von 50 %, worauf sie eine halbe Rente der Invalidenversicherung zusprach mit Wirkung ab 1. November 2003 (Verfügung vom 31. März 2005). Die Verfügung erwuchs unangefochten in Rechtskraft. A.b Anlässlich eines im Juli 2008 angehobenen Revisionsverfahrens liess die IV-Stelle den Versicherten erneut psychiatrisch begutachten, wobei die Expertise vom 4. März 2009 der Integrierten Psychiatrie keine wesentliche Veränderung des Gesundheitszustands ergab und die Experten eine mittelgradige rezidivierende depressive Störung diagnostizierten. Abklärungen in beruflicher Hinsicht zeigten sodann, dass der Versicherte ab 1. März 2006 eine nebenberufliche Tätigkeit ausübt, was der Verwaltung bis anhin nicht bekannt war. Den hiebei im Jahr 2006 bezogenen Lohn von Fr. 2'710.- rechnete die IV-Stelle dem Invalidenlohn an und verfügte deswegen und unter Berücksichtigung von Nebenverdienst beim Validenlohn am 13. Juli 2009 den Anspruch bloss mehr auf eine Viertelsrente; dies rückwirkend ab 1. März 2006 (Invaliditätsgrad von 48 %). Zufolge der wegen des revidierten Invaliditätsgrades von März 2006 bis August 2008 zuviel bezahlten Renten forderte die Verwaltung mit Verfügung vom 3. Juli 2009 den Betrag von Fr. 20'012.- zurück. B. Die gegen die Verfügungen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 20. Januar 2010 in dem Sinne teilweise gut, als es den Rückforderungsbetrag auf Fr. 13'032.- reduzierte. Das Gericht bestätigte hingegen die Herabsetzung der halben Rente auf eine Viertelsrente. C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei die Beschwerdegegnerin zu verpflichten, rückwirkend ab 1. März 2006 eine halbe Invalidenrente auszurichten. Eventuell sei die Streitsache an Vorinstanz oder Verwaltung zu weiterer Abklärung zurückzuweisen. Die IV-Stelle und das kantonale Gericht beantragen die Abweisung der Beschwerde, wogegen sich das Bundesamt für Sozialversicherungen (BSV) der Stellungnahme enthält.