Sachverhalt:
A.
Der 1986 geborene A._ meldete sich am 9. Juli 2003 zum Bezug von Leistungen der Invalidenversicherung für Erwachsene an, nachdem er bereits als Minderjähriger wegen einer nachgeburtlich diagnostizierten und in der Folge weitgehend ausgeheilten Bewegungsstörung IV-Leistungen bezogen hatte. Im Rahmen beruflicher Eingliederungsmassnahmen bzw. einer erstmaligen beruflichen Ausbildung schloss A._ im Jahr 2006 eine Lehre an der Schule B._ mit dem Fähigkeitszeugnis "Kaufmann Basisbildung" ab. Im November 2007 erlangte er zusätzlich das Diplom als Sachbearbeiter Rechnungswesen. Die Klinik C._ AG, Neurorehabilitation, schätzte nach einem Rehabilitationsaufenthalt im Februar 2007 seine verbleibende Arbeitsfähigkeit auf 60 % (Bericht vom 26. Februar 2007). Mit Verfügung vom 3. Juni 2008 sprach ihm die IV-Stelle Schaffhausen bei einem Invaliditätsgrad von 45 % eine Viertelsrente zu. Nach einem Wohnortswechsel hielt die nun zuständige IV-Stelle des Kantons Thurgau am Anspruch auf eine Viertelsrente fest (Verfügung vom 15. August 2013). Anlässlich einer von Amtes wegen durchgeführten Revision bestätigte sie mit Verfügung vom 6. April 2016 erneut den Anspruch auf eine Viertelsrente.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 2. November 2016 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung des angefochtenen Entscheids und der Verfügung vom 2. November 2016 sei ihm mit Wirkung ab 1. Januar 2016 eine halbe Invalidenrente zuzusprechen. Eventualiter sei die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
2.1. Die für die Beurteilung relevanten Rechtsgrundlagen finden sich im kantonalen Entscheid. Sie sind zutreffend dargelegt. Darauf wird verwiesen.
2.2. Anlass zur Revision einer Invalidenrente im Sinne von Art. 17 ATSG gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Die Invalidenrente ist somit nicht nur bei einer wesentlichen Veränderung des Gesundheitszustandes, sondern auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitsschadens erheblich verändert haben (<ref-ruling> E. 3.5 S. 349; siehe auch <ref-ruling>). Liegt in diesem Sinne ein Revisionsgrund vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig neu zu prüfen, wobei keine Bindung an frühere Beurteilungen besteht (<ref-ruling> E. 4b S. 200; <ref-ruling> E. 2.3 S. 11 mit Hinweisen und E. 6.1 S. 13).
2.3. Ob und in welcher Höhe statistische Tabellenlöhne herabzusetzen sind, hängt von sämtlichen persönlichen und beruflichen Umständen des Einzelfalles ab, die nach pflichtgemässem Ermessen gesamthaft zu schätzen sind. Relevante Merkmale sind leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad (<ref-ruling> E. 5b/bb S. 80). Die Frage, ob ein Abzug vom Tabellenlohn vorzunehmen sei oder nicht, stellt eine vom Bundesgericht frei zu prüfende Rechtsfrage dar (<ref-ruling> E. 3.3 S. 399).
3.
Das kantonale Gericht erwog, es sei kein leidensbedingter Abzug vorzunehmen. Es gäbe auf dem relevanten ausgeglichenen Arbeitsmarkt (Art. 16 ATSG) Nischenarbeitsplätze, die mit Blick auf das funktionelle Leistungsprofil des Versicherten die notwendigen Rahmenbedingungen - wie ein nur mässiger Zeitdruck, strukturierte Arbeitszeiten, keine hohen Anforderungen an selbstständige Problemlösungsfähigkeiten, eine ruhige Umgebung usw. - bieten könnten. Daher sei ein leidensbedingter Abzug aufgrund der neuropsychologischen Einschränkungen nicht gerechtfertigt, zumal diese Defizite bereits in der attestierten 40%-igen Arbeitsunfähigkeit berücksichtigt worden seien. Ebenso wenig führe der Umstand, dass der Beschwerdeführer nur noch teilzeitlich tätig sein könne, zu einem weiteren Abzug vom Tabellenlohn, da hieraus keine Lohneinbusse resultiere.
4.
Nicht zu beanstanden ist, dass die Vorinstanz insofern von einer Entwicklung des Valideneinkommens und damit von einer revisionsbegründenden Tatsachenänderung ausgegangen ist, als aufgrund des vollendeten 30. Altersjahres des Beschwerdeführers neu nach Art. 26 Abs. 1 IVV der ungekürzte Medianwert für das Valideneinkommen massgeblich ist.
5.
5.1. Streitig ist einzig, ob ein leidens- oder behinderungsbedingter Abzug vom tabellarisch ermittelten Invalideneinkommen zu gewähren ist.
5.2. Die Vorinstanz zog aus sämtlichen medizinischen Berichten, namentlich aus dem neuropsychologischen Fachgutachten der Frau Dipl. Psych. D._ und des Dr. phil. Dipl. Psych. E._, Praxis für Klinische Neuropsychologie, vom 14. Januar 2010 und dem Abklärungsbericht des Zentrums F._, vom 19. Dezember 2012 den Schluss, der Versicherte sei weiterhin unter Beachtung der bereits im Bericht der Klinik C._ vom 26. Februar 2007 formulierten Rahmenbedingungen, welche die vorhandenen neuropsychologischen Defizite berücksichtigten, unverändert in einem 60%-igen Pensum voll leistungsfähig. Dies ist nicht offensichtlich unrichtig. Es besteht demnach aufgrund von neuropsychologischen Defiziten bei Status nach einem am 12. August 1995 erlittenen schweren Schädel-Hirn-Traumaweiterhin eine Restarbeitsfähigkeit von 60 % mit im Vergleich zur Verfügung vom 3. Juni 2008 gleich gebliebenem Zumutbarkeitsprofil. Damit ist - was auch nicht behauptet wird - keine erhebliche Änderung der gesundheitlichen Verhältnisse seit der verfügungsweisen Festsetzung einer Viertelsrente am 3. Juni 2008 eingetreten.
5.3. Das Valideneinkommen wurde in Anwendung von Art. 26 Abs. 1 IVV gestützt auf den Medianwert gemäss der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) berechnet. Hieraus ergab sich nach vorinstanzlicher Feststellung ein hypothetischer Wert von Fr. 82'500.- (vgl. IV-Rundschreiben Nr. 329 vom 18. Dezember 2014). Das Invalideneinkommen ermittelte die Vorinstanz sodann anhand der Tabelle T17 der LSE 2014, Berufsgruppe Ziff. 4 "Bürokräfte und verwandte Berufe", Total, Männer (unabhängig vom Lebensalter), woraus sie einen Bruttolohn von monatlich Fr. 5'789.- ableitete. Bei einer Restarbeitsfähigkeit von 60 % resultierte - unter Berücksichtigung der betriebsüblichen Wochenarbeitszeit sowie aufindexiert für das Jahr 2015 - ein Invalideneinkommen von Fr. 43'569.67 und verglichen mit dem Valideneinkommen ein Invaliditätsgrad von 47 %.
5.4. Im Zusammenhang mit der Verwertbarkeit der attestierten Restarbeitsfähigkeit wies die Vorinstanz korrekterweise darauf hin, dass der ausgeglichene Arbeitsmarkt auch Nischenarbeitsplätze umfasst (Urteil 8C_740/2014 vom 11. Februar 2015 E. 3.4.3 mit Hinweis), weshalb mit Blick auf das funktionelle Leistungsprofil des Versicherten und den einzuhaltenden Rahmenbedingungen genügend Stellen vorhanden sind. Aus dieser Tatsache kann für die Frage nach der Höhe des leidensbedingten Abzuges aber nichts abgeleitet werden, wie der Beschwerdeführer richtig anmerkt; die Zusammensetzung des Arbeitsmarktes gilt allgemein und stellt keinen persönlichen oder beruflichen Umstand dar, welcher im Einzelfall eine Herabsetzung des Tabellenlohnes rechtfertigen würde. Es steht im Übrigen auch nicht fest, dass die Restarbeitsfähigkeit des Versicherten nur an einem Nischenarbeitsplatz verwertet werden könnte.
5.5.
5.5.1. Wie die Vorinstanz überzeugend darlegte, fanden die neuropsychologischen Einschränkungen bereits bei der Festsetzung der verbleibenden Arbeitsfähigkeit Berücksichtigung. Im neuropsychologischen Fachgutachten vom 14. Januar 2010 wurde die eingeschränkte Arbeitsfähigkeit mit einer reduzierten Belastbarkeit, einer verlängerten Erholungsphase, erschwertem Lernen, Einbussen in der Aufmerksamkeit, einschliesslich der Informationsverarbeitungsgeschwindigkeit unter komplexen Reiz- und Reaktionsbedingungen, begründet. Dies deckt sich mit den in den übrigen Berichten formulierten Auswirkungen auf die Arbeitsfähigkeit. Ein weitergehender Einbezug der gesundheitlichen Einschränkungen, einschliesslich der Verhaltensauffälligkeiten, beim Abzug vom Tabellenlohn würde somit eine unzulässige doppelte Berücksichtigung darstellen (vgl. Urteil 8C_678/2015 vom 9. Juni 2016 E. 5.6 mit Hinweis).
5.5.2. Entgegen den Ausführungen des Versicherten ist es mit Blick auf die konkrete Situation auch nicht bundesrechtswidrig, bei einem Beschäftigungsgrad von 60 % keinen Abzug zu gewähren. Gemäss der gestützt auf die LSE 2012 erstellten Tabelle zu den nach Beschäftigungsgrad, Geschlecht und beruflicher Stellung differenzierten monatlichen Durchschnittsbruttolöhnen, die im Anhang des vom Bundesamt für Sozialversicherungen herausgegebenen IV-Rundschreibens Nr. 328 vom 22. Oktober 2014 veröffentlicht wurde, besteht bei Männern ohne Kaderfunktion zwischen dem Durchschnittslohn bei einem Teilzeitpensum von 50-74 % proportional bezogen auf ein 100%-Pensum (Fr. 6'080.-) und dem Durchschnittslohn bei einem Vollzeitpensum (Fr. Fr. 6'085.-) eine vernachlässigbare Differenz (von Fr. 5.-), worauf die Vorinstanz bereits verwies. Bei Berücksichtigung der für das Jahr 2014 aktualisierten Tabelle besteht zwar bei den angegebenen Werten (Fr. 5'714.- [Teilzeitpensum] und Fr. 6'069.- [Vollzeitpensum] eine Differenz von Fr. 355.- oder 5,85 %). Hieraus jedoch eine überproportionale Lohneinbusse abzuleiten, die bei Nichtberücksichtigung eine Bundesrechtswidrigkeit begründen würde, geht fehl (vgl. MEYER/REICHMUTH, Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Bundesgesetz über die Invalidenversicherung [IVG], 3. Aufl. 2014, N. 104 zu Art. 28a IVG). Die vorinstanzliche Invaliditätsbemessung hält stand.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Februar 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Frésard
Die Gerichtsschreiberin: Polla