Sachverhalt:
A.
A.a. Der 1962 geborene S._, der seit 1993 mehrere Unfälle erlitten hatte, meldete sich unter Verweis auf Rücken-, Nacken- und Kopfschmerzen, Gefühlsstörungen am linken Bein sowie psychischen Beschwerden am 31. Mai 2001 bei der Invalidenversicherung zum Leistungsbezug an. Es folgten diverse Abklärungen, insbesondere eine Begutachtung durch die Medizinische Abklärungsstelle MEDAS. Aufgrund einer von der damaligen AHV/IV-Rekurskommission des Kantons Thurgau mit Entscheid vom 20. August 2004 bestätigten Rückweisung zur ergänzenden medizinischen Abklärung veranlasste die IV-Stelle des Kantons Thurgau eine polydisziplinäre (rheumatologische, neurologische und psychiatrische) Begutachtung des Versicherten im Zentrum für Medizinische Begutachtungen (ZMB), Medizinische Abklärungsstelle MEDAS. Gestützt auf das Gutachten des ZMB vom 19. April 2004 (recte 2005) sprach die IV-Stelle dem Versicherten mit Verfügung vom 21. September 2005, bestätigt mit Einspracheentscheid vom 13. Dezember 2005, ab 1. November 2002 bei einem Invaliditätsgrad von 50 % eine halbe und ab 1. Februar 2003 bei einem Invaliditätsgrad von 100 % eine ganze Rente zu. Mit Mitteilung vom 3. Dezember 2010 hielt sie an der Weiterausrichtung der ganzen Rente fest.
A.b. Im Rahmen eines von Amtes wegen durchgeführten Revisionsverfahrens holte die IV-Stelle ein psychiatrisches Gutachten des Dr. med. K._, Leitender Arzt für forensische Psychiatrie, psychiatrische Klinik X._, vom 23. November 2011 ein. Nach Durchführung des Vorbescheidverfahrens reduzierte sie mit Verfügung vom 20. Juni 2012 die bisherige ganze Rente per 1. August 2012 auf eine Viertelsrente, bei einem Invaliditätsgrad von 43 %.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau nach Einholung einer gutachterlichen Stellungnahme des Dr. med. K._ vom 29. Oktober 2012 mit Entscheid vom 12. Dezember 2012 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, in Aufhebung des kantonalen Gerichtsentscheides seien ihm ungeschmälert und ohne Unterbruch sämtliche Leistungen der Invalidenversicherung (inklusive Kinderrenten) auf der Basis der vor der Revision gültigen Leistungszusprachen zu gewähren. Eventualiter sei die Sache zur Neubeurteilung und Vornahme ergänzender medizinischer Abklärungen an die Vorinstanz respektive die IV-Stelle zurückzuweisen.
Während die Vorinstanz und die IV-Stelle auf Abweisung der Beschwerde schliessen, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> und <ref-law>). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Person genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (<ref-ruling> E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: <ref-ruling>]).
1.3. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten Rechtsfragen (<ref-ruling> E. 5.1 S. 232).
Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage; dazu gehören auch Folgerungen, die sich auf medizinische Empirie stützen, zum Beispiel die Vermutung, dass eine anhaltende somatoforme Schmerzstörung oder ein vergleichbarer ätiologisch unklarer syndromaler Zustand mit zumutbarer Willensanstrengung überwindbar sei (<ref-ruling> mit Hinweisen; SVR 2008 IV Nr. 8 S. 24, I 649/06 E. 3.2 am Ende). Im Übrigen gilt in diesem Zusammenhang Folgendes: Zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zählt zunächst, ob eine anhaltende somatoforme Schmerzstörung (oder ein damit vergleichbarer syndromaler Zustand) vorliegt, und bejahendenfalls sodann, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (SVR 2008 IV Nr. 23 S. 72, I 683/06 E. 2.2; Urteil 9C_917/2012 E. 1.2 vom 14. August 2013).
2.
Streitig und zu prüfen ist, ob die Vorinstanz zu Recht die Herabsetzung der Invalidenrente von einer ganzen auf eine Viertelsrente bestätigte.
3.
3.1. Im angefochtenen Entscheid werden die zur Beurteilung der Streitsache massgebenden Rechtsgrundlagen zutreffend dargelegt. Dies betrifft insbesondere die Bestimmungen über die Erwerbsunfähigkeit (<ref-law>), die Invalidität (<ref-law>; <ref-law>), den Rentenanspruch (Art. 28 Abs. 1 und 2 IVG), die Revision der Invalidenrente (<ref-law>) sowie die Rechtsprechung zu den dabei zu vergleichenden Sachverhalten (<ref-ruling> E. 5.3 und 5.4 S. 112 ff.). Gleiches gilt in Bezug auf den Beweiswert und die Beweiswürdigung von medizinischen Berichten und Gutachten (<ref-ruling> E. 3a S. 352, vgl. auch <ref-ruling> E. 5.1 S. 232). Darauf wird verwiesen.
3.2. Richtig ist zudem, dass gemäss lit. a Abs. 1 der Schlussbestimmungen der Änderung des IVG vom 18. März 2011 (nachfolgend SchlB IVG), gültig seit 1. Januar 2012, Renten, die bei pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildern ohne nachweisbare organische Grundlage (Urteil 8C_1014/2012 vom 3. Juli 2013 E. 7.2.1; vgl. auch RUMO-JUNGO/HOLZER, Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Bundesgesetz über die Unfallversicherung, 4. Aufl. 2012, S. 132) gesprochen wurden, innerhalb von drei Jahren nach Inkrafttreten dieser Änderung überprüft werden. Sind die Voraussetzungen nach <ref-law> nicht erfüllt, so wird die Rente herabgesetzt oder aufgehoben, auch wenn die Voraussetzungen von <ref-law> nicht erfüllt sind. Abs. 4 der Bestimmung hält fest, dass Abs. 1 keine Anwendung findet auf Personen, die im Zeitpunkt des Inkrafttretens der Änderung das 55. Altersjahr zurückgelegt haben oder im Zeitpunkt, in dem die Überprüfung eingeleitet wird, seit mehr als 15 Jahren eine Rente der Invalidenversicherung beziehen, wobei der Beginn des Rentenanspruchs massgebend ist (BGE 8C_324/2013 vom 29. August 2013).
4.
Mit der Vorinstanz steht fest und ist unbestritten, dass die vorgenannten Schlussbestimmungen hier zur Anwendung gelangen, nachdem sie bei Erlass der angefochtenen Verfügung vom 20. Juni 2012 in Kraft waren. Mithin braucht die Frage, ob ein Revisionsgrund gegeben ist, was vom Beschwerdeführer ausführlich bestritten wird, nicht weiter geprüft zu werden, wenn die Voraussetzungen der Schlussbestimmungen erfüllt sind. Dies ist vorliegend der Fall. So stellte die Vorinstanz fest, dass die Rente im Jahre 2005 aufgrund eines pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildes zugesprochen wurde. Dies ist für das Bundesgericht verbindlich (vgl. E. 1.2), legt doch der Beschwerdeführer nicht dar, inwiefern diese Tatsachenfeststellung offensichtlich unrichtig ist, sondern verweist lediglich bezüglich Unklarheiten bei der Diagnosestellung auf eine Aussage des behandelnden Psychiaters Dr. med. A._. Sodann hat der Beschwerdeführer das 55. Altersjahr noch nicht zurückgelegt und bezieht seit 1. November 2002 und damit noch nicht mindestens 15 Jahre eine Rente der Invalidenversicherung. Ist somit eine Prüfung entsprechend den Schlussbestimmungen zulässig, so findet eine allseitige Prüfung des Rentenanspruchs statt.
5.
5.1. Das kantonale Gericht stellte in seinem Entscheid nach Würdigung der medizinischen Unterlagen auf das Gutachten des Psychiaters Dr. med. K._ vom 23. November 2011 und dessen Stellungnahme vom 29. Oktober 2012 ab, denen es vollen Beweiswert zuerkannte. Darin werden als Diagnosen mit Auswirkungen auf die Arbeitsfähigkeit eine emotional-instabile Persönlichkeitsstörung vom impulsiven Typus mit histrionischen und dissozialen Zügen (F 60.30), eine chronische Schmerzstörung mit somatischen und psychischen Faktoren (F 45.41) plus ausgeprägte Symptomausweitung, bestehend seit den 90er-Jahren, allmählich zunehmend sowie ein abnormes Krankheitsverhalten mit massiver Persönlichkeitsregression (und zahlreichen Phänomenen der dysfunktionalen Beschwerdebewältigung) aufgeführt. Als Diagnosen ohne Auswirkungen auf die Arbeitsfähigkeit wird u.a. ein lumbovertebrales Syndrom bei Status nach Diskushernien-Operation erwähnt. Hinsichtlich der Frage der Überwindbarkeit des von ihm erhobenen Störungsbildes stellte der Psychiater - anhand der Foerster-Kriterien - fest, dass nur ein Teil dieser Kriterien partiell erfüllt sei, so dass sicher nicht von einer völligen Unüberwindbarkeit der Einschränkungen des Versicherten gesprochen werden könnte. Aufgrund des langjährigen verfestigten Invaliditätsprozesses, des hohen Krankheitsgewinns und der Persönlichkeitsstörung mit schwerer Regressionsneigung könnte laut Gutachter aber dennoch eine gewisse Erschwerung der Überwindbarkeit des Zustandsbildes angenommen werden. Die Arbeitsunfähigkeit in einer leidensangepassten Tätigkeit (leichte Hilfsarbeiten ohne allzu langes Sitzen und Stehen, wie beispielsweise Montagearbeiten oder Verpackungsarbeiten) schätzte der Gutachter auf ca. 20 bis 30 %. Dabei hielt er fest, dass diese Einschränkung der Arbeitsfähigkeit aufgrund einer gewissen Unüberwindbarkeit des Zustandsbildes anhand der Foerster-Kriterien vertretbar sei.
Zusammenfassend ging die Vorinstanz gestützt auf dieses Gutachten, dem sie vollen Beweiswert zuerkannte, und die gutachterliche Stellungnahme vom 29. Oktober 2012 davon aus, dass eine 60%ige Restarbeitsfähigkeit des Beschwerdeführers in einer leidensangepassten Tätigkeit ab dem Zeitpunkt der Begutachtung, d.h. Oktober/November 2011 ausgewiesen sei. Sie stellte fest, dass nicht zu beanstanden sei, dass die IV-Stelle unter den gegebenen Umständen vom tiefsten von Dr. med. K._ angegebenen Wert (initial ein Pensum von 5 Stunden pro Tag, was einer 60%igen Arbeitsfähigkeit gemäss gutachterlicher Stellungnahme entspricht) ausging.
5.2.
5.2.1. Der Beschwerdeführer bemängelt die Beweiskraft des Gutachtens des Dr. med. K._ vom 23. November 2011 und wirft der Vorinstanz vor, bezüglich seiner somatisch bedingten gesundheitlichen Einschränkung den Untersuchungsgrundsatz verletzt zu haben. Insbesondere macht er geltend, für die somatischen Belange hätte nicht auf das Gutachten des Dr. med. K._ und dessen gutachterliche Stellungnahme vom 29. Oktober 2012 abgestellt werden dürfen. Es sei nicht an Dr. med. K._ als forensischer Psychiater, über die physischen Befindlichkeiten des Versicherten abschliessend zu urteilen. Im ZMB-Gutachten würden ausdrücklich beide Bereiche (Soma und Psyche) als in relevanter Weise beeinträchtigt diagnostiziert. Die somatischen Belange seien für das Revisionsverfahren nicht hinreichend abgeklärt worden. Dem kann mit der Vorinstanz nicht beigepflichtet werden. Es trifft zwar zu, dass es sich bei Dr. med. K._ um eine psychiatrische Fachperson handelt. Allerdings gilt zu berücksichtigen, dass gemäss ZMB-Gutachten vom 19. April 2005 die Arbeitsfähigkeit aufgrund des somatischen Leidens allein in einer körperlich mittelschweren oder schweren Tätigkeit eingeschränkt war. Die 100%ige Arbeitsunfähigkeit war von den ZMB-Gutachtern vollumfänglich mit dem psychischen Leiden begründet worden, was vom Beschwerdeführer im kantonalen Gerichtsverfahren im Übrigen explizit bestätigt wurde. Auch letztinstanzlich hält er fest, dass die eigentlichen Einschränkungen im psychischen Bereich zu verorten seien. Aufgrund der eigenen Befunderhebung vermochte Dr. med. K._ in somatischer Hinsicht keine Veränderung der gesundheitlichen Situation im Vergleich zum Zeitpunkt des ZMB-Gutachtens festzustellen. Sodann wurde vom Hausarzt des Beschwerdeführers, Dr. med. B._, auf Rückfrage hin in somatischer Hinsicht keine Veränderung der gesundheitlichen Situation erwähnt. Dies ergibt sich mit der Vorinstanz sinngemäss auch aus dessen Bericht vom 17. August 2010. Damit durfte Dr. med. K._ - ohne sein Fachgebiet zu verlassen - gestützt auf die Einschätzung der ZMB-Gutachter und des Dr. med. B._ die somatische Einschätzung der Arbeitsfähigkeit in sein Gutachten aufnehmen. Nachdem sich weder aus den Akten, noch aus den Vorbringen des Beschwerdeführers im vorinstanzlichen Verfahren Hinweise ergaben, die auf eine Veränderung der somatischen Einschränkungen seit dem ZMB-Gutachten schliessen liessen, hätten anderweitige Abklärungen im somatischen Bereich nicht zu entscheidrelevanten Erkenntnissen geführt, weshalb die Vorinstanz ohne Verletzung des Untersuchungsgrundsatzes darauf verzichten durfte. Mithin besteht auch im vorliegenden Verfahren keine Veranlassung für die beantragte Rückweisung zu ergänzenden Abklärungen.
5.2.2. Wenn die Vorinstanz dem Gutachten des Dr. med. K._ im Rahmen der Beweiswürdigung vollen Beweiswert zuerkannte, ist darin keine Bundesrechtswidrigkeit zu erkennen. Mit der Vorinstanz erfüllt dieses Gutachten die von der Rechtsprechung aufgestellten Kriterien an ein beweiskräftiges Gutachten. Es ist für die streitigen Belange umfassend, beruht auf den erforderlichen Untersuchungen, berücksichtigt auch die geklagten Beschwerden, ist in Kenntnis der Vorakten (Anamnese) abgegeben worden; zudem erweist sich die Beschreibung der medizinischen Situation und Zusammenhänge als einleuchtend und die Schlussfolgerungen sind begründet (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 2a S. 352 mit Hinweis). Die Einwendungen des Beschwerdeführers, insbesondere die allgemeine Kritik an der bundesgerichtlichen Schmerzrechtsprechung und der Anwendbarkeit der Foerster-Kriterien vermögen daran nichts zu ändern. Auch kann aus dem Umstand, dass das kantonale Gericht zur Frage der Veränderung des Gesundheitszustandes im Vergleich zur letztmaligen Rentenverfügung eine ergänzende Stellungnahme des Gutachters einholte, nichts gegen die Beweiskraft des Gutachtens in Bezug auf den aktuellen Gesundheitszustand abgeleitet werden. Sämtliche Vorbringen des Beschwerdeführers sind nicht geeignet, die vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig erscheinen zu lassen.
5.3. Nachdem die konkrete Invaliditätsbemessung nicht weiter gerügt wird, besteht diesbezüglich kein Grund zu einer näheren Prüfung. Damit hat es mit der vorinstanzlich bestätigten Herabsetzung auf eine Viertelsrente der Invalidenversicherung sein Bewenden. Die Beschwerde ist abzuweisen.
6.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau, der Ostschweizerischen Ausgleichskasse für Handel und Industrie und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. Dezember 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Weber Peter