Sachverhalt:
A.
Der 1962 geborene M._ war zuletzt als Produktionsmitarbeiter der G._ AG erwerbstätig gewesen, als er sich am 2. April 2007 unter Hinweis auf einen am 27. Juli 2006 erlittenen Unfall bei der IV-Stelle des Kantons Thurgau zum Leistungsbezug anmeldete. Nach beruflichen und medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 29. November 2011 einen Umschulungsanspruch des Versicherten. Mit Verfügung vom 20. Januar 2012 sprach sie ihm für die Zeit vom 1. Dezember 2006 bis 30. November 2007 bei einem Invaliditätsgrad von 100 % eine ganze Rente und vom 1. Dezember 2007 bis zum 31. Mai 2010 bei einem Invaliditätsgrad von 62 % eine Dreiviertelsrente der Invalidenversicherung zu. Gleichzeitig verneinte sie bei einem Invaliditätsgrad von 38 % einen Rentenanspruch des Versicherten für die Zeit ab 1. Juni 2010.
B.
Die von M._ gegen diese Verfügungen erhobenen Beschwerden wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 12. Dezember 2012 ab.
C.
Mit Beschwerde beantragt M._, ihm seien unter Aufhebung des kantonalen Gerichtsentscheides und der Verfügung vom 29. November 2011 Massnahmen beruflicher Art zuzusprechen. Zudem sei ihm unter Anpassung der Verfügung vom 20. Januar 2012 auch für die Zeit über den 1. Dezember 2007 hinaus eine ganze Rente der Invalidenversicherung auszuzahlen.
Während die IV-Stelle des Kantons Thurgau auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
2.2. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 3.2).
2.3. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, als sie einen Umschulungsanspruch und den Anspruch auf höhere als die zugesprochenen Rentenleistungen verneinte.
3.
3.1. Es steht fest und ist unbestritten, dass dem Beschwerdeführer seine zuletzt ausgeübte Erwerbstätigkeit als Produktionsmitarbeiter der G._ AG aus gesundheitlichen Gründen nicht mehr zuzumuten ist. Das kantonale Gericht hat demgegenüber in umfassender Würdigung der medizinischen Akten für das Bundesgericht grundsätzlich verbindlich festgestellt, dass er in der Zeit bis 31. August 2007 auch in einer angepassten Tätigkeit vollständig arbeitsunfähig war. Für die Zeit vom 1. September 2007 bis 28. Februar 2010 stellte die Vorinstanz eine 50%ige Arbeitsfähigkeit fest; ab 1. März 2010 ging sie von einer mindestens 80%igen Arbeitsfähigkeit in einer angepassten Tätigkeit aus.
3.2. Die vorinstanzliche Feststellungen zum psychischen Gesundheitszustand basieren im Wesentlichen auf dem Teilgutachten von S._, Fachärztin für Psychiatrie und Psychotherapie am Regionalen Ärztlichen Dienst (RAD), vom 19. März 2010 und damit auf einer Stellungnahme einer versicherungsinternen Ärztin. Auf die Berichte verwaltungsinterner medizinischer Fachpersonen kann dann abgestellt werden, wenn auch keine geringen Zweifel an der Zuverlässigkeit und Schlüssigkeit ihrer Feststellungen bestehen (<ref-ruling> E. 4.6 S. 471). Wie nachstehende Erwägung zeigt, ist diese Voraussetzung vorliegend nicht erfüllt.
3.3. In dem im Verfahren nach <ref-law> eingeholten Gutachten vom 9. Februar 2009 diagnostizierte Dr. med. A._, Fachärztin für Psychiatrie und Psychotherapie, eine mittelgradige depressive Episode mit somatischem Syndrom (ICD-10: F32.11) und eine generalisierte Angststörung mit Panikattacken (ICD-10 F41.1). Aus psychiatrischer Sicht bestehe eine Arbeitsfähigkeit von ca. 40 %. Demgegenüber geht die RAD-Ärztin im erwähnten Teilgutachten von einer Besserung der Depression aus, aktuell bestehe nur eine leichte depressive Episode. Die Diagnose einer Angststörung konnte von ihr nicht gestellt werden. Die Arbeitsfähigkeit wird von der RAD-Ärztin auf mindestens 80 % beziffert. In seinem Privatgutachten zu Handen der Versicherten bestätigt Dr. med. K._, Psychiatrie und Psychotherapie FMH, vom 8. September 2010 sowohl eine Besserung der depressiven Symptome als auch die Diagnose der generalisierten Angststörung. Die Arbeitsfähigkeit wird von diesem Arzt auf 50 % geschätzt. Bei einer solchen Ausgangslage bestehen mindestens geringe Zweifel an der Zuverlässigkeit des Ausschlusses der Diagnose der generalisierten Angststörung durch die RAD-Ärztin. Da die Frage des Bestandes dieser Diagnose auch von der RAD-Ärztin als für die Einschätzung der Arbeitsfähigkeit entscheidend anerkannt wird, würde es somit gegen die dargelegten Beweiswürdigungsgrundsätze (vgl. E. 3.2) - und damit mittelbar gegen den aus Art. 6 EMRK fliessenden Grundsatz der Waffengleichheit (vgl. auch Urteil 9C_1021/2012 vom 3. Juli 2013 E. 3.3) - verstossen, wenn der Fall abschliessend entschieden würde, ohne zunächst ein versicherungsexternes Gutachten einzuholen.
3.4. Die Sache ist demnach an die Vorinstanz zurückzuweisen, damit diese ein psychiatrisches Gerichtsgutachten einer versicherungsexternen Fachperson einhole und anschliessend über den Umschulungsanspruch sowie über den Rentenanspruch ab 1. Dezember 2007 neu entscheide. Dabei wird sie bezüglich eines allfälligen Umschulungsanspruchs zu berücksichtigen haben, dass ein solcher nicht bereits dann entfällt, wenn die versicherte Person rentenausschliessend eingegliedert ist. Ein Anspruch auf Umschulung besteht vielmehr rechtsprechungsgemäss bereits dann, wenn ein Mindestinvaliditätsgrad von etwa 20 % gegeben und eine Umschulung tatsächlich geeignet und notwendig ist, um die Erwerbsfähigkeit erhalten oder verbessern zu können (vgl. etwa SVR 2010 IV Nr. 52 S. 160, 9C_125/2009 E. 5).
4.
Dem Prozessausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG; vgl. auch <ref-ruling>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 12. Dezember 2012 wird aufgehoben. Die Sache wird zu weiteren Abklärungen im Sinne der Erwägungen und anschliessendem Neuentscheid an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'000.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Dezember 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Nabold