Sachverhalt:
A.
Der 1958 geborene A._ war zuletzt als Kaminbauer erwerbstätig gewesen, als er sich am 5. Mai 2014 unter Hinweis auf einen am 4. November 2013 erlittenen Unfall bei der Invalidenversicherung zum Leistungsbezug anmeldete. Die IV-Stelle gewährte dem Versicherten zunächst Eingliederungsmassnahmen in Form einer Arbeitsvermittlung, verneinte aber mit Mitteilung vom 10. November 2015 einen Anspruch auf weitere berufliche Massnahmen. Am 5. Juni 2016 machte der Versicherte erneut einen Anspruch auf Umschulung geltend. Nach Durchführung des Vorbescheidverfahrens lehnte die IV-Stelle mit Verfügung vom 17. Februar 2017 einen solchen Anspruch ab. Eine vom Versicherten hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 26. Juli 2017 gut und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück. Nach Vorliegen des Gutachtens der SMAB AG vom 26. Februar 2018 lehnte die IV-Stelle mit Verfügung vom 20. Juni 2018 das Begehren des Versicherten um berufliche Massnahmen ab.
B.
Die von A._ hiegegen erhobene Beschwerde hiess das Versicherungsgericht das Kantons St. Gallen mit Entscheid vom 22. Oktober 2019 gut, soweit sie einen Anspruch auf Arbeitsvermittlung betraf. In Bezug auf einen Umschulungsanspruch wies das kantonale Gericht die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, die IV-Stelle sei zu verpflichten, ihn umzuschulen; eventuell sei die Sache an die Vorinstanz zu weiteren Abklärungen zurückzuweisen oder es sei gerichtlich festzustellen, dass das Beschleunigungsgebot nicht eingehalten worden sei, was bei der Verteilung der vorinstanzlichen Prozesskosten zu berücksichtigen sei.
Die IV-Stelle des Kantons St. Gallen und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind grundsätzlich gegeben (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
1.2. Das Bundesgericht wendet das (Bundes-) recht von Amtes wegen (<ref-law>; <ref-ruling> E. 2.3 S. 23 f.) und mit uneingeschränkter (voller) Kognition an (<ref-law>; <ref-ruling> E. 2 S. 236). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.3. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, als es - wie von der IV-Stelle verfügt - einen Anspruch auf Umschulung verneinte.
3.
3.1. Der Versicherte hat gemäss <ref-law> Anspruch auf Umschulung auf eine neue Erwerbstätigkeit, wenn die Umschulung infolge Invalidität notwendig ist und dadurch die Erwerbsfähigkeit voraussichtlich erhalten oder verbessert werden kann. Unter Umschulung ist dabei rechtsprechungsgemäss grundsätzlich die Summe der Eingliederungsmassnahmen berufsbildender Art zu verstehen, die notwendig und geeignet sind, der vor Eintritt der Invalidität bereits erwerbstätig gewesenen versicherten Person eine ihrer früheren annähernd gleichwertige Erwerbsmöglichkeit zu vermitteln. Dabei bezieht sich der Begriff der "annähernden Gleichwertigkeit" nicht in erster Linie auf das Ausbildungsniveau als solches, sondern auf die nach erfolgter Eingliederung zu erwartende Verdienstmöglichkeit. In der Regel besteht nur ein Anspruch auf die dem jeweiligen Eingliederungszweck angemessenen, notwendigen Massnahmen, nicht aber auf die nach den gegebenen Umständen bestmöglichen Vorkehren. Denn das Gesetz will die Eingliederung lediglich so weit sicherstellen, als diese im Einzelfall notwendig, aber auch genügend ist (<ref-ruling> E. 4.2 S. 489 f.; Urteil 8C_808/2017 vom 11. Januar 2018 E. 3). Dabei setzt der Umschulungsanspruch grundsätzlich eine Mindesterwerbseinbusse von rund 20 % in den für die versicherte Person ohne zusätzliche Ausbildung offenstehenden, noch zumutbaren Erwerbstätigkeiten voraus (<ref-ruling> E. 4.2 S. 489 f., 124 V 108 E. 3 S. 111).
3.2. Der Anspruch auf Eingliederungsmassnahmen besteht gemäss <ref-law> unabhängig von der Ausübung einer Erwerbstätigkeit vor Eintritt der Invalidität. Bei der Festlegung der Massnahmen ist die gesamte noch zu erwartende Dauer des Erwerbslebens zu berücksichtigen. Darunter ist die verbleibende Zeitspanne zwischen der Anmeldung zum Leistungsbezug bis zum ordentlichen Pensionierungsalter gemäss <ref-law> zu verstehen (vgl. <ref-ruling>0 E. 7.4 S. 199)
4.
4.1. Das kantonale Gericht hat in seiner Hauptbegründung erwogen, eine Umschulung des Versicherten wäre zeitlich nicht mehr angemessen, da dieser im Zeitpunkt der angefochtenen Verfügung, mithin am 20. Juni 2018, bereits 60 Jahre alt gewesen sei. Wie der Beschwerdeführer indessen zu Recht geltend macht, verstösst diese Argumentation gegen Bundesrecht: Massgebender Zeitpunkt für die Beurteilung der zeitlichen Angemessenheit im Sinne von <ref-law> ist nicht der Verfügungszeitpunkt, sondern das Datum der Gesuchstellung (vgl. 3.2 hievor). Der Versicherte meldete sich am 5. Mai 2014 bei der Invalidenversicherung zum Leistungsbezug an; damals war er noch nicht ganz 56 Jahre alt und hatte damit noch eine Aktivitätsdauer von etwas über neun Jahren vor sich.
4.2. Im Sinne einer Eventualbegründung hat die Vorinstanz weiter erwogen, selbst bei einem hypothetischen Beginn der Umschulung im Zeitpunkt des Unfalls wäre eine solche, da mindestens vier Jahre in Anspruch nehmend, nicht mehr verhältnismässig gewesen. Wie der Versicherte dagegen zutreffend einwendet, ist indessen nicht nachvollziehbar, weshalb die Vorinstanz zwingend von einer dermassen langen Umschulung ausgeht. Bereits aufgrund des allgemeinen Verhältnismässigkeitsprinzips wäre vor Inangriffnahme einer Massnahme von dieser Dauer zu prüfen, ob das Eingliederungsziel nicht auch mit einer kürzeren Umschulung erreicht werden könnte. Dabei bietet es sich an, wenn immer möglich von einer Umschulung in ein völlig neues Berufsfeld abzusehen und an die bereits vorhandenen Kenntnisse und Erfahrungen anzuknüpfen. Eine solche, bloss ein- oder zweijährige, Umschulung wäre aber - jedenfalls wenn man von den in der Beschwerde geltend gemachten Ausbildungskosten ausgeht - auch bei einem 56-jährigen Versicherten noch ohne weiteres angemessen.
4.3. Damit hat das kantonale Gericht Bundesrecht verletzt, als es jeglichen Umschulungsanspruch des Versicherten aufgrund zeitlicher Unangemessenheit verneinte. Die Beschwerde ist demgemäss teilweise gutzuheissen und die Sache an die IV-Stelle zurückzuweisen, damit diese einen Umschulungsanspruch - insbesondere einen Anspruch auf eine weniger als vier Jahre dauernde Massnahme - des Versicherten neu prüfe. Dabei wird sie zu beachten haben, dass es einerseits in der Tat zu kurz greift, einen solchen Anspruch einzig mit dem Hinweis auf die volle Arbeitsfähigkeit in einer leidensangepassten Tätigkeit zu verneinen. Andererseits ist aber entgegen den bundesrechtswidrigen Erwägungen der Vorinstanz auch daran zu erinnern, dass der Umschulungsanspruch grundsätzlich eine Mindesterwerbseinbusse von rund 20 % in den für die versicherte Person ohne zusätzliche Ausbildung offenstehenden, noch zumutbaren Erwerbstätigkeiten voraussetzt (vgl. E. 3.1 hievor). Soweit weitergehend ist die Beschwerde abzuweisen.
5.
Die Rückweisung der Sache zu erneutem Entscheid gilt für die Frage der Auferlegung der Gerichtskosten sowie der Parteientschädigung als vollständiges Obsiegen im Sinn von Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG (<ref-ruling> E. 11.1 S. 312). Mithin hat die unterliegende IV-Stelle die Gerichtskosten zu tragen und dem Beschwerdeführer eine Parteientschädigung auszurichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Dispositivziffern 4, 5 und 6 des Entscheids des Versicherungsgerichts des Kantons St. Gallen vom 22. Oktober 2019 und - soweit den Umschulungsanspruch betreffend - die Verfügung der IV-Stelle des Kantons St. Gallen vom 20. Juni 2018 werden aufgehoben. Die Sache wird zu neuer Verfügung an die IV-Stelle des Kantons St. Gallen zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Februar 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Heine
Der Gerichtsschreiber: Nabold