Sachverhalt:
A.
Der 1986 geborene A._ war als Lehrling (Mechanikpraktiker) erwerbstätig gewesen, als er sich am 24. September 2012 unter Hinweis auf Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug anmeldete. Die IV-Stelle des Kantons Aargau sprach ihm daraufhin mit Verfügung vom 19. Mai 2016 Rentenleistungen zu; diese Verfügung wurde auf Beschwerde des Versicherten hin vom Versicherungsgericht des Kantons Aargau mit Entscheid vom 1. Februar 2017 aufgehoben und die Sache wurde zu weiteren Abklärungen an die IV-Stelle zurückgewiesen. Nach Vorliegen des bidisziplinären (psychiatrisch/orthopädischen) Gutachtens der SMAB, Bern, vom 15. Dezember 2017 sprach die IV-Stelle dem Versicherten mit Verfügung vom 20. März 2019 eine abgestufte (vom 1. März 2013 bis 31. August 2013 eine halbe, vom 1. September 2013 bis 28. Februar 2014 eine ganze und vom 1. März 2014 bis 31. Oktober 2018 wiederum auf eine halbe) befristete Rente zu. Ab 1. November 2018 bestehe kein Rentenanspruch mehr. Gleichzeitig forderte die IV-Stelle einen Betrag von Fr. 1098.- an zu viel ausbezahlten Leistungen zurück.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 4. März 2020 ab. Gleichzeitig stellte das kantonale Gericht nach Androhung einer reformatio in peius fest, dass der Rentenanspruch nur bis 31. Januar 2018 bestanden hat. Entsprechend erhöhte es den Rückforderungsbetrag auf Fr. 10'980.-.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, die IV-Stelle sei unter Aufhebung des kantonalen Gerichtsentscheides zu verpflichten, auch über den 1. November 2018 hinaus eine halbe Rente der Invalidenversicherung auszurichten.

Erwägungen:
1.
1.1. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind grundsätzlich gegeben (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
1.2. Das Bundesgericht wendet das (Bundes-) recht von Amtes wegen (<ref-law>; <ref-ruling> E. 2.3 S. 23 f.) und mit uneingeschränkter (voller) Kognition an (<ref-law>; <ref-ruling> E. 2 S. 236). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.3. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
1.4.
1.4.1. Rechtsbegehren sind nach Treu und Glauben auszulegen, insbesondere im Lichte der dazu gegebenen Begründung (<ref-ruling> E. 1 S. 127; Urteil 4P.266/2006 vom 13. Dezember 2006 E. 1.3). Nach der Rechtsprechung schadet eine sichtlich ungewollte oder unbeholfene Wortwahl der am Recht stehenden Person ebensowenig wie eine nicht geglückte oder rechtsirrtümliche Ausdrucksweise. Es genügt, wenn der Beschwerde insgesamt entnommen werden kann, was die beschwerdeführende Person verlangt (SVR 2004 IV Nr. 25 S. 75 E. 3.2.1 mit Hinweisen, I 138/02; Urteil 1C_37/2020 vom 24. Juni 2020 E. 1.2).
1.4.2. Der Beschwerdeführer beantragt die Weiterausrichtung der ihm befristet zugesprochenen Invalidenrente über den 1. November 2018 hinaus. Bei der Formulierung dieses Antrages hat er indessen offensichtlich übersehen, dass das kantonale Gericht im Sinne einer reformatio in peius den Rentenanspruch bereits per 31. Januar 2018 aufgehoben hat. Aus dem Gesamtzusammenhang der Beschwerde ergibt sich jedoch, dass der Versicherte die Befristung als solche bestreitet. Streitig und zu prüfen ist somit, ob die Vorinstanz Bundesrecht verletzte, als sie den Rentenanspruch des Versicherten auf Ende Januar 2018 befristete.
2.
2.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
2.2. Die Rente wird von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>; <ref-law>), wenn sich der Invaliditätsgrad eines Rentenbezügers erheblich ändert (vgl. auch <ref-ruling> E. 3 S. 132). Nach der Rechtsprechung sind diese Revisionsbestimmungen bei der rückwirkenden Zusprechung einer abgestuften oder befristeten Rente analog anwendbar (<ref-ruling> E. 6.1 mit Hinweisen).
3.
3.1. Das kantonale Gericht hat in umfassender Würdigung der medizinischen Akten, insbesondere aber gestützt auf das Gutachten des SMAB vom 15. Dezember 2017 für das Bundesgericht grundsätzlich verbindlich festgestellt, dass sich der Gesundheitszustand spätestens bis zum Zeitpunkt der Begutachtung im Oktober 2017 des Versicherten verbessert hat. Da die von den Gutachtern vorgeschlagene Kräftigungs- und Balancierungstherapie invalidenversicherungsrechtlich nicht relevant sei (vgl. insbesondere Urteil 9C_432/2015 vom 23. September 2015 E. 5.2), sei bereits ab Oktober 2017 von einer medizinisch-theoretischen Arbeitsfähigkeit von 100 % in einer angepassten Tätigkeit auszugehen.
3.2. Was der Beschwerdeführer gegen diese für das Bundesgericht grundsätzlich verbindliche Feststellung der medizinisch-theoretischen Arbeitsfähigkeit vorbringt, vermag sie nicht als offensichtlich unrichtig oder sonstwie bundesrechtswidrig erscheinen zu lassen. Wie die Vorinstanz zutreffend erwogen hat, ist rechtsprechungsgemäss auf ein im Verfahren nach <ref-law> eingeholtes Gutachten abzustellen, wenn nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 4.4 S. 470). Entgegen den Ausführungen des Beschwerdeführers stellt das Lebensalter des Experten (gemäss den Vorbringen des Versicherten war der Experte im Zeitpunkt der Begutachtung 75 Jahre alt) für sich alleine noch kein solches Indiz dar (vgl. auch Urteil 9C_555/2017 vom 22. November 2017 E. 3.6; vgl. dagegen anders in Bezug auf Überlegungen zur rechtsgleichen Behandlung Urteil 1C_295/2019 vom 16. Juli 2020 E. 5.3). Selbst wenn sich der Experte im Weiteren in der Vergangenheit als Sportarzt angepriesen haben und als Mannschaftsarzt für einen professionellen Fussballverein tätig gewesen sein sollte, so stellte dies seine fachliche Eignung zur Erstellung eines Gutachtens nicht in Frage. Entsprechend braucht nicht näher geprüft zu werden, ob die in diesem Zusammenhang vom Beschwerdeführer letztinstanzlich erstmals eingereichten Dokumente mit Blick auf <ref-law> als Beweismittel zulässig sind. Gleiches gilt auch, soweit er in der Beschwerde erstmals geltend macht, für die Begutachtung hätte ein Rheumatologe zugezogen werden müssen: Der Beschwerdeführer legt nicht dar, inwiefern der Einbezug eines entsprechenden Facharztes zwingend erforderlich gewesen wäre, obwohl die Experten des SMAB den Beizug eines solchen offenbar nicht für notwendig hielten (vgl. zur Verantwortung der medizinischen Experten bei der Auswahl der Fachdisziplinen im Allgemeinen: <ref-ruling> E. 3.3 S. 352 f.; zum Verzicht auf eine rheumatologische Begutachtung bei Vorliegen einer orthopädischen im Speziellen: Urteil 9C_744/2016 vom 11. Oktober 2017 E. 2).
3.3. Die vorinstanzlichen Erwägungen, wonach die von den Gutachtern vorgeschlagene Kräftigungs- und Balancierungstherapie in dem Sinne invalidenversicherungsrechtlich nicht relevant ist, als schon ab dem Gutachtenszeitpunkt von einer medizinisch-theoretischen Arbeitsfähigkeit von 100 % in einer angepassten Tätigkeit auszugehen ist, sind letztinstanzlich unbestritten geblieben. Damit erübrigt sich auch eine Auseinandersetzung mit der nach Angaben des Versicherten im Jahre 2018 erfolglos durchgeführten Therapie.
3.4. Durfte das kantonale Gericht, ohne Bundesrecht zu verletzen, von einer 100%igen Arbeitsfähigkeit in einer angepassten Tätigkeit ab Oktober 2017 ausgehen, so ist bei im Übrigen unbestritten gebliebener Invaliditätsbemessung die Rentenaufhebung auf Ende Januar 2018 nicht zu beanstanden. Ebenfalls zu keinen Weiterungen Anlass gibt die daraus folgende vorinstanzliche Festsetzung des Rückforderungsbetrages auf Fr. 10'980.-. Die offensichtlich unbegründete Beschwerde ist im Verfahren nach <ref-law> abzuweisen.
4.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, dem Bundesamt für Sozialversicherungen und der BVG Sammelstiftung B._ schriftlich mitgeteilt.
Luzern, 16. September 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Nabold