Sachverhalt: A. Der 1986 geborene A._ war als Lehrling (Mechanikpraktiker) erwerbstätig gewesen, als er sich am 24. September 2012 unter Hinweis auf Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug anmeldete. Die IV-Stelle des Kantons Aargau sprach ihm daraufhin mit Verfügung vom 19. Mai 2016 Rentenleistungen zu; diese Verfügung wurde auf Beschwerde des Versicherten hin vom Versicherungsgericht des Kantons Aargau mit Entscheid vom 1. Februar 2017 aufgehoben und die Sache wurde zu weiteren Abklärungen an die IV-Stelle zurückgewiesen. Nach Vorliegen des bidisziplinären (psychiatrisch/orthopädischen) Gutachtens der SMAB, Bern, vom 15. Dezember 2017 sprach die IV-Stelle dem Versicherten mit Verfügung vom 20. März 2019 eine abgestufte (vom 1. März 2013 bis 31. August 2013 eine halbe, vom 1. September 2013 bis 28. Februar 2014 eine ganze und vom 1. März 2014 bis 31. Oktober 2018 wiederum auf eine halbe) befristete Rente zu. Ab 1. November 2018 bestehe kein Rentenanspruch mehr. Gleichzeitig forderte die IV-Stelle einen Betrag von Fr. 1098.- an zu viel ausbezahlten Leistungen zurück. B. Die von A._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 4. März 2020 ab. Gleichzeitig stellte das kantonale Gericht nach Androhung einer reformatio in peius fest, dass der Rentenanspruch nur bis 31. Januar 2018 bestanden hat. Entsprechend erhöhte es den Rückforderungsbetrag auf Fr. 10'980.-. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, die IV-Stelle sei unter Aufhebung des kantonalen Gerichtsentscheides zu verpflichten, auch über den 1. November 2018 hinaus eine halbe Rente der Invalidenversicherung auszurichten.