Sachverhalt:
A.
Der 1975 geborene A._ war zuletzt als Monteur der B._ AG erwerbstätig gewesen, als er sich im November 2006 unter Hinweis auf eine Diskushernie und eine Depression bei der Invalidenversicherung zum Leistungsbezug anmeldete. Nach medizinischen und erwerblichen Abklärungen verneinte die IV-Stelle Bern mit Verfügung vom 2. April 2008 bei einem Invaliditätsgrad von 10 % einen Rentenanspruch des Versicherten.
Im Mai 2018 meldete sich A._ unter Hinweis auf eine Schulteroperation erneut bei der Invalidenversicherung zum Leistungsbezug an. Diese trat auf die Neuanmeldung ein, verneinte jedoch mit Verfügung vom 27. Januar 2020 bei einem Invaliditätsgrad von 20 % einen Rentenanspruch des Versicherten. In der Folge kam die IV-Stelle jedoch auf diese Verfügung zurück und tätigte weitere Abklärungen, insbesondere holte sie beim Ärztlichen Begutachtungsinstitut (ABI) eine bidisziplinäre (orthopädisch/psychiatrisch) Expertise ein (Gutachten vom 7. September 2020). Daraufhin sprach die IV-Stelle dem Versicherten mit Verfügung vom 19. Mai 2021 eine vom 1. Dezember 2018 bis 30. November 2019 befristete ganze Rente (Invaliditätsgrad: 100 %) zu, verneinte indessen für die Zeit ab 1. Dezember 2019 bei einem Invaliditätsgrad von 20 % einen Rentenanspruch.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Urteil vom 15. September 2021 ab. Gleichzeitig stellte das kantonale Gericht nach Androhung einer reformatio in peius fest, dass der Rentenanspruch nur in der Zeit vom 1. Mai bis 31. Juli 2019 bestanden hat und änderte die Verfügung vom 19. Mai 2021 entsprechend ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, ihm sei unter Aufhebung des kantonalen Gerichtsurteils über November 2019 hinaus eine Dreiviertelsrente der Invalidenversicherung zuzusprechen, eventuell sei die Sache zum Einholen eines Gerichtsgutachtens und anschliessendem Neuentscheid an das kantonale Gericht zurückzuweisen.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
2.1. Rechtsbegehren sind nach Treu und Glauben auszulegen, insbesondere im Lichte der dazu gegebenen Begründung (<ref-ruling> E. 1 S. 127; Urteil 4P.266/2006 vom 13. Dezember 2006 E. 1.3). Nach der Rechtsprechung schadet eine sichtlich ungewollte oder unbeholfene Wortwahl der am Recht stehenden Person ebensowenig wie eine nicht geglückte oder rechtsirrtümliche Ausdrucksweise. Es genügt, wenn der Beschwerde insgesamt entnommen werden kann, was die beschwerdeführende Person verlangt (SVR 2004 IV Nr. 25 S. 75 E. 3.2.1 mit Hinweisen, I 138/02; Urteil 1C_37/2020 vom 24. Juni 2020 E. 1.2).
2.2. Der Beschwerdeführer beantragt die Weiterausrichtung der ihm befristet zugesprochenen Invalidenrente über November 2019 hinaus. Bei der Formulierung dieses Antrages hat er indessen offensichtlich übersehen, dass das kantonale Gericht im Sinne einer reformatio in peius den Rentenanspruch bereits per 31. Juli 2019 aufgehoben hat. Aus dem Gesamtzusammenhang der Beschwerde ergibt sich jedoch, dass der Versicherte die Befristung als solche bestreitet (vgl. auch Urteil 9C_275/2020 vom 16. September 2020 E. 1.4). Streitig und zu prüfen ist somit, ob die Vorinstanz Bundesrecht verletzte, als sie den Rentenanspruch des Versicherten auf Ende Juli 2019 befristete.
3.
3.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
3.2. Die Rente wird von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>; <ref-law>), wenn sich der Invaliditätsgrad eines Rentenbezügers erheblich ändert (vgl. auch <ref-ruling> E. 3). Nach der Rechtsprechung sind diese Revisionsbestimmungen bei der rückwirkenden Zusprechung einer abgestuften oder befristeten Rente analog anwendbar (<ref-ruling> E. 6.1 mit Hinweisen).
4.
4.1. Das kantonale Gericht hat in umfassender Würdigung der medizinischen Akten, insbesondere aber gestützt auf das bidisziplinäre Gutachten des ABI vom 7. September 2020 für das Bundesgericht grundsätzlich verbindlich festgestellt, dass der Beschwerdeführer seit dem 1. Mai 2019 in einer leidensangepassten Tätigkeit vollständig arbeitsfähig ist. Der Beschwerdeführer bestreitet seinerseits nicht, dass es aus somatisch-orthopädischer Sicht zu der vom kantonalen Gericht festgestellten Verbesserung des Gesundheitszustandes kam. Er macht indessen geltend, auch über den 1. Mai 2019 hinaus aufgrund einer posttraumatischen Belastungsstörung (PTBS) weiterhin selbst in einer optimal angepassten Tätigkeit eingeschränkt zu sein.
4.2. Auf ein im Verfahren nach <ref-law> eingeholtes Gutachten ist rechtsprechungsgemäss abzustellen, wenn nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 4.4). Dies gilt entgegen den Ausführungen des Versicherten unabhängig von der Anzahl der von den jeweiligen Experten für die Invalidenversicherung erstellten Gutachten (vgl. Urteil 8C_760/2019 vom 25. Februar 2020 E. 3.3). Entgegen seinen Ausführungen können den vom Beschwerdeführer angerufenen Berichten, insbesondere auch der Stellungnahme der Dr. med. C._, psychiatrische Oberärztin am Spital D._, vom 27. Juli 2021, keine solchen Indizien entnommen werden. Der psychiatrische Teilgutachter des ABI verneinte diese Diagnose unter anderem auch mit der nachvollziehbaren Argumentation, dass eine entsprechende Traumatisierung des Beschwerdeführers zu Beginn der 1990er Jahren als unwahrscheinlich erscheine, konnte der Versicherte doch nach seiner Flucht in die Schweiz im Jahre 1993 hier bis zum Jahre 2018 ohne grössere Schwierigkeiten arbeiten und eine Familie gründen, wobei er eine sehr gute Beziehung zu seinen Kindern pflege. In der Stellungnahme der Dr. med. C._ findet sich demgegenüber keine Auseinandersetzung mit der langen Latenzzeit zwischen den Kriegserlebnissen und der geltend gemachten psychiatrischen Arbeitsunfähigkeit (vgl. zur Bedeutung einer langen Latenzzeit bei geltend gemachter PTBS auch das Urteil 9C_228/2013 vom 26. Juni 2013 E. 4.1.4). Vor diesem Hintergrund kann offenbleiben, ob die vom Versicherten gegenüber jener Ärztin geschilderten Kriegserlebnisse als "Ereignis mit aussergewöhnlicher Bedrohung oder katastrophenartigem Ausmass, das bei fast jedem eine tiefe Verzweiflung hervorrufen würde", wie es gemäss ICD-10 für die Diagnose eines PTBS gefordert wird (vgl. erwähntes Urteil 9C_228/2013 E. 4.1.2), qualifiziert werden können. So oder anders hat die Vorinstanz kein Bundesrecht verletzt, als es zur Feststellung des psychischen Gesundheitszustandes des Beschwerdeführers auf das psychiatrische Teilgutachten des ABI abstellte und damit das Vorliegen einer die Erwerbsfähigkeit beeinflussenden PTBS verneinte.
4.3. Durfte das kantonale Gericht für die Zeit ab 1. Mai 2019 von einer vollständigen Arbeitsfähigkeit in einer angepassten Tätigkeit ausgehen, so ist bei ansonsten unbestritten gebliebener Bemessung des Invaliditätsgrades die Rentenaufhebung auf Ende Juli 2019 nicht zu beanstanden. Entsprechend ist die Beschwerde des Versicherten abzuweisen.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Dezember 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Nabold