Sachverhalt:
A.
Der 1969 geborene A._ war zuletzt als Geschäftsführer erwerbstätig gewesen, als er sich im September 2005 unter Hinweis auf psychische Probleme bei der Invalidenversicherung zum Leistungsbezug anmeldete. Nach medizinischen und erwerblichen Abklärungen sprach die IV-Stelle Bern ihm mit Verfügung vom 9. April 2008 bei einem Invaliditätsgrad von 60 % ab 1. September 2004 eine Dreiviertelsrente zu; mit Verfügung vom 29. November 2011 wurde die Rente bei einem Invaliditätsgrad von nunmehr 50 % per 1. Januar 2012 revisionsweise auf eine halbe Rente herabgesetzt.
Im Rahmen eines im Juni 2017 eingeleiteten Revisionsverfahrens holte die IV-Stelle bei Dr. med. B._ eine psychiatrische Expertise ein (Gutachten vom 20. September 2018). Daraufhin hob die IV-Stelle mit Verfügung vom 14. Mai 2019 die laufende Rente bei einem Invaliditätsgrad von nunmehr 20 % per 1. Juli 2019 auf.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 5. Mai 2020 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, es sei unter Aufhebung des kantonalen Gerichtsentscheides eine ganze, eventuell eine Dreiviertels-, subeventuell eine halbe Invalidenrente auszurichten, subsubeventuell sei die Sache an die Vorinstanz oder an die Verwaltung zu weiteren medizinischen Abklärungen zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
In seiner Stellungnahme vom 15. Februar 2021 hält A._ an seinen Anträgen fest.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 134 V 250 E. 1.2 S. 252 mit Hinweisen; BGE 133 III 545 E. 2.2 S. 550; BGE 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen).
1.3. Ein Mangel in der Sachverhaltsfeststellung gemäss Art. 105 Abs. 2 BGG liegt nicht bereits dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Eine Beweiswürdigung erweist sich erst dann als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen hat oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (BGE 144 II 281 E. 3.6.2 S. 287).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, als es die per 1. Juli 2019 erfolgte Aufhebung der halben Rente der Invalidenversicherung bestätigte.
3.
3.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss Art. 8 Abs. 1 ATSG die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
3.2. Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente nach Art. 17 Abs. 1 ATSG von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (sog. "Rentenrevision"). Liegt ein Revisionsgrund vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig") zu prüfen, wobei keine Bindung an frühere Beurteilungen besteht (BGE 141 V 9 E. 2.3 S. 10 f. mit weiteren Hinweisen). Dabei kann unter Umständen auch eine Verschlechterung des Gesundheitszustandes Anlass für eine Aufhebung der Rente sein (vgl. BGE 141 V 9 E. 6.4 S. 15).
3.3. Nach ständiger Rechtsprechung ist der Zeitraum bis zum Abschluss des Verwaltungsverfahrens Bezugsgrösse für den entscheidungsrelevanten Sachverhalt (BGE 143 V 409 E. 2.1 S. 411 mit Hinweisen). Spätere Arztberichte sind aber in die Beurteilung miteinzubeziehen, soweit sie Rückschlüsse auf die im Zeitpunkt des Abschlusses des Verwaltungsverfahrens gegebene Situation erlauben (vgl. statt vieler: Urteil 9C_114/2019 vom 5. November 2019 E. 2 mit Hinweis auf BGE 121 V 362 E. 1b in fine S. 366).
4.
4.1. Es steht fest und ist unbestritten, dass der Gesundheitszustand des Versicherten sich im massgebenden Zeitraum, mithin in der Zeit zwischen der Rentenherabsetzung vom 29. November 2011 und der Rentenaufhebung vom 14. Mai 2019 wesentlich verändert hat. Während Vorinstanz und Verwaltung von einer Verbesserung ausgehen, macht der Beschwerdeführer eine wesentliche Verschlechterung geltend, weshalb er die Erhöhung der halben auf eine ganze Invalidenrente verlangt. Da damit ein Revisionsgrund im Sinne von Art. 17 Abs. 1 ATSG vorliegt, hat das kantonale Gericht den Rentenanspruch des Versicherten zu Recht in rechtlicher und tatsächlicher Hinsicht frei und ohne Bindung an frühere Entscheide neu geprüft (vgl. E. 3.2 hievor).
4.2. Das kantonale Gericht hat in umfassender Würdigung der medizinischen Akten, insbesondere aber gestützt auf das psychiatrische Gutachten des Dr. med. B._ vom 20. September 2018, für das Bundesgericht grundsätzlich verbindlich festgestellt, dass dem Versicherten eine angepasste (leichte) Tätigkeit ganztags zumutbar ist. In antizipierter Beweiswürdigung verzichtete das kantonale Gericht auf das Einholen des vom Versicherten beantragten orthopädischen Gutachtens, da die "orthopädischen Veränderungen" erst nach dem Verfügungserlass (14. Mai 2019) eingetreten seien. Selbst wenn man diese mitberücksichtigen müsste, könnte aber diesbezüglich auf das Zumutbarkeitsprofil des Suva-Kreisarztes Dr. med. C._, Orthopädische Chirurgie und Traumatologie, vom 27. November 2019 abgestellt werden, wonach eine angepasste Tätigkeit ebenfalls ganztags zumutbar sei.
4.3.
4.3.1. Der Beschwerdeführer bringt vor, die vorinstanzliche Feststellung, wonach das orthopädische Leiden erst nach dem 14. Mai 2019 entstanden sei, sei offensichtlich unrichtig. In der Tat hat die Vorinstanz bei dieser Feststellung offenkundig unberücksichtigt gelassen, dass der Beschwerdeführer gemäss Verfügung der Suva vom 17. November 1997 seit 1. September 1997 aufgrund eines am 26. Oktober 1994 erlittenen Unfalles eine Invalidenrente der Unfallversicherung bezieht; der Umstand, dass diese Rente weiterhin ausgerichtet wird, findet sich im Übrigen auch im psychiatrischen Gutachten des Dr. med. B._ erwähnt. Weiter wurde der von der Vorinstanz erwähnte Bericht des Kreisarztes Dr. med. C._ erstellt, da der Versicherte gegenüber der Unfallversicherung geltend gemacht hatte, sein auf den Unfall zurückgehendes Knieleiden habe sich seit dem Jahre 2005 wesentlich verschlimmert. Somit erweist sich jedenfalls die erste Begründungslinie der Vorinstanz - das orthopädische Leiden sei erst nach dem 14. Mai 2019 und damit ausserhalb des massgeblichen Zeitraums neu aufgetreten - als klar aktenwidrig.
4.3.2. Im Sinne einer Eventualbegründung führte das kantonale Gericht weiter aus, dass selbst dann, wenn von einem Entstehen des orthopädischen Leidens bereits vor dem 14. Mai 2019 ausgegangen würde, sich weitere diesbezügliche medizinische Abklärungen erübrigen würden, da diesfalls auf das Zumutbarkeitsprofil gemäss Suva-Kreisarzt abgestellen werden könne. Wie der Beschwerdeführer indessen zutreffend geltend macht, verkennt die Vorinstanz damit offensichtlich die Tragweite der kreisärztlichen Einschätzung. Der Kreisarzt der Suva war dazu berufen, aus fachärztlicher Sicht zur Frage Stellung zu nehmen, welche Auswirkungen der unfallkausale Gesundheitsschaden auf die Arbeitsfähigkeit des Versicherten hat. Nicht unfallkausale Gesundheitsschäden hatte er, auch wenn diese organisch klar ausgewiesen waren, bei der Beurteilung des Zumutbarkeitsprofils ausser Acht zu lassen. Gemäss den kreisärztlichen Feststellungen bestehen indes beim Versicherten nicht nur unfallkausale orthopädische Probleme, sondern auch unfallfremde. Als unfallkausal anerkannte der Kreisarzt lediglich den Schaden im rechten Knie; als unfallfremd - und damit in seine Beurteilung nicht miteinfliessend - beurteilte er insbesondere den Schaden im linken Knie, die Hüftproblematik sowie ein (abklärungsbedürftiger) Schaden im rechten oberen Sprunggelenk. In der Invalidenversicherung - welche im Unterschied zur Unfallversicherung nicht bloss für den unfallkausalen Gesundheitsschaden aufzukommen hat - verstösst es bei einer solchen Ausgangslage gegen den Untersuchungsgrundsatz, wenn zur Feststellung der medizinisch-theoretischen Arbeitsfähigkeit aus orthopädischer Sicht ohne weitere Abklärungen auf das kreisärztliche Zumutbarkeitsprofil abgestellt wird.
4.4. Hat die Vorinstanz demnach aufgrund einer im konkreten Fall bundesrechtswidrigen antizipierten Beweiswürdigung auf weitere orthopädische Abklärungen verzichtet, so ist die Beschwerde teilweise gutzuheissen und die Sache unter Aufhebung der Verfügung und des vorinstanzlichen Gerichtsentscheides an die IV-Stelle zurückzuweisen, damit diese ein medizinisches Gutachten einhole und hernach über den Rentenanspruch neu verfüge. Da neben dem orthopädischen mindestens auch ein psychiatrischer Gesundheitsschaden besteht und vom Versicherten der Beizug weiterer medizinischer Fachpersonen beantragt wird, rechtfertigt es sich vorliegend, eine umfassende Begutachtung bei einer Gutachtensstelle im Sinne von Art. 72bis Abs. 1 IVV zu veranlassen. Dabei wird es den medizinischen Experten obliegen, zu entscheiden, ob der Versicherte neben der mindestens notwendigen psychiatrischen und orthopädischen Exploration auch medizinischen Experten weiterer Fachgebiete vorgestellt werden soll (vgl. BGE 139 V 349 E. 3.3 S. 352 f.). Damit erübrigt sich im jetzigen Zeitpunkt eine Auseinandersetzung mit den Vorbringen des Beschwerdeführers betreffend das psychiatrischen Gutachten des Dr. med. B._.
5.
Die Rückweisung der Sache zu erneutem Entscheid gilt für die Frage der Auferlegung der Gerichtskosten sowie der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG (BGE 141 V 281 E. 11.1 S. 312). Mithin hat die unterliegende IV-Stelle die Gerichtskosten zu tragen und dem Beschwerdeführer eine Parteientschädigung auszurichten.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern vom 5. Mai 2020 und die Verfügung der IV-Stelle Bern vom 14. Mai 2019 werden aufgehoben. Die Sache wird zu neuer Verfügung an die IV-Stelle Bern zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Februar 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Nabold