Sachverhalt:
A.
Mit Verfügung vom 23. Dezember 2015 lehnte die IV-Stelle des Kantons Bern das Gesuch des 1960 geborenen A._ um Zusprechung beruflicher Massnahmen und einer Invalidenrente ab. Nachdem der Versicherte hiegegen Beschwerde eingereicht hatte, hob die IV-Stelle die angefochtene Verfügung wiedererwägungsweise auf und holte eine Expertise des Zentrums für Medizinische Begutachtung (ZMB), Basel, vom 18. August 2016 ein. Gestützt darauf sprach sie A._ mit Verfügung vom 22. November 2016 ab 1. Mai 2015 aufgrund eines Invaliditätsgrades von 100 % eine ganze Invalidenrente zu. Der Versicherte führte hiegegen Beschwerde mit dem Antrag auf Zusprechung der Rente ab einem früheren Zeitpunkt, zog das Rechtsmittel indessen mit Schreiben vom 2. Juni 2017 zurück, nachdem ihm der Instruktionsrichter des Verwaltungsgerichts des Kantons Bern eine mögliche Schlechterstellung angedroht hatte.
Nach erneuter Prüfung der Aktenlage gelangte die IV-Stelle zum Schluss, dass der Versicherte keinen Anspruch auf eine Invalidenrente habe, worauf sie ihre Verfügung vom 22. November 2016 am 26. September 2017 wiedererwägungsweise aufhob und die Rentenleistungen auf Ende des der Zustellung der Verfügung folgenden Monats einstellte.
B.
Die hiegegen eingereichte Beschwerde, mit welcher A._ die Aufhebung der Verfügung vom 26. September 2017 beantragt hatte, wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 19. Dezember 2018 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der vorinstanzliche Entscheid und die Wiedererwägungsverfügung vom 26. September 2017 seien aufzuheben und die ganze Invalidenrente sei ihm weiterhin auszurichten.
Während die IV-Stelle sich mit dem Antrag auf Abweisung der Beschwerde vernehmen lässt, verzichtet das Bundesamt für Sozialversicherungen auf eine Stellungnahme.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts durch die Vorinstanz nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Die Vorinstanz hat die gesetzlichen Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit und Invalidität (Art. 7 Abs. 1 und 8 Abs. 1 ATSG), den Anspruch auf eine Invalidenrente (<ref-law>), die Bedeutung ärztlicher Auskünfte für die Belange der Invaliditätsschätzung (140 V 193 E. 3.2 S. 195, 132 V 93 E. 4 S. 99) sowie die Wiedererwägung formell rechtskräftiger Verfügungen im Falle zweifelloser Unrichtigkeit und erheblicher Bedeutung der Berichtigung (<ref-law>) zutreffend dargelegt. Ebenso hat sie die Rechtsprechung zur Wiedererwägung (<ref-ruling> E. 5.2 S. 414, 140 V 77 E. 3.1 S. 79) richtig wiedergegeben. Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht gelangte zum Schluss, die Rentenverfügung der IV-Stelle vom 22. November 2016 habe an einem ursprünglichen Mangel gelitten und sei zweifellos unrichtig gewesen. Die IV-Stelle habe damals nach Vorliegen des ZMB-Gutachtens u. a. festgehalten, rein objektiv sei nicht nachzuvollziehen, weshalb nicht mindestens eine Teilerwerbstätigkeit zumutbar sein solle. Eine volle Einschränkung habe die Verwaltung erst mit dem Eintritt der leichten bis mittelschweren depressiven Episode angenommen. Unter Hinweis darauf, dass die mittelgradige depressive Episode keine Arbeitsunfähigkeit bewirke, sei die IV-Stelle in der Verfügung vom 26. September 2017 auf ihre frühere Verfügung vom 22. November 2016 wiedererwägungsweise zurückgekommen da sie diese als zweifellos unrichtig betrachtet habe. Gleichzeitig habe sie die Invalidenrente bei einem neu ermittelten Invaliditätsgrad von 21 % auf Ende des der Verfügung folgenden Monats aufgehoben. Diese Vorgehensweise bestätigte die Vorinstanz in allen Punkten, wobei sie das Gutachten des ZMB und die vorliegenden Arztberichte eingehend würdigte. Die Voraussetzungen für eine Wiedererwägung der ursprünglichen Rentenverfügung sah sie ebenfalls als erfüllt an, weil die Verwaltung seinerzeit zweifellos zu Unrecht angenommen habe, es sei eine gesundheitliche Verschlechterung mit vollständiger Arbeitsunfähigkeit in sämtlichen Tätigkeiten eingetreten, obwohl das depressive Geschehen, welches nie behandelt worden war, therapierbar gewesen sei und eine leichte körperliche Tätigkeit dem Versicherten zumutbar gewesen wäre. Bei der Prüfung des Invalidenrentenanspruchs ab 1. November 2017, die sie hinsichtlich des psychischen Leidens anhand des strukturierten Beweisverfahrens (<ref-ruling>) vornahm, ergab sich aufgrund eines Einkommensvergleichs ein Invaliditätsgrad von 21 %, der keinen Rentenanspruch begründet.
3.2. Der Versicherte wendet ein, die Voraussetzungen für eine Wiedererwägung seien nicht erfüllt gewesen. Zulässig sei eine Wiedererwägung nur im Rahmen eines Beschwerdeverfahrens, nicht aber nach Verzicht auf eine solche erst nach Eintritt der Rechtskraft der Rentenverfügung. Abgesehen davon fehle es an der zweifellosen Unrichtigkeit der ursprünglichen Verfügung. Diese habe auf der Expertise des ZMB mit nachvollziehbarer ärztlicher Einschätzung der Arbeitsunfähigkeit beruht. Die Verfügung vom 26. September 2017 basiere auf einer anderen Würdigung der Akten, was keine Wiedererwägung begründe. Die Gewährung einer ganzen Invalidenrente sei vor dem Hintergrund der Sach- und Rechtslage im Zeitpunkt der Verfügung vom 22. November 2016 nicht bloss vertretbar, sondern geradezu geboten gewesen, wie sich namentlich auch aus den im ZMB-Gutachten enthaltenen Diagnosen ergebe. Des Weiteren habe die Vorinstanz den Grundsatz von Treu und Glauben verletzt. Er habe im Vertrauen auf die ihm vom kantonalen Gericht zugesicherte Rechtskraft der angefochtenen Verfügung vom 22. November 2016 seine Beschwerde zurückgezogen. In der Folge habe die IV-Stelle die in Rechtskraft erwachsene Verfügung mittels Wiedererwägung aufgehoben. Darin liege ein Verstoss gegen das Vertrauensschutzprinzip. Ferner habe das kantonale Gericht die Beweise, namentlich das Administrativgutachten, nicht umfassend, pflichtgemäss und objektiv gewürdigt, wie dies <ref-law> vorschreibe. Aus der Expertise sei ersichtlich, dass sich der Gesundheitszustand seit Dezember 2013 kontinuierlich verschlechterte. Schliesslich sei auch das strukturierte Beweisverfahren nicht korrekt durchgeführt worden.
4.
4.1. Der Beschwerdeführer wirft der Vorinstanz keine willkürliche Feststellung des Sachverhalts im Sinne von <ref-law> (E. 1 hievor) vor. Er kritisiert wohl gewisse tatsächliche Ausführungen im angefochtenen Entscheid, macht jedoch nicht geltend, das kantonale Gericht sei insoweit in Willkür verfallen. Zu prüfen sind somit allein die in der Beschwerde enthaltenen rechtlichen Rügen.
4.2. Was die Voraussetzungen der Wiedererwägung einer rechtskräftigen Verfügung betrifft, wird auf die Darlegungen der Vorinstanz verwiesen. Was der Versicherte gegen die Zulässigkeit der Wiedererwägung vorbringt, ist nicht stichhaltig. Die Wiedererwägung dient gerade dazu, auf eine zweifellos unrichtige, formell rechtskräftige Verfügung zurückzukommen. Dass die Verwaltung nur im Rahmen eines Beschwerdeverfahrens eine Verfügung zurücknehmen könne, trifft daher offensichtlich nicht zu. Das Verwaltungsgericht hat ferner dargelegt, weshalb die ursprüngliche, in formelle Rechtskraft erwachsene Verfügung vom 22. November 2016 zweifellos unrichtig war. Dabei hat es darauf hingewiesen, dass die IV-Stelle zum Zeitpunkt der Rentenzusprechung grössere Zweifel an der Anspruchsberechtigung des Versicherten hatte, weshalb sie eine volle Einschränkung erst mit dem Hinzutreten der psychiatrischen Diagnose (leichte bis mittelschwere depressive Episode) angenommen habe. Da eine solche psychische Erkrankung nach der im Jahr 2016 geltenden Rechtsprechung grundsätzlich als therapeutisch angehbar galt und in der Regel keine Invalidität zu bewirken vermochte, und eine neuerliche Prüfung des somatischen Gesundheitszustandes anhand des ZMB-Gutachtens ergab, dass dieser einer vollen Arbeitsfähigkeit für leichte Tätigkeiten nicht entgegenstand, war die Verfügung vom 22. November 2016 zweifellos unrichtig. Die Wiedererwägung beruht entgegen den Vorbringen des Beschwerdeführers nicht auf einer anderen Würdigung der Akten, sondern korrigiert eine unrichtige Rechtsanwendung, somit einen Rechtsfehler, d.h. die Gewährung einer Invalidenrente wegen der wirtschaftlichen Folgen einer mittelgradigen depressiven Episode. Damit hatte die IV-Stelle die damals geltende Rechtsprechung (vgl. dazu <ref-ruling> E. 4.1 S. 412) missachtet.
4.3. Die übrigen Einwendungen vermögen ebenfalls nicht zu überzeugen.
4.3.1. Die Berufung auf die im ZMB-Gutachten aufgezählten Diagnosen ist nicht zielführend, bildet Grundlage für die Invaliditätsbemessung doch der Grad der Arbeitsunfähigkeit.
4.3.2. Soweit der Beschwerdeführer geltend macht, die Vorinstanz habe mittels Bestätigung der von der IV-Stelle vorgenommenen Wiedererwägung den Vertrauensschutz missachtet, kann ihm ebenfalls nicht gefolgt werden. Der in <ref-law> verankerte Grundsatz von Treu und Glauben gebietet unter bestimmten Voraussetzungen (vgl. <ref-ruling> E. 3.6.2 S. 103; <ref-ruling> E. 3.6.2 S. 193 mit Hinweisen), dass eine unrichtige Auskunft einer Behörde eine vom materiellen Recht abweichende Behandlung des Rechtsuchenden gebietet. Auch wenn der Hinweis der Vorinstanz an den Beschwerdeführer, dass er das Rechtsmittel zurückziehen könne, um damit einer Schlechterstellung (reformatio in peius) zu entgehen, einer Auskunft gleichzustellen wäre, erfolgte damit jedenfalls keine Zusicherung des Inhalts, dass die angefochtene Verfügung vom 22. November 2016 im Fall des Beschwerderückzugs rechtsbeständig sei und er eine ganze Invalidenrente beziehen könne, ohne dass er mit einer Wiedererwägung rechnen müsse. Im Übrigen ist nicht erkennbar, dass der Versicherte im Hinblick auf das Schreiben der Vorinstanz Dispositionen getroffen hat, die nicht ohne Nachteil rückgängig zu machen sind.
4.3.3. Einer überzeugenden Begründung entbehrt schliesslich auch die Behauptung, die Vorinstanz habe die Beweise, insbesondere die Expertise des ZMB vom 18. August 2016, in rechtsfehlerhafter Weise unter Verletzung von <ref-law> gewürdigt. Die vom vorinstanzlichen Entscheid abweichende Interpretation der gutachterlichen Ausführungen in der Beschwerde genügt jedenfalls nicht, um dem Verwaltungsgericht eine bundesrechtswidrige Würdigung der polydisziplinären Expertise des ZMB nachzuweisen, zumal dieses seinen Standpunkt eingehend begründet hat.
5.
Was schliesslich den Invalidenrentenanspruch pro futuro, ab 1. November 2017 betrifft, der im angefochtenen Entscheid verneint wurde, trägt der Versicherte vor, das kantonale Gericht habe bei der Beurteilung der Rentenberechtigung unter dem Aspekt des strukturierten Beweisverfahrens gemäss <ref-ruling> keine ergebnisoffene Gesamtbetrachtung in Berücksichtigung der Wechselwirkungen vorgenommen. Dieser Einwand ist nicht stichhaltig. Die Vorinstanz hat die geltend gemachten gesundheitlichen Beeinträchtigungen des Beschwerdeführers im Lichte der rechtsprechungsgemäss zu beachtenden Standardindikatoren (<ref-ruling> E. 4.1.3 S. 297 f.) einer eingehenden Prüfung unterzogen und zusammenfassend erklärt, der psychische Gesundheitsschaden sei aus rechtlicher Sicht nicht invalidisierend mit der Folge, dass die Invaliditätsbemessung einzig mit Rücksicht auf die somatisch erklärbaren Einschränkungen der Arbeitsfähigkeit vorzunehmen sei. Den auf diese Weise ermittelten Invaliditätsgrad von 21 % ficht der Versicherte zu Recht nicht an. Weitere Einwendungen, welche die Bundesrechtsmässigkeit des angefochtenen Gerichtsentscheids in Frage zu stellen vermöchten, erhebt der Beschwerdeführer nicht.
Was schliesslich den Invalidenrentenanspruch pro futuro, ab 1. November 2017 betrifft, der im angefochtenen Entscheid verneint wurde, trägt der Versicherte vor, das kantonale Gericht habe bei der Beurteilung der Rentenberechtigung unter dem Aspekt des strukturierten Beweisverfahrens gemäss <ref-ruling> keine ergebnisoffene Gesamtbetrachtung in Berücksichtigung der Wechselwirkungen vorgenommen. Dieser Einwand ist nicht stichhaltig. Die Vorinstanz hat die geltend gemachten gesundheitlichen Beeinträchtigungen des Beschwerdeführers im Lichte der rechtsprechungsgemäss zu beachtenden Standardindikatoren (<ref-ruling> E. 4.1.3 S. 297 f.) einer eingehenden Prüfung unterzogen und zusammenfassend erklärt, der psychische Gesundheitsschaden sei aus rechtlicher Sicht nicht invalidisierend mit der Folge, dass die Invaliditätsbemessung einzig mit Rücksicht auf die somatisch erklärbaren Einschränkungen der Arbeitsfähigkeit vorzunehmen sei. Den auf diese Weise ermittelten Invaliditätsgrad von 21 % ficht der Versicherte zu Recht nicht an. Weitere Einwendungen, welche die Bundesrechtsmässigkeit des angefochtenen Gerichtsentscheids in Frage zu stellen vermöchten, erhebt der Beschwerdeführer nicht.
6. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. Juni 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer