Sachverhalt:
A.
A._ (geboren 1961) meldete sich am 11. September 2013 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich gewährte ihm vom 27. November 2013 bis 30. September 2015 Integrationsmassnahmen im Sinne eines Job-Coaching am Arbeitsplatz. Nach Beizug einer polydisziplinären Expertise des BEGAZ Begutachtungszentrum Basel-Landschaft, Binningen, vom 5. November 2015 sprach die IV-Stelle des Kantons Zürich A._ mit Verfügungen vom 12. Dezember 2016 eine abgestufte befristete Invalidenrente zu (Viertelsrente von Juli bis Oktober 2014, ganze Rente November/Dezember 2014, Dreiviertelsrente von Januar bis März 2015).
B.
In teilweiser Gutheissung der vom Versicherten hiegegen eingereichten Beschwerde änderte das Sozialversicherungsgericht des Kantons Zürich die Verfügung der IV-Stelle vom 12. Dezember 2016 insofern ab, als es feststellte, dass der Versicherte Anspruch auf eine ganze Invalidenrente von November 2014 bis März 2015 habe. Im Übrigen wies es die Beschwerde ab (Entscheid vom 29. März 2018).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des vorinstanzlichen Entscheids sei ihm eine Invalidenrente zuzusprechen. Ferner sei ihm für das vorinstanzliche Verfahren eine Parteientschädigung zu gewähren. Sodann ersucht er um die Bewilligung der unentgeltlichen Rechtspflege. Überdies verlangt er die Durchführung eines zweiten Schriftenwechsels.
D.
Mit Verfügung vom 27. Juni 2018 wies das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab. Mit Eingabe vom 24. Juli 2018 gelangte der Versicherte ans Bundesgericht, rügte die Verfügung betreffend unentgeltliche Rechtspflege und stellte vorsorglich ein Revisionsgesuch gestützt auf <ref-law>.

Erwägungen:
1.
Unabhängig davon, ob ein verfahrensleitender Entscheid betreffend die unentgeltliche Rechtspflege der Revision unterliegt, bildet das Übergehen einer Rüge keinen Revisionsgrund (vgl. <ref-law>). Indes steht es dem Bundesgericht frei, auf die vorläufige und summarische Beurteilung der Prozessaussichten im Endentscheid zurückzukommen.
2.
Die Vorinstanz hat die Bestimmungen über den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG; Art. 6 und 8 ATSG zu den Begriffen der Arbeitsunfähigkeit und Invalidität) sowie die Grundsätze über die rückwirkende Zusprechung einer (befristeten) Invalidenrente (<ref-ruling> E. 6.1 mit Hinweisen) richtig dargelegt. Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht hat in Würdigung der psychischen und somatischen Beschwerden, wie sie im polydisziplinären Gutachten des BEGAZ vom 5. November 2015 diagnostiziert wurden, sowie gestützt auf die Einschätzung der Arbeitsunfähigkeit durch die beteiligten Fachärzte sowie die Angaben des Psychologen festgestellt, dass die Tätigkeit als Bankangestellter im Backoffice und andere angepasste Arbeiten dem Versicherten zu 80 % zumutbar seien.
3.2. Der Beschwerdeführer erhebt keine Einwendungen, die in Bezug auf den Grad der Arbeitsunfähigkeit, der sich auf das polydisziplinäre Gutachten stützt, zu einem abweichenden Ergebnis führen könnten. Seine Vorbringen erschöpfen sich im Wesentlichen in einer im Rahmen der dem Bundesgericht zustehenden Überprüfungsbefugnis unzulässigen appellatorischen Kritik an der vorinstanzlichen Beweiswürdigung, ohne dass im Einzelnen dargelegt würde, inwieweit die Vorinstanz Bundesrecht verletzt haben soll (Art. 97 Abs. 1 und Art. 105 Abs. 1 BGG).
3.3.
3.3.1. Der Beschwerdeführer wendet überdies - wie bereits im kantonalen Gerichtsverfahren - ein, die polydisziplinäre Expertise des BEGAZ vom 5. November 2015 sei nicht eigenhändig unterzeichnet worden und daher nicht verwertbar.
3.3.2. Es trifft zu, dass die Expertise des BEGAZ von den Gutachtern nicht eigenhändig unterzeichnet worden ist. Indessen enthält sie gemäss Vermerk auf S. 43 eine oder mehrere fortgeschrittene elektronische Unterschriften, die durch secure2go erzeugt worden seien. Es werde daher nicht von Hand unterschrieben.
3.3.3. Die Frage, ob das polydisziplinäre Gutachten des BEGAZ infolge Fehlens eigenhändiger Unterschrift der zuständigen Ärzte nicht in die Beweiswürdigung einbezogen werden darf, ist als Rechtsfrage vom Bundesgericht frei zu prüfen (<ref-law>).
3.3.4. Zur Hauptsache massgebend für das Verfahren vor den kantonalen IV-Stellen ist das ATSG, welches keine Regelung betreffend elektronische Eingaben und Signaturen kennt. In den Art. 27 bis 54 oder in den Einzelgesetzen nicht abschliessend geregelte Verfahrensbereiche bestimmen sich nach dem VwVG (<ref-law>). Nach <ref-law> können Eingaben bei der Behörde elektronisch eingereicht werden. Die Eingabe ist von der Partei oder ihrem Vertreter mit einer qualifizierten elektronischen Signatur gemäss Bundesgesetz vom 18. März 2016 über die elektronische Signatur zu versehen. Gestützt auf die Art. 11b Abs. 2, 21a Abs. 1 und 34 Abs. 1bis VwVG sowie auf die Schlussbestimmung zur Änderung vom 17. Juni 2005 des VwVG hat der Bundesrat die Verordnung über die elektronische Übermittlung im Rahmen eines Verwaltungsverfahrens vom 18. Juni 2010 erlassen (SR 172.021.2). Sie regelt die Modalitäten des elektronischen Verkehrs zwischen einer Partei und einer Verwaltungsbehörde des Bundes im Rahmen von Verfahren, auf die das VwVG Anwendung findet (Art. 1 Abs. 1). Sie ist anwendbar auf die Übermittlung von Eingaben, die im Hinblick auf den Erlass einer Verfügung im Sinne von <ref-law> erfolgen (Abs. 2 lit. a) und Verfügungen im Sinne von <ref-law> (Art. 2 lit. b).
3.3.5. Laut <ref-law> sowie der vom Bundesrat erlassenen Verordnung über die elektronische Übermittlung im Rahmen eines Verwaltungsverfahrens vom 18. Juni 2010, beide anwendbar auf das Verwaltungsverfahren der Invalidenversicherung gemäss <ref-law>, ist der elektronische Verkehr zwischen einer Partei und einer Verwaltungsbehörde grundsätzlich zulässig; dabei ist die Eingabe von der Partei oder ihrem Vertreter mit einer qualifizierten elektronischen Signatur zu versehen (<ref-law>).
3.3.6. Ist die auf elektronischem Weg übermittelte Eingabe einer Partei von Gesetzes wegen zulässig und von der Behörde entgegenzunehmen, sofern sie eine korrekte elektronische Signatur aufweist, hat dies trotz Fehlens einer ausdrücklichen gesetzlichen Grundlage analog ohne weiteres auch für ein von der Verwaltung in Auftrag gegebenes medizinisches Gutachten zu gelten, welches keine gesetzliche Frist wahren muss und auch in anderen Belangen weniger strengen Formvorschriften unterworfen ist als eine Eingabe an eine Verwaltungsbehörde. Argumente, die gegen die Zulässigkeit einer elektronischen Übermittlung und Signatur eines polydisziplinären medizinischen Gutachtens sprächen, sind nicht erkennbar. Vielmehr wird damit die verfahrensrechtlich - zwischen Parteien und Behörden - bereits seit längerem bestehende Möglichkeit des elektronischen Verkehrs auf einen Teil des Beweisverfahrens ausgedehnt. Der Einwand, das nicht eigenhändig unterzeichnete Gutachten sei nicht verwertbar, ist damit unbegründet, zumal der Beschwerdeführer die Zuverlässigkeit der elektronischen Übermittlung zu Recht nicht in Frage stellt.
3.3.7 Zweifel an der Gültigkeit der elektronischen Signatur, wie sie der Beschwerdeführer vorbringt, genügen nicht, um einen Verstoss gegen bundesrechtliche Vorschriften zu begründen. Dass die polydisziplinäre Expertise offenbar erst nachträglich von allen Gutachtern unterzeichnet wurde, spricht nicht gegen deren Bundesrechtskonformität. Gleiches gilt schliesslich für das behauptete Fehlen der fachmedizinischen Teilgutachten in den Akten der Invalidenversicherung, findet sich doch im Hauptgutachten die für die rechtsanwendende Stelle erforderliche, aber auch ausreichende Essenz aus den Teilgutachten.
4.
Der Antrag auf Zusprechung einer Parteientschädigung für das vorinstanzliche Verfahren ist mit Blick auf dessen Ausgang unbegründet. Mit der vorinstanzlichen Beschwerde erreichte der Versicherte, dass ihm für die Monate Januar bis März 2015 anstelle einer Dreiviertels- eine ganze Invalidenrente zuerkannt wurde. Damit erzielte er einen minimalen Prozesserfolg, der entsprechend den Ausführungen der Vorinstanz die verhältnismässige Aufteilung der Gerichtskosten und die Zusprechung einer (reduzierten) Parteientschädigung zufolge teilweisen Obsiegens im Sinne von <ref-law> für das kantonale Verfahren nicht zu rechtfertigen vermag (vgl. Urteil 9C_802/2016 E. 5).
5.
Dem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da die gesetzlichen Voraussetzungen erfüllt sind (<ref-law>). Der Beschwerdeführer wird jedoch auf <ref-law> aufmerksam gemacht. Danach hat die Partei der Gerichtskasse Ersatz zu leisten, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen und Rechtsanwalt Thomas Wyss wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Oktober 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer