Sachverhalt:
A.
Der 1964 geborene A._ war zuletzt als Chauffeur erwerbstätig. Am 9. Juli 2009 meldete er sich unter Hinweis auf psychische Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in erwerblicher und medizinischer Hinsicht sprach ihm die IV-Stelle des Kantons Zürich mit Verfügung vom 19. Mai 2011 rückwirkend ab 1. März 2010 eine ganze Invalidenrente zu. Im Rahmen eines 2013 eingeleiteten Revisionsverfahrens liess die IV-Stelle den Versicherten im Oktober 2013 und Januar 2014 an ausgewählten Tagen observieren. Nach Beizug eines psychiatrischen Gutachtens der Frau med. pract. B._ vom 19. Januar 2016 hob die IV-Stelle die Invalidenrente mit Verfügung vom 28. Dezember 2016 rückwirkend auf den 1. November 2011 auf, weil A._ aus medizinischer Sicht seit diesem Zeitpunkt wieder voll arbeitsfähig sei.
B.
Der Versicherte liess Beschwerde führen mit dem Antrag, die Verfügung vom 28. Dezember 2016 sei aufzuheben. Das Sozialversicherungsgericht des Kantons Zürich gelangte zum Schluss, im Verlauf des Jahre 2013 sei eine erhebliche Verbesserung des Gesundheitszustandes eingetreten. Spätestens ab Oktober 2013 liege eine zu berücksichtigende Verletzung der Meldepflicht vor, weshalb die Invalidenrente rückwirkend auf den 1. Oktober 2013 aufzuheben sei. Dementsprechend hiess es die Beschwerde teilweise gut und änderte die Verfügung vom 28. Dezember 2016 insoweit ab, als es feststellte, dass die Invalidenrente rückwirkend per 1. Oktober 2013 aufgehoben werde (Entscheid vom 29. November 2017).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Haupt- und Eventualanträgen, unter Aufhebung des vorinstanzlichen Entscheides sei die Sache zur Einholung eines Aktengutachtens betreffend die Arbeitsfähigkeit ab 8. Oktober 2013 und zu neuer Entscheidung über den Zeitpunkt der Herabsetzung oder Aufhebung der Invalidenrente an das kantonale Gericht zurückzuweisen. Dabei habe dieses zu beachten, dass keine Meldepflichtverletzung vorliege. Subeventuell sei die Invalidenrente frühestens auf den 1. November 2013 aufzuheben.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob die Vorinstanz die Invalidenrente im Einklang mit dem Bundesrecht auf den 1. Oktober 2013 aufgehoben hat oder ob diese entsprechend den Vorbringen des Beschwerdeführers aufgrund weiterer Abklärungen auf einen späteren Zeitpunkt aufzuheben ist. Dabei stellt sich zunächst die Frage, ob der Versicherte seine Meldepflicht verletzt hat.
Nach <ref-law> haben der Berechtigte oder sein gesetzlicher Vertreter sowie Behörden oder Dritte, denen die Leistung zukommt, jede für den Leistungsanspruch wesentliche Änderung, namentlich eine solche des Gesundheitszustandes, der Arbeits- oder Erwerbsfähigkeit, der Hilflosigkeit oder des invaliditätsbedingten Betreuungsaufwandes, des für den Ansatz der Hilflosigkeit massgebenden Aufenthaltsortes, der persönlichen und gegebenenfalls der wirtschaftlichen Verhältnisse des Versicherten, unverzüglich der IV-Stelle anzuzeigen. Wird eine Leistung der Invalidenversicherung zu Unrecht ausgerichtet und ist dies darauf zurückzuführen, dass der Bezüger sie unrechtmässig erwirkt hat oder der ihm gemäss <ref-law> zumutbaren Meldepflicht nicht nachgekommen ist, erfolgt die Herabsetzung oder Aufhebung der Leistung rückwirkend vom Eintritt der für den Anspruch erheblichen Änderung (<ref-law> in der bis 31. Dezember 2014 gültig gewesenen Fassung).
3.
3.1. Die Vorinstanz hat angenommen, eine erhebliche Verbesserung des Gesundheitszustandes sei im Verlaufe des Jahres 2013 eingetreten. Im Observationszeitraum sei es dem Beschwerdeführer im Oktober 2013 ohne weiteres möglich gewesen, das Haus allein zu verlassen, Auto zu fahren und vorübergehend allein ein Kleinkind zu betreuen. Es sei als erwiesen zu betrachten, dass er spätestens ab Oktober 2013 in seiner angestammten Tätigkeit als Chauffeur vollumfänglich arbeitsfähig war, wie dies auch Frau med. pract. B._ attestiert habe. Ab diesem Zeitpunk sei zumindest eine fahrlässige Meldepflichtverletzung zu bejahen. Dies führe zur Aufhebung der Invalidenrente ab 1. Oktober 2013.
3.2. Der Beschwerdeführer bestreitet, eine Meldepflichtverletzung begangen zu haben und macht geltend, vor und nach Oktober 2013 in psychiatrischer Behandlung gestanden zu haben. Im Januar 2014 habe er einen Arbeitsversuch im Ausmass von rund 20 % gestartet. Die Arbeitsfähigkeit habe er kontinuierlich steigern können, bis sie am 29. September 2014 wieder vollständig hergestellt gewesen sei. Obwohl ärztliche Behandlung und Arbeitsunfähigkeit aktenkundig gewesen seien, habe das kantonale Gericht weder zeitnahe Berichte der behandelnden Ärzte einverlangt noch seien diese kontaktiert worden, um sich zu Gesundheitszustand und Arbeitsfähigkeit zu äussern. Diese Angaben hätten im Rahmen des Untersuchungsgrundsatzes zwingend eingeholt werden müssen, um die Observationsergebnisse in medizinischer Hinsicht unvoreingenommen zu würdigen und objektive Rückschlüsse auf die damalige Arbeitsfähigkeit zu gewinnen. Der vorinstanzliche Entscheid, der auf dem Gutachten der Frau med. pract. B._ basiert, sei unter Verletzung des Untersuchungsgrundsatzes zustande gekommen und beruhe daher auf einer unvollständigen Beweisgrundlage. Das Gutachten der Frau med. pract. B._ weise verschiedene Mängel auf. Die Annahme, er sei seit Observierungsbeginn wieder voll arbeitsfähig, stütze sich nicht auf medizinische Fakten, sondern auf angeblich widersprüchliche Ausführungen zu gesundheitsfremden Aspekten. Die attestierte volle Arbeitsfähigkeit beruhe letztlich auf einer Vermutung, die nicht medizinisch begründet wurde. Die Vorinstanz habe den Anspruch auf rechtliches Gehör verletzt und die Anforderungen an den Beweiswert ärztlicher Berichte missachtet. Damit habe sie Bundesrecht verletzt. Da eine volle Arbeitsfähigkeit ab Oktober 2013 nicht ausgewiesen, sondern damals erst eine Besserung eingetreten sei, könne nicht von einer Meldepflichtverletzung gesprochen werden. Eine Meldung könne vom Versicherten erst dann verlangt werden, wenn die Besserung bereits eine gewisse Zeit ununterbrochen angedauert habe und für ihn die invalidenversicherungsrechtliche Relevanz objektiv erkennbar sei oder zumindest sein müsste. Dies habe beim Versicherten im Oktober 2013 noch nicht zugetroffen. Die Meldung vom 21. März 2014 sei somit rechtzeitig erfolgt.
4.
4.1. Dem Beschwerdeführer ist beizupflichten, dass aufgrund des psychiatrischen Gutachtens und der Observation die Voraussetzungen für die Bejahung einer Meldepflichtverletzung nicht erfüllt sind. Zeitnahe Arztberichte, die sich zur gesundheitlichen Situation und zur Arbeitsfähigkeit im Oktober 2013 äussern, hat die IV-Stelle nicht eingeholt. Die Psychiaterin Frau med. pract. B._ diagnostizierte im Gutachten vom 19. Januar 2016 keine psychische Störung. Mindestens seit dem Bekanntwerden der ersten Observationsergebnisse bestehe eine volle Arbeitsfähigkeit. Die Zunahme der Arbeitsfähigkeit auf 100 % begründet die Ärztin jedoch nicht mit medizinischen Tatsachen, welche die massive Erhöhung der Leistungsfähigkeit zur erklären vermöchten, sondern mit verschiedenen anderen Gesichtspunkten aus der Vergangenheit, ohne näher auf die Angaben des Beschwerdeführers zu seinem Gesundheitszustand einzugehen. Die in der Expertise attestierte volle Arbeitsfähigkeit beruht nicht auf medizinischen Fakten, sondern auf Annahmen, die den Ergebnissen der Observation entnommen sind. Eine psychiatrische Rechtfertigung für die im Rahmen einer Rentenrevision sprunghafte Zunahme des Arbeitsfähigkeitsgrades auf 100 % bereits ab Oktober 2013 fehlt. Die im angefochtenen Entscheid getroffene Annahme voller Arbeitsfähigkeit ab Oktober 2013 ist demnach nicht rechtsgenüglich belegt.
Da die medizinische Aktenlage bis Oktober 2013 keine Wiedererlangung uneingeschränkter Arbeitsfähigkeit für eine längere Dauer erkennen lässt, liegt mit Bezug auf die Voraussetzungen der Meldepflicht gemäss <ref-law>, insbesondere eine wesentliche Verbesserung des Gesundheitszustandes und verbunden damit der Arbeits- und Erwerbsfähigkeit, mangels in Betracht fallender zusätzlicher Abklärungsmassnahmen Beweislosigkeit vor, deren Folgen die IV-Stelle zu tragen hat, die aus der unbewiesen gebliebenen Erhöhung der Arbeits- und Erwerbsfähigkeit die Aufhebung der Invalidenrente ableiten wollte (vgl. <ref-ruling> E. 4.5 S. 111, 141 V 281 E. 6 S. 308).
4.2. Am 21. März 2014 hatte der Versicherte der Invalidenversicherung einen im Januar 2014 begonnenen Arbeitsversuch im Ausmass von 20 % bei der C._ gmbh gemeldet. Damit war er der ihm obliegenden Meldepflicht nach <ref-law> nachgekommen. Am 19. September 2014 wurde der Beschwerdeführer von der D._ AG in einem Vollzeitpensum als Chaffeur Kategorie C/E angestellt. Ab September 2014 ist demnach volle Arbeitsfähigkeit ausgewiesen. Bei einer Verbesserung der Erwerbsfähigkeit ist die anspruchsbeeinflussende Änderung für die Herabsetzung oder Aufhebung der Leistung von dem Zeitpunkt an zu berücksichtigen, in dem angenommen werden kann, dass sie voraussichtlich längere Zeit dauern wird. Sie ist in jedem Fall zu berücksichtigen, nachdem sie ohne wesentliche Unterbrechung drei Monate angedauert hat und voraussichtlich weiterhin andauern wird (<ref-law>). Gestützt auf diese Bestimmung ist die Invalidenrente auf den 31. Dezember 2014, drei Monate nach bewiesener Wiedererlangung der vollen Arbeitsfähigkeit, aufzuheben.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
In teilweiser Gutheissung der Beschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. November 2017 und die Verfügung der IV-Stelle des Kantons Zürich vom 28. Dezember 2016 aufgehoben und dahingehend abgeändert, dass die Invalidenrente des Beschwerdeführers auf den 31. Dezember 2014 aufzuheben ist.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. September 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Der Gerichtsschreiber: Widmer