Sachverhalt:
A.
A.a. Der 1961 geborene A._ arbeitete als Kranführer bei der Bauunternehmung B._ AG als er am 23. September 1992 aus mehreren Metern Höhe abstürzte und sich dabei eine offene Ellbogenluxation links mit Abriss der Arteria cubitalis links, eine laterale Beckenkompressionsfraktur mit Sprengung des Iliosacralgelenkes links, eine Nierenruptur links, Rippenserienfrakturen 7-9 links mit Hämatopneumothorax links und eine Scapulafraktur links zuzog. Im Oktober 1993 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Im Jahre 1995 stürzte er von einem Balkon, wobei er sich ein stumpfes Bauchtrauma mit Dünndarmperforation zuzog, welches operativ therapiert werden musste. Die damals zuständige IV-Stelle des Kantons Thurgau traf erwerbliche und medizinische Abklärungen. Unter anderem liess sie den Versicherten durch die medizinische Abklärungsstelle der Invalidenversicherung des Kantons St. Gallen (MEDAS) polydisziplinär begutachten (Expertise vom 19. April 1996). Es wurde insbesondere eine posttraumatische Belastungsstörung diagnostiziert, welche die Arbeitsfähigkeit des A._ um 50 % einschränke. Die IV-Stelle ermittelte einen Invaliditätsgrad von 83 % und sprach ihm mit Verfügung vom 4. Juni 1999 eine ganze Invalidenrente zu.
A.b. Die Sozialversicherungsanstalt des Kantons Zürich (IV-Stelle), welche seit einem Wohnortwechsel für den Versicherten zuständig ist, bestätigte in verschiedenen Revisionsverfahren in den Jahren 2001, 2005, 2008 und 2013 den Anspruch auf eine ganze Rente. Im November 2015 wurde ein weiteres Revisionsverfahren eingeleitet. Mit Schreiben vom 16. September 2016 informierte die IV-Stelle A._, sie habe ihn aufgrund einer anonymen Meldung vom 15. Oktober 2014 bis 3. Juni 2015 während insgesamt zehn Tagen observieren lassen. Ihr Regionaler Ärztlicher Dienst sei aufgrund der Aufnahmen zum Schluss gekommen, sein Gesundheitszustand habe sich verbessert. Die bisherige Invalidenrente wurde per Ende September 2016 sistiert (Verfügung vom 9. Januar 2017). In der Folge veranlasste die IV-Stelle eine gutachterliche Untersuchung durch die Polydisziplinäre medizinische Abklärungen AG (nachfolgend: PMEDA; Expertise vom 30. August 2017). Der Versicherte liess daraufhin eine Stellungnahme seines behandelnden Dr. phil. C._, Fachpsychologe für Psychotherapie FSP, zum psychiatrischen Teilgutachten des Dr. med. D._ vom 6. August 2018 einreichen. Mit Verfügung vom 11. Oktober 2018 hob die IV-Stelle die Ausrichtung der Rente rückwirkend per 31. Oktober 2014 auf. Infolge einer Meldepflichtverletzung seien zudem die vom 1. November 2014 bis 30. September 2016 zu Unrecht bezogenen Leistungen zurückzuerstatten.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 17. Februar 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des kantonalen Entscheides seien ihm weiterhin eine ganze Rente auszurichten und die seit Oktober 2016 vorenthaltenen Rentenbetreffnisse zuzüglich eines Zinses von 5 % nachzuzuahlen. Eventuell sei die Sache zu neuer Abklärung und Verfügung an die Beschwerdegegnerin oder die Vorinstanz zurückzuweisen; subeventuell sei die Rente per 1. Juni 2017 aufzuheben und die vom Oktober 2016 bis Mai 2017 vorenthaltenen Rentenleistungen zuzüglich eines Zinses von 5 % nachzuzahlen. Darüber hinaus sei die Beschwerdegegnerin zu verpflichten, Fr. 958.50 für den Bericht des Dr. phil. C._ vom 6. August 2018 an den Beschwerdeführer zu bezahlen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen und das kantonale Gericht verzichten auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG; BGE 141 V 234 E. 1 S. 236). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum sowie der konkreten Beweiswürdigung geht es um für das Bundesgericht grundsätzlich verbindliche Tatfragen (BGE 132 V 393 E. 3.2 S. 397 ff.; Urteil 8C_758/2019 vom 19. Mai 2020 E. 1.2). Dagegen sind frei überprüfbare Rechtsfragen die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, als es die Aufhebung der Invalidenrente rückwirkend auf den 31. Oktober 2014 sowie die Rückerstattung der vom 1. November 2014 bis 30. September 2016 ausgerichteten Rentenleistungen bestätigte.
3.
3.1. Die Vorinstanz hat die massgebenden Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit (Art. 7 ATSG) und der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG) sowie über den Anspruch auf eine Invalidenrente (Art. 28 Abs. 2 IVG) zutreffend dargelegt. Dasselbe gilt für die Modalitäten der Revision einer Invalidenrente (Art. 17 Abs. 1 ATSG; BGE 141 V 9 E. 2.3 S. 10; 134 V 131 E. 3 S. 132; je mit Hinweisen), insbesondere der zu vergleichenden Zeitpunkte (BGE 133 V 108; in BGE 143 V 77 nicht, jedoch in SVR 2017 IV Nr. 51 S. 152 publ. E. 2.2 des Urteils 9C_297/2016), die Voraussetzungen einer rückwirkenden Aufhebung der Rente (Art. 77 und Art. 88bis Abs. 2 lit. b IVV; BGE 142 V 259 E. 3.2.1 S. 260; Urteile 8C_859/2017 vom 8. Mai 2018 E. 4 und 8C_26/2018 vom 27. September 2018 E. 4) und die allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352). Darauf wird verwiesen.
3.2. Entscheidend ist vorliegend Folgendes:
3.2.1. Ändert sich der Invaliditätsgrad eines Rentenbezügers erheblich, so wird gemäss Art. 17 ATSG die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben. Die Frage der wesentlichen Änderung in den tatsächlichen Verhältnissen beurteilt sich durch Vergleich des Sachverhalts, wie er im Zeitpunkt der ursprünglichen Rentenverfügung bestanden hat, mit demjenigen zur Zeit der streitigen Revisionsverfügung. Eine rechtskräftige Revisionsverfügung gilt - im Hinblick auf eine weitere Revision - ihrerseits als (neue) Vergleichsbasis, wenn sie auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (BGE 133 V 108).
3.2.2. Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustands revidierbar. Weiter sind, auch bei an sich gleich gebliebenem Gesundheitszustand, veränderte Auswirkungen auf den Erwerbs- oder Aufgabenbereich von Bedeutung (BGE 141 V 9 E. 2.3 S. 10 f. mit Hinweisen). Hingegen ist die lediglich unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts im revisionsrechtlichen Kontext unbeachtlich.
Liegt in diesem Sinne ein Rückkommenstitel vor, gilt es grundsätzlich, mit Wirkung ex nunc et pro futuro einen rechtskonformen Zustand herzustellen. Dabei ist auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts der Invaliditätsgrad im Zeitpunkt der Verfügung über die Herabsetzung oder Aufhebung einer Rente zu ermitteln (Urteile 9C_535/2017 vom 14. Dezember 2017 E. 2.1, nicht publ. in: BGE 143 V 431, aber in: SVR 2018 IV Nr. 20 S. 63, und 9C_770/2015 vom 24. März 2016 E. 2.2, in: SVR 2017 IV Nr. 4 S. 7).
3.2.3. Die Herabsetzung oder Aufhebung einer Rente erfolgt einzig dann rückwirkend ab Eintritt der für den Anspruch erheblichen Änderung, wenn der Bezüger die Leistung zu Unrecht erwirkt hat oder der ihm nach Art. 77 IVV zumutbaren Meldepflicht nicht nachgekommen ist (Art. 88bis Abs. 2 lit. b IVV, sowohl in der bis Ende 2014 als auch in der seither geltenden Fassung; vgl. ausserdem Art. 17 Abs. 1 in Verbindung mit Art. 31 Abs. 1 ATSG sowie BGE 145 V 141 E. 7.3 S. 148 ff.). Seit dieser Revision des Art. 88bis Abs. 2 lit. b IVV kann bei einer Meldepflichtverletzung oder einer unrechtmässigen Erwirkung der Rente die Leistung rückwirkend auf den Zeitpunkt der erheblichen Änderung angepasst werden, ohne dass die Meldepflichtverletzung (oder die unrechtmässige Erwirkung) kausal für die Weiterausrichtung der Rente gewesen sein muss (Urteil 8C_770/2019 vom 3. Februar 2020 E. 3.2 mit Hinweisen).
Jede wesentliche Änderung in den für eine Leistung massgebenden Verhältnissen ist von den Bezügerinnen und Bezügern, ihren Angehörigen oder Dritten, denen die Leistung zukommt, dem Versicherungsträger oder dem jeweils zuständigen Durchführungsorgan zu melden (Art. 31 Abs. 1 ATSG; Art. 77 IVV). Für den Tatbestand der Meldepflichtverletzung ist ein schuldhaftes Fehlverhalten erforderlich, wobei nach ständiger Rechtsprechung bereits leichte Fahrlässigkeit genügt (BGE 118 V 214 E. 2a S. 218; Urteil 9C_294/2018 vom 28. November 2018 E. 5.2 mit Hinweisen). Zu viel bezogene Leistungen sind grundsätzlich zurückzuerstatten (Art. 25 Abs. 1 ATSG).
4.
Unbestritten ist, dass die rentenzusprechende Verfügung vom 4. Juni 1999 den Referenzpunkt zur Prüfung der anspruchserheblichen Veränderung bildet. Nach Feststellung des kantonalen Gerichts beruhte die Rentenzusprache auf dem MEDAS-Gutachten vom 19. April 1996 und insbesondere auf der vom psychiatrischen Teilgutachter diagnostizierten posttraumatischen Belastungsstörung, welche die Arbeitsfähigkeit um 50 % einschränkte. Grundlage für die Rentenaufhebung bildet gemäss Vorinstanz das Gutachten der PMEDA vom 30. August 2017. Demnach habe der psychiatrische Teilgutachter zwar eine Symptomatik festgestellt, welche mit einer posttraumatischen Belastungsstörung vereinbar sei, deren Ausprägung indessen fraglich bleibe. Es könne ihr keine invalidisierende Wirkung mehr zugesprochen werden, weshalb eine wesentliche Verbesserung des Gesundheitszustandes eingetreten sei. Die Kritik des Dr. phil. C._ vermöge die gutachterlichen Schlussfolgerungen nicht in Frage zu stellen. Aufgrund des Gutachtens vom 30. August 2017 sei mit überwiegender Wahrscheinlichkeit erstellt, dass der Beschwerdeführer in seiner angestammten Tätigkeit als Kranführer vollständig arbeitsfähig sei. In Anlehnung an das Gutachten könne auch davon ausgegangen werden, dass es hinsichtlich des Gesundheitszustandes des Versicherten bereits im Oktober 2014 zu einer Verbesserung gekommen sei. Die bei der Observation dokumentierten Aktivitäten seien mit einer weitgehenden Arbeitsunfähigkeit und einem Invaliditätsgrad von 83 % nicht zu vereinbaren. Dies hätte ihm bewusst sein müssen, weshalb ohne Zweifel eine Meldepflichtverletzung vorliege. Die rückwirkende Aufhebung des Rentenanspruchs per November 2014 und die Rückerstattung seien nicht zu beanstanden.
5.
5.1. Vorerst beanstandet der Beschwerdeführer - wie bereits vor dem kantonalen Gericht - die Durchführung der Observation und die Verwertung des dabei gewonnenen Materials.
5.2.
5.2.1. In BGE 143 I 377 E. 4 S. 384 entschied das Bundesgericht, dass es trotz Art. 59 Abs. 5 IVG auch im Bereich der Invalidenversicherung an einer ausreichenden gesetzlichen Grundlage fehlt, die die Observation umfassend klar und detailliert regelt. Folglich verletzen solche Handlungen, seien sie durch den Unfallversicherer oder durch eine IV-Stelle veranlasst, Art. 8 EMRK beziehungsweise den einen im Wesentlichen gleichen Gehalt aufweisenden Art. 13 BV. Laut BGE 143 I 377 E. 5.1.1 S. 385 f. ist das Beweismaterial, das im Rahmen einer rechtswidrig angeordneten Observation im öffentlich frei einsehbaren Raum gewonnen wurde, jedoch im Invalidenversicherungsverfahren gestützt auf eine Interessenabwägung zwischen privaten und öffentlichen Interessen verwertbar.
5.2.2. Trotz ausdrücklicher Rüge hat sich die Vorinstanz im angefochtenen Entscheid nicht zur Rechtmässigkeit der Observation und/oder zur Verwertbarkeit des von der Beschwerdegegnerin vorgelegten Observationsmaterials geäussert. Entsprechend fehlen erstinstanzliche Feststellungen und Würdigungen über die Art der Überwachung und die damit gewonnenen Erkenntnisse. Ohne eine entsprechende Prüfung vorzunehmen und sie auch nur konkret zu nennen wird im angefochtenen Entscheid auf "die im Rahmen der Observation dokumentierten Aktivitäten" Bezug genommen und daraus der Schluss gezogen, es liege eine Meldepflichtverletzung vor (vgl. dazu Erwägung 7 hienach). Eine sachgerechte Anfechtung des vorinstanzlichen Entscheides war dem Beschwerdeführer damit diesbezüglich nicht möglich, weshalb eine Verletzung der Begründungspflicht respektive des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) vorliegt, was bereits zur Rückweisung an das kantonale Gericht führt.
6.
Weiter macht der Beschwerdeführer geltend, die Vorinstanz habe den Sachverhalt im Hinblick auf die entscheidende Frage eines veränderten Gesundheitszustandes offensichtlich unrichtig festgestellt beziehungsweise gewürdigt.
6.1. Der Beweiswert eines zwecks Rentenrevision erstellten Gutachtens hängt wesentlich davon ab, ob es sich ausreichend auf das Beweisthema - erhebliche Änderung (en) des Sachverhalts - bezieht. Einer für sich allein betrachtet vollständigen, nachvollziehbaren und schlüssigen medizinischen Beurteilung, die im Hinblick auf eine erstmalige Beurteilung der Rentenberechtigung beweisend wäre, mangelt es daher in der Regel am rechtlich erforderlichen Beweiswert, wenn sich die (von einer früheren abweichende) ärztliche Einschätzung nicht hinreichend darüber ausspricht, inwiefern eine effektive Veränderung des Gesundheitszustandes stattgefunden hat. Vorbehalten bleiben Sachlagen, in denen es evident ist, dass die gesundheitlichen Verhältnisse sich verändert haben (Urteil 9C_137/2017 vom 8. November 2017 E. 3.1 mit Hinweis auf Urteile 9C_418/2010 vom 29. August 2011 E. 4.2 in: SVR 2012 IV Nr. 18 S. 81 und 9C_710/2014 vom 26. März 2015).
6.2. Dem psychiatrischen PMEDA-Teilgutachten des Dr. med. D._ ist nicht zu entnehmen, ob sich der Experte mit der medizinischen Anamnese, insbesondere mit dem MEDAS-Gutachten vom 19. April 1996 auseinandergesetzt hat, wird dieses doch nicht erwähnt. Auf konkrete Frage hin wird im Gutachten im Rahmen der konsensualen Schlussbeurteilung ausdrücklich angeführt, dass aus Sicht der Experten eine Besserung des Gesundheitszustandes im Vergleich zu den - nicht näher bezeichneten - Vorberichten denkbar sei. Ebenso gut könne es sich auch lediglich um eine andere Bewertung des medizinischen Sachverhalts bei objektiv gleichen gesundheitlichen Verhältnissen handeln. Eine überwiegende Wahrscheinlichkeit für die eine der beiden Möglichkeiten liege nicht vor. Damit entbehrt die vorinstanzliche Feststellung, Dr. med. D._ habe in seinem Gutachten gezeigt, dass im Vergleich zum Zeitpunkt der Begutachtung im Jahre 1996 eine wesentliche Verbesserung des Gesundheitszustandes eingetreten sei, der aktenmässigen Grundlage. Im angefochtenen Entscheid wird auch nicht dargelegt, welche Befunde sich geändert haben sollen, wird im PMEDA-Gutachten ein entsprechender Vergleich doch nicht vorgenommen.
Zudem wird weder im Gutachten noch im angefochtenen Entscheid vom 30. August 2017 angeführt, welche - und allenfalls inwiefern - die anlässlich der Observation festgestellten Aktivitäten im Widerspruch zu den aktuellen Befunden und Diagnosen stehen, beziehungsweise inwiefern sich diese gegenüber den Befunden und Feststellungen im MEDAS-Gutachten von 1996 verbessert hätten. Diesbezüglich gilt es in Erinnerung zu rufen, dass dem Beschwerdeführer damals immerhin eine 50%ige Arbeitsfähigkeit attestiert worden war. Ein gänzliches Fehlen von irgendwelchen Aktivitäten wäre also auch nicht zu erwarten gewesen.
6.3. Sowohl der psychiatrische Gutachter im Jahre 1996 als auch derjenige im Jahre 2017 attestieren dem Versicherten eine posttraumatische Belastungsstörung (PTBS). Dr. med. D._ führt diesbezüglich das Attribut "unklarer Ausprägung" an. Damit signalisiert er eine Unsicherheit in der Beurteilung der Schwere der psychischen Störung. Funktionelle Einschränkungen durch die posttraumatische Belastungsstörung wurden nicht erfasst oder dargelegt. Ebenso wenig lässt sich dem Gutachten oder dem angefochtenen Entscheid entnehmen, es lägen keine Einschränkungen vor. Trotzdem hält der Gutachter in Bezug auf die Auswirkung der PTBS auf die Arbeitsfähigkeit fest, eine solche bestehe nicht. Das kantonale Gericht hat sich mit diesem Widerspruch nicht befasst, obwohl ein offensichtlicher Abklärungsbedarf besteht. Damit hat es den Untersuchungsgrundsatz verletzt.
6.4. Wenn Abklärungsergebnisse aus dem Verwaltungsverfahren in rechtserheblichen Punkten nicht ausreichend beweiswertig sind, besteht Anspruch auf ein Gerichtsgutachten (BGE 137 V 2010 E. 4.4.1.5 S. 265). Die Sache wird daher an die Vorinstanz zurückgewiesen, damit sie sich mit dem festgestellten Begründungsmangel befasse und nach Einholung eines Gerichtsgutachtens über die Beschwerde neu entscheide.
Bei dieser Sachlage bleibt es irrelevant, ob gegen Gutachter der PMEDA, welche an der Expertise vom 30. August 2017 mitgewirkt haben, insbesondere gegen Dr. med. D._, ein Strafverfahren wegen Erstellung falscher Gutachten anhängig ist. Auf die entsprechenden Rügen des Beschwerdeführers ist demnach nicht näher einzugehen.
7.
Zudem macht der Beschwerdeführer zu Recht geltend, soweit die Vorinstanz gestützt auf das Observationsmaterial den Beginn einer wesentlichen Verbesserung des Gesundheitszustandes auf den Oktober 2014 festsetze, verfalle sie in Willkür. Entgegen der Feststellung im angefochtenen Entscheid wurde im Gutachten vom 30. August 2017 keine Verbesserung des Gesundheitszustandes attestiert und schon gar nicht eine solche im Oktober 2014. Vielmehr hielten die Gutachter fest, ihre Bewertung gelte ex nunc, also seit der gutachterlichen Untersuchung. Es fehlt damit an einer ärztlichen Einschätzung der Arbeitsfähigkeit zu einem früheren Zeitpunkt. Damit verletzt auch die Begründung der Vorinstanz zur Meldepflichtverletzung Bundesrecht.
8.
Schliesslich stellt der Beschwerdeführer den Antrag, die IV-Stelle habe die Kosten der Stellungnahme zum PMEDA-Gutachten des Dr. phil. C._ vom 6. August 2018 im Betrage von Fr. 958.50 zu übernehmen. Die Vorinstanz hat trotz entsprechendem Antrag in der kantonalen Beschwerde dazu keinen Entscheid getroffen. Sie wird dies im Rahmen des neuen Entscheides, welcher nach Einholung des Gerichtsgutachtens zu fällen sein wird, nachzuholen haben.
Angesichts des vorinstanzlich noch zu vervollständigenden Sachverhalts und des Umstandes, dass vom kantonalen Gericht nicht über sämtliche streitigen Punkte entschieden worden war, kann letztinstanzlich nicht über den Hauptantrag des Beschwerdeführers, es sei ihm über den September 2016 hinaus und weiterhin eine ganze Invalidenrente auszurichten, geurteilt werden. Das entsprechende Rechtsbegehren ist daher in diesem Verfahren abzuweisen.
9.
Eine Rückweisung zu erneutem Entscheid mit offenem Ausgang gilt als Obsiegen, unabhängig davon, ob sie beantragt und ob das entsprechende Begehren im Haupt- oder im Eventualantrag gestellt wird (BGE 141 V 281 E. 11.1 S. 312). Die Gerichtskosten werden der unterliegenden Beschwerdegegnerin auferlegt (Art. 66 Abs. 1 BGG). Ausserdem hat sie dem Beschwerdeführer eine Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 17. Februar 2020 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juli 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer