Sachverhalt:
A.
A._, geboren 1970, war seit 2003 bei der B._ AG angestellt. Im November 2009 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an unter Hinweis auf eine vollständige Arbeitsunfähigkeit seit 3. Juli 2009 wegen einer Posttraumatischen Belastungsstörung (PTBS). Gestützt auf ein Gutachten des Dr. med. C._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 19. Januar 2011 sprach die IV-Stelle des Kantons Zürich A._ mit Verfügung vom 12. Juli 2011 ab 1. August 2010 eine ganze Invalidenrente zu. Am 23. Juni 2015 bestätigte sie einen unveränderten Rentenanspruch.
Im Zuge eines von Amtes wegen eingeleiteten Revisionsverfahrens holte die IV-Stelle einen Verlaufsbericht der langjährig behandelnden Psychologin ein und zog die Akten der PAX Schweizerische Lebensversicherungsgesellschaft bei, darunter ein Gutachten des Dr. med. D._, Arzt für Psychiatrie und Psychotherapie FMH sowie Neurologie und Psychiatrie, Forensische Psychiatrie (D) vom 6. September 2018 sowie ein Observationsbericht vom 4. September 2018. Die IV-Stelle verfügte am 17. Juni 2018 die Sistierung der Rente und am 31. Oktober 2019 die Aufhebung des Rentenanspruchs. Zudem forderte sie die im Zeitraum von Juli 2018 bis April 2019 ausgerichteten Leistungen in der Höhe von Fr. 26'452.- zurück (Verfügung vom 4. Dezember 2019).
B.
Die gegen die Rentenaufhebung (Verfügung vom 31. Oktober 2019) und gegen die Rückforderung (Verfügung vom 4. Dezember 2019) erhobenen Beschwerden hiess das Sozialversicherungsgericht des Kantons Zürich unter Vereinigung der beiden Verfahren mit Urteil vom 17. Oktober 2020 teilweise gut. Den Rentenanspruch hob es per 31. Dezember 2019 (statt per Ende Juni 2018) auf. Die Rückforderungsverfügung vom 4. Dezember 2019 hob es auf.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Urteils sei ihm über den 31. Dezember 2019 hinaus eine ganze Invalidenrente zuzusprechen, eventualiter sei die Sache zur Einholung eines Gerichtsgutachtens an die Vorinstanz zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; zum Ganzen <ref-ruling> E. 4).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Aufhebung des Rentenanspruchs durch die IV-Stelle bestätigte, lediglich das Einstellungsdatum änderte.
3.
Das kantonale Gericht hat die Bestimmungen und Grundsätze zur Erwerbsunfähigkeit (<ref-law>) und zur Invalidität (<ref-law>, <ref-law>), zum Rentenanspruch (<ref-law>) sowie zur Rentenrevision (<ref-law>), insbesondere auch zu den Vergleichszeitpunkten (<ref-ruling> E. 3; <ref-ruling> E. 5.3.1; <ref-ruling>), zutreffend dargelegt. Gleiches gilt hinsichtlich der Regeln über den Beweiswert eines ärztlichen Berichts oder Gutachtens (<ref-ruling> E. 5.1; <ref-ruling> E. 3a). Zu ergänzen ist, dass auf ein versicherungsexternes Gutachten abzustellen ist, sofern nicht konkrete Indizien gegen dessen Zuverlässigkeit sprechen (<ref-ruling> E. 1.3.4; <ref-ruling> E. 4.4; <ref-ruling> E. 3b/bb). Auch auf versicherungsinterne ärztliche Feststellungen kann praxisgemäss abgestellt werden. Bestehen jedoch auch nur geringe Zweifel an ihrer Zuverlässigkeit und Schlüssigkeit, sind weitere Abklärungen vorzunehmen (<ref-ruling> E. 5.2; <ref-ruling> E. 4.4; <ref-ruling> E. 3b/ee; <ref-ruling> E. 1d). Richtig wiedergegeben wird im angefochtenen Urteil schliesslich die Rechtsprechung zur Beurteilung einer allfälligen Arbeitsunfähigkeit bei psychischen Leiden (<ref-ruling> E. 4.2.1; <ref-ruling>; <ref-ruling>). Anzufügen ist, dass auch primäre Abhängigkeitssyndrome grundsätzlich einem strukturierten Beweisverfahren nach BGE <ref-ruling> zu unterziehen sind (<ref-ruling>; vgl. auch SVR 2020 IV Nr. 11 S. 41, 9C_309/2019 E. 4.2.2).
4.
4.1. Nach eingehender Darstellung und Würdigung der medizinischen Berichte stellte die Vorinstanz fest, gestützt auf das voll beweiskräftige Gutachten des Dr. med. D._ sei gegenüber den vom Vorgutachter Dr. med. C._ erhobenen Befunden von einer wesentlichen Verbesserung des Gesundheitszustandes mit aktuell weitgehend unauffälliger Situation auszugehen. Die Angaben des Dr. med. D._ liessen nicht auf eine Arbeitsunfähigkeit schliessen. Das kantonale Gericht stellte fest, es fehlten eine besondere Ausprägung der objektiven Befunde und Symptome, ein Vermeidungsverhalten hinsichtlich traumatisierender Erlebnisse im Kriegsgefangenenlager in Bosnien beziehungsweise entsprechende vegetative Reaktionen, aber auch Hinweise auf ressourceneinschränkende Komorbiditäten aus dem somatischen Bereich sowie auf eine genetische Vulnerabilität oder Persönlichkeitsfaktoren, die die Entwicklung psychiatrischer Erkrankungen begünstigen könnten. Der Beschwerdeführer habe sich, so die Vorinstanz weiter, in der Schweiz etabliert, sei hier bis zum erstmaligen Auftreten einer Panikattacke im Juli 2009 während über 15 Jahren vollzeitlich erwerbstätig gewesen, habe eine Familie gegründet und ein Eigenheim erworben. Die Tagesstruktur des Beschwerdeführers sei geordnet, das familiäre und soziale Umfeld intakt und es bestehe ein hohes, auch sportliches Aktivitätsniveau, zudem würden regelmässige Ferienaufenthalte in der Heimat stattfinden. Gemäss dem kantonalen Gericht ist zwar auch der Observationsbericht beweiskräftig, allerdings seien daraus keine wesentlichen zusätzlichen Erkenntnisse zu gewinnen. Es stellte schliesslich fest, dass spätestens seit Juni 2018 eine gesundheitsbedingte Einschränkung der Arbeitsfähigkeit nicht mehr ausgewiesen sei. Die Voraussetzungen für eine rückwirkende Rentenaufhebung und Rückforderung der danach noch ausgerichteten Rentenbetreffnisse seien indessen nicht erfüllt, denn eine Meldepflichtverletzung liege nicht vor.
4.2. Der Beschwerdeführer macht sinngemäss im Wesentlichen geltend, die erhöhten Beweisanforderungen, die bei dem von einem privaten Versicherer eingeholten Gutachten des Dr. med. D._ gälten, seien hier im Einzelnen nicht erfüllt. Das kantonale Gericht sei gestützt darauf zu Unrecht vom Vorliegen eines Revisionsgrundes ausgegangen. Insbesondere habe der Experte nicht aufgezeigt, inwiefern eine Verbesserung eingetreten sei. Vielmehr kritisiere er die von den behandelnden Ärzten gestellte und vom Vorgutachter bestätigte Diagnose. Dabei habe er auch die neuen wissenschaftlichen Erkenntnisse, die in ICD-11 eingeflossen seien, ignoriert. Bemängelt wird des Weiteren, dass der Gutachter die Frage einer Alkoholproblematik nicht weiter abgeklärt habe, obwohl in einem Gutachten des Instituts für Rechtsmedizin (IRM) vom 25. April 2018 ein starker chronischer Konsum festgestellt worden sei. Die weiterhin bestehende Labilität und Belastungsintoleranz werde belegt durch die im Dezember 2018 und Frühjahr 2019 erfolgten Hospitalisierungen im Sanatorium E._. Das Gutachten habe daher keine zuverlässige Grundlage für die vorinstanzliche Beurteilung der Arbeitsfähigkeit bilden können.
5.
Gemäss den vorinstanzlichen Feststellungen bestanden anlässlich der Begutachtung durch Dr. med. D._ keine Hinweise auf einen aktuell problematischen Alkoholkonsum. Es sei deshalb nicht zu beanstanden, dass der Gutachter keine diesbezüglichen weiteren Abklärungen getroffen habe, zumal auch die langjährig behandelnde Psychologin nichts dergleichen erwähnt habe. Die Vorinstanz liess dabei ausser Acht, dass Dr. med. D._ keine Kenntnis hatte von dem vor seiner Untersuchung im Juni 2018 erstatteten verkehrsmedizinischen Gutachten des IRM vom 25. April 2018. Anlässlich der dortigen Abklärung der Fahreignung wurde eine chemisch-toxische Haaranalyse vorgenommen und dabei für den Zeitraum von Mitte November 2017 bis Mitte März 2018 ein starker, chronischer Alkoholkonsum beweiskräftig dokumentiert. Die IV-Stelle unterliess es in der Folge insbesondere, den Regionalen Ärztlichen Dienst zu konsultieren.
Angesichts des erwähnten Untersuchungsbefundes des IRM kann nicht ohne Weiteres davon ausgegangen werden, dass die gutachtliche Beurteilung auch unter Berücksichtigung der verkehrsmedizinischen Abklärung gleichermassen ausgefallen wäre. Daran kann nichts ändern, dass der Gutachter weder bei seiner eigenen Befunderhebung noch anhand der von ihm veranlassten neuropsychologischen Untersuchung entsprechende Auffälligkeiten festzustellen vermochte und auch den Berichten der behandelnden Psychologin keine entsprechenden Hinweise zu entnehmen waren, wie die Vorinstanz erwog. Dass der Gutachter über das Ausmass der Alkoholproblematik nicht vollständig dokumentiert war, fällt umso mehr ins Gewicht, als er die anamnestisch berichteten Komorbiditäten der PTBS sowie Psychischen und Verhaltensstörungen durch Alkohol bei seiner Einschätzung der Ressourcen sehr wohl mitberücksichtigte. Es lässt sich daher nicht ausschliessen, dass er die Gesundheitsschädigung bei vollständiger Aktenkenntnis insgesamt anders beurteilt hätte. Indem das kantonale Gericht dennoch auf das Gutachten abstellte, verletzte es die zu beachtenden Beweiswürdigungsregeln. Ob bei der Beurteilung der Zuverlässigkeit dieser Expertise, die von einem privaten Versicherer eingeholt wurde, die für versicherungsinterne oder aber die für versicherungsexterne Stellungnahmen geltenden Beweisregeln anzuwenden sind (vgl. oben E. 3), kann dabei offengelassen werden. So oder anders fehlt es dem zuhanden der PAX Lebensversicherungsgesellschaft erstatteten Gutachten des Dr. med. D._ unter den hier gegebenen Umständen an hinreichender Beweiskraft. Damit mangelt es zudem auch an einer verlässlichen Grundlage für die Beurteilung der Arbeitsfähigkeit durch den Rechtsanwender. Soweit die Vorinstanz gestützt auf das Gutachten eine Alkoholsucht ausschloss, stellte sie den Sachverhalt bundesrechtswidrig fest. Die Sache ist daher zu den erforderlichen weiteren Abklärungen an die Vorinstanz zurückzuweisen.
6.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Rückweisung der Sache an das kantonale Gericht oder an den Versicherungsträger zur erneuten Abklärung (mit noch offenem Ausgang) gilt praxisgemäss für die Frage der Auferlegung der Gerichtskosten als volles Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG (<ref-ruling> E. 6.1; Urteil 8C_715/2016 vom 6. März 2017 E. 6). Die Gerichtskosten werden daher der unterliegenden Beschwerdegegnerin auferlegt (<ref-law>). Des Weiteren hat diese dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Sozialversicherungsgerichts des Kantons Zürich, IV. Kammer, vom 17. Oktober 2020 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, IV. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juni 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Durizzo