Sachverhalt:
A.
A.a. A._, geboren 1980, war zuletzt vom 3. Juli 2006 bis 5. Januar 2008 bei der B._ als Fahrer tätig. Im November 2007 meldete er sich bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Die IV-Stelle nahm medizinische und erwerbliche Abklärungen vor und sprach ihm mit Verfügung vom 7. Oktober 2008 eine ganze Invalidenrente ab 1. Juni 2008 zu. Mit Schreiben vom 22. Januar 2009, vom 13. Mai 2011 und vom 18. September 2015 wurde ihm mitgeteilt, dass er weiterhin Anspruch auf eine ganze Invalidenrente habe.
A.b. Die Helvetia Schweizerische Lebensversicherungsgesellschaft AG, bei der sich A._ privat gegen die Folgen einer Erwerbsunfähigkeit versichert hatte, liess ihn vom 23. März bis 14. November 2016 an einzelnen Tagen observieren (Ermittlungsbericht vom 2. Dezember 2016). Am 31. März 2017 stellte die Helvetia der IV-Stelle deren Ergebnisse sowie weitere Unterlagen zur Verfügung. Nach Einholung einer Stellungnahme beim Regionalen Ärztlichen Dienst (RAD) und Durchführung eines Standortgesprächs mit A._ und dessen Ehefrau verfügte die IV-Stelle am 27. Juli 2017 die Sistierung der Invalidenrente per Ende Mai 2017, was das Sozialversicherungsgericht des Kantons Zürich am 31. Januar 2018 bestätigte. Nach Einholung des bidisziplinären Gutachtens bei Frau Dr. med. C._, Fachärztin für Allgemeine Innere Medizin und für Rheumatologie, und des PD Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie, vom 2./3. November 2017, hob die IV-Stelle am 24. April 2018 die Invalidenrente rückwirkend per 1. April 2016 auf.
B.
Das Sozialversicherungsgericht wies die dagegen erhobene Beschwerde am 25. September 2019 ab, soweit es darauf eintrat.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und ihm weiterhin eine ganze Invalidenrente (zuzüglich der Kinderrenten) bei einem Verzugszins von 5 % seit Juni 2017 auszurichten. Eventualiter sei die Sache zu erneuter Ermittlung des Leistungsanspruchs und neuer Verfügung an die Vorinstanz oder die IV-Stelle zurückzuweisen. Subeventualiter sei der Rentenanspruch rückwirkend per 1. November 2017 aufzuheben und die Renten für die Zeit von Juni bis Oktober 2017 zuzüglich eines Verzugszinses von 5 % nachzuzahlen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig ist, ob die Vorinstanz zu Recht die Aufhebung der Invalidenrente per 1. April 2016 bestätigt hat.
3.
Die Vorinstanz hat die massgebenden Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit (<ref-law>; SR 830.1) und der Invalidität (<ref-law> in Verbindung mit <ref-law>) und den Anspruch auf eine Invalidenrente (<ref-law>) zutreffend dargelegt. Dasselbe gilt für die Modalitäten der Revision einer Invalidenrente (<ref-law>; <ref-ruling> E. 2.3 S. 10; <ref-ruling> E. 3 S. 132; je mit Hinweisen), insbesondere der zu vergleichenden Zeitpunkte (<ref-ruling>; in <ref-ruling> nicht, jedoch in SVR 2017 IV Nr. 51 S. 152 publ. E. 2.2 des Urteils 9C_297/2016), die Voraussetzungen einer rückwirkenden Aufhebung der Rente (Art. 77 und <ref-law>; <ref-ruling> E. 3.2.1 S. 260; Urteile 8C_859/2017 vom 8. Mai 2018 E. 4 und 8C_26/2018 vom 27. September 2018 E. 4), und die allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
4.
Die Vorinstanz hat erwogen, als Vergleichsbasis für die Prüfung einer revisionsrelevanten Veränderung kämen nur der Zeitpunkt der ursprünglichen Rentenverfügung in Frage, da anlässlich der Revisionen von Amtes wegen nie eine materielle Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs erfolgt sei. In der Folge sprach das kantonale Gericht dem bidisziplinären Gutachten der Frau Dr. med. C._ und des PD Dr. med. D._ vom 2./3. November 2017 vollen Beweiswert zu und stellte fest, daraus ergebe sich eine erhebliche Verbesserung des Gesundheitszustandes in somatischer Hinsicht, so dass dahingestellt bleiben könne, ob in psychischer Hinsicht eine Verbesserung vorliege. Es sei von einer vollen zumutbaren Arbeitsfähigkeit in einer angepassten Tätigkeit auszugehen, woran auch die Berichte der behandelnden Ärzte nichts zu ändern vermöchten, da diese keine wesentlichen Aspekte aufzeigen würden, die den Gutachtern nicht bekannt gewesen wären, und auch nicht darlegen würden, welche Funktionseinschränkungen eine mindestens 60 %-ige Arbeitsunfähigkeit nach sich ziehen würden. Angesichts der nachvollziehbar begründeten fachärztlichen Verneinung einer Arbeitsunfähigkeit bedürfe es nach der Rechtsprechung keines indikatorengeleiteten Beweisverfahrens. Im Rahmen der antizipierten Beweiswürdigung verzichtete die Vorinstanz auf weitere Abklärungen und stellte fest, in Bezug auf eine leidensadaptierte Tätigkeit sei im Gegensatz zum Zeitpunkt der erstmaligen Rentenzusprache eine volle Arbeitsfähigkeit gegeben. Da der Versicherte weder im Verwaltungsverfahren noch vor kantonalem Gericht den Einkommensvergleich beanstandet habe und auch von Amtes wegen kein Anlass für eine abweichende Beurteilung bestehe, könne auf den nicht rentenbegründenden Invaliditätsgrad von 6 % abgestellt werden. Hinsichtlich der rückwirkenden Rentenaufhebung bejahte die Vorinstanz eine Meldepflichtverletzung des Versicherten. Gestützt auf die Observationsergebnisse und die Berichte der behandelnden Ärzte, aus welchen sich im Frühjahr eine wesentliche Veränderung ergäben, hätte dem Versicherten bei pflichtgemässer Aufmerksamkeit spätestens im April 2016 klar sein müssen, dass er nicht Anspruch auf eine auf einer vollen Invalidität basierende Rente habe.
5.
5.1. Der Versicherte macht geltend, auf das bidisziplinäre Gutachten der Frau Dr. med. C._ und des PD Dr. med. D._ könne nicht abgestellt werden, da beide Teilgutachten sich nicht zur erheblichen Steigerung des Leistungsvermögens äussern würden. Deshalb sei die vorinstanzliche Schlussfolgerung, wonach eine volle zumutbare Arbeitsfähigkeit in einer angepassten Tätigkeit gegeben sei, willkürlich.
Dieser Einwand geht fehl. Frau Dr. med. C._ legte in ihrer einlässlichen Beurteilungen nachvollziehbar und überzeugend dar, dass die Leistungsfähigkeit des Versicherten angesichts der seit April 2016 eingetretenen Remission im Rahmen einer angepassten Tätigkeit, die sie näher umschrieb, nicht (mehr) eingeschränkt sei. Weiter hielt sie fest, die im Rahmen der Observation beobachteten Handlungen würden einer angepassten Tätigkeit entsprechen. PD Dr. med. D._ verneinte im Zeitpunkt der Begutachtung eine Leistungseinschränkung und diskutierte in seiner Beurteilung verschiedene Diagnosen. Namentlich setzte er sich einlässlich mit den Vorberichten auseinander und begründete nachvollziehbar und überzeugend, weshalb gestützt auf die in diesen Berichten festgehaltenen Angaben nicht auf die jeweils diagnostizierte depressive Störung resp. Anpassungsstörung mit längerer depressiver Reaktion geschlossen werden könne. Auch äusserte er sich zu den qualitativen Funktionsfähigkeiten aus psychiatrischer Sicht, deren Einschränkung er verneinte. Die Vorinstanz hat demnach zu Recht auf diese bidisziplinäre Beurteilung abgestellt.
5.2. Weiter beanstandet der Versicherte, die Annahme der vollen Remission sei willkürlich. Denn eine Verbesserung ergebe sich erstmals aus einem Eintrag des Universitätsspitals E._ vom April 2017, nicht bereits vom April 2016. So seien auch die Gutachter von einer zumutbaren vollen Arbeitsfähigkeit erst ab 1. November 2017 ausgegangen.
Dieser Einwand ist unzutreffend. Denn einerseits hielt das Universitätsspital - entgegen der Behauptung des Versicherten - sehr wohl im Verlauf eine Verbesserung ab April 2016 fest. Andererseits hielt Dr. med. F._, Facharzt für Innere Medizin, Helvetia, der im Auftrag der Versicherung das Observationsmaterial sichtete, eine Vollremission im Zeitpunkt der Observation fest und begründete diese. Frau Dr. med. C._ schloss gestützt auf ihre klinische Untersuchung, die Vorakten und das Observationsmaterial ebenfalls auf eine Remission und volle zumutbare Arbeitsfähigkeit in einer angepassten Tätigkeit im Zeitpunkt der Observation. Dass die Experten im Rahmen der bidisziplinären Begutachtung erst ab 1. November 2017 eine volle Arbeitsfähigkeit attestierten liegt allein in der psychiatrischen und nicht der somatischen Beurteilung begründet.
5.3. Zudem macht der Versicherte geltend, soweit die Vorinstanz gestützt auf das Observationsmaterial den Beginn der zumutbaren vollen Arbeitsfähigkeit auf den 1. April 2016 festlege, sei dies unzulässig, da es dafür einer ärztlichen Einschätzung bedürfe. Auch setze sich die Vorinstanz mit ihrer eigenen, medizinisch nicht abgestützten Interpretation über die im bidisziplinären Gutachten ab 1. November 2017 attestierte volle Arbeitsfähigkeit hinweg, ohne den Widerspruch zum Gutachtensergebnis zu begründen, obwohl sie zuvor dieses bidisziplinäre Gutachten als voll beweiswertig deklariert habe. Damit verfalle sie in Widerspruch und Willkür und ihr Schluss (uneingeschränkte Arbeitsfähigkeit ab April 2016) sei damit nach <ref-law> unverbindlich für das Bundesgericht.
Entgegen der Ansicht des Versicherten besteht sehr wohl eine ärztliche Einschätzung, welche die zumutbare volle Arbeitsfähigkeit bereits zum Observationszeitpunkt bejaht. So hielt Dr. med. F._ in seinem Bericht vom 27. Februar 2017 fest, angesichts des aus dem Observationsmaterial ersichtlichen Verhaltens sei die rheumatologische Behandlung entgegen der Aussagen des Versicherten sehr effizient. In den Filmsequenzen sei der Versicherte auch nicht im Ansatz depressiv, schon gar nicht im Ausmass einer schweren depressiven Episode. Es müsse zumindest von einer aktuellen Vollremission ausgegangen werden, auch wenn Zweifel an der Existenz des Ausmasses an einer allfällig je bestandenen Depression bestünden und nicht zu leugnende Verdachtsmomente auf Symptomverdeutlichung bis hin zur Simulation evident seien. Auch Frau Dr. med. C._, der nebst den ärztlichen Berichten auch die Observationsergebnisse zur Verfügung standen, schloss auf eine zumutbare volle Arbeitsfähigkeit in einer adaptierten Tätigkeit ab April 2016. PD Dr. med. D._, der ebenfalls die Observationsergebnisse in seine Beurteilung miteinbezog, führte in seinem Teilgutachten an, aus der Würdigung der psychiatrisch relevanten Akten ergäben sich ausnahmslos Mängel und Inkonsistenzen, die er in der Folge anhand der jeweiligen Berichte aufzeigte. Im Ergebnis widerlegte er so sämtliche Einschätzungen der behandelnden Ärzte und hielt fest, nach der gründlichen Würdigung der psychiatrisch relevanten Akten ergäben sich zu wenig Hinweise dafür, dass jemals eine schwere oder mittelgradige depressive Episode vorgelegen habe. Obwohl er somit das Vorliegen der von den behandelnden Ärzten diagnostizierten psychischen Leiden wie auch das Vorliegen einer somatoformen Schmerzstörung und qualitative Funktionseinbussen verneinte, attestierte er mangels zuverlässiger Angaben über die zurückliegende Zeit erst ab Begutachtungszeitpunkt eine volle Arbeitsfähigkeit in der angestammten als auch in einer Verweistätigkeit. Anders als Frau Dr. med. C._, die bezüglich des somatischen Leidens bereits ab April 2016 auf eine volle zumutbare Arbeitsfähigkeit schloss, attestierte PD Dr. med. D._ im Rahmen seiner fachärztlichen Beurteilung erst ab Begutachtungszeitpunkt eine volle Arbeitsfähigkeit in psychiatrischer Hinsicht. Unter diesen Umständen ist erst ab 1. November 2017 von einer insgesamt vollen zumutbaren Arbeitsfähigkeit auszugehen. Denn mit der Beurteilung des Internisten Schmidt kann die fachärztliche psychiatrische Beurteilung des PD Dr. med. D._ nicht widerlegt werden. Insofern ist die vorinstanzliche Feststellung, wonach bereits ab 1. April 2016 eine vollumfängliche Arbeitsfähigkeit vorliege, nicht haltbar im Sinne von <ref-law>, zumal die Vorinstanz im Übrigen uneingeschränkt auf das bidisziplinäre Gutachten vom 2./3. November 2017 abstellt und dieses Abweichen von den gutachterlichen Schlussfolgerungen nicht begründet.
5.4. Da der Versicherte keine Einwände gegen den Einkommensvergleich vorbringt und auch kein Anlass besteht, diesen von Amtes wegen zu überprüfen, ist die Aufhebung der ganzen Invalidenrente gestützt auf den vorinstanzlich bestätigten Invaliditätsgrad von 6 % zu Recht erfolgt. Zu prüfen bleibt der Zeitpunkt der Aufhebung.
5.5. Damit die Rente rückwirkend aufgehoben werden kann, muss eine Meldepflichtverletzung gegeben sein. Dies ist nachfolgend zu prüfen.
Im Rahmen der in <ref-law> statuierten Meldepflicht haben der Berechtigte oder sein gesetzlicher Vertreter sowie Behörden oder Dritte, denen die Leistung zukommt, jede für den Leistungsanspruch wesentliche Änderung - erwähnt wird insbesondere eine solche des Gesundheitszustandes sowie der Arbeits- oder Erwerbsfähigkeit - unverzüglich der IV-Stelle anzuzeigen. Für den Tatbestand der Meldepflichtverletzung ist ein schuldhaftes Fehlverhalten erforderlich, wobei nach ständiger Rechtsprechung bereits eine leichte Fahrlässigkeit genügt (<ref-ruling> E. 2a S. 218; Urteil 9C_226/2011 vom 15. Juli 2011 E. 4.2.1, nicht publ. in: <ref-ruling>, aber in: SVR 2012 IV Nr. 12 S. 61; SVR 2019 IV Nr. 76 S. 243, 9C_315/2018 E. 4.2.2; Urteil 9C_294/2018 vom 28. November 2018E. 5.2).
Anders als der Versicherte darstellen lässt, ist auf Grund der Akten klar ausgewiesen und musste auch ihm bewusst sein, dass sich sein Gesundheitszustand zumindest in somatischer Hinsicht ab April 2016 wesentlich verbessert hat (vgl. E. 5.2 und 5.3). Ebenso steht fest, dass er diese erhebliche Änderung der Verhältnisse der IV-Stelle wegen der ihm obliegenden Meldepflicht (<ref-law>) hätte anzeigen müssen. Dass er unter den gegebenen Umständen untätig geblieben ist, genügt bereits, um von einer schuldhaften Meldepflichtverletzung auszugehen. Bei dieser Sachlage ist die IV-Stelle gestützt auf <ref-law> zu einer rückwirkenden Leistungsaufhebung ab Eintritt der für den Anspruch erheblichen Änderung, mithin per 1. November 2017, berechtigt (vgl. etwa die Urteile 9C_294/2018 vom 28. November 2018 E. 5.5 und 8C_529/2019 vom 22. November 2019 E. 5.2 mit Hinweisen).
5.6. Der Beschwerdeführer verlangt auf der Nachzahlung der ihm geschuldeten Invalidenrente einen Verzugszins von 5 %.
Nach <ref-ruling> gilt die Verzugszinsregelung von <ref-law> auch bei Rentenrevisionen nach <ref-law>, wobei die Frist von 24 Monaten im Sinne von <ref-law> spätestens bei Einleitung des Revisionsverfahrens beginnt. Die IV-Stelle hat frühestens am 1. April 2017 Kenntnis der Observationsunterlagen erlangt und war somit ab diesem Zeitpunkt gehalten, das Revisionsverfahren von Amtes wegen einzuleiten. Demnach kann ein Anspruch auf Verzugszinsen frühestens am 1. April 2019 entstanden sein. Die von der IV-Stelle für die Monate Juni bis Oktober 2017 geschuldeten Renten sind bislang nicht ausgerichtet worden. Insofern hat der Versicherte grundsätzlich Anspruch auf einen Verzugszins für die Zeit ab 1. April 2019 bis zur Nachzahlung der ausstehenden Rentenbetreffnisse (<ref-ruling> E. 3.5 S. 562). Der Satz für den Verzugszins beträgt 5 % (<ref-law>; SR 830.11). Die IV-Stelle wird den genauen Geldbetrag noch zu ermitteln haben, wobei sie <ref-law> zu berücksichtigen hat (vgl. dazu das Gesuch der Stadt Opfikon um Drittauszahlung vom 20. November 2017).
5.7. Zusammenfassend ist festzuhalten, dass die ganze Invalidenrente des Versicherten per 31. Oktober 2017 aufzuheben ist. Somit hat er Anspruch auf Nachzahlung der ganzen Invalidenrente für die Monate Juni bis Oktober 2017. Zudem hat er grundsätzlich Anspruch auf einen Verzugszins auf die noch zu entrichtenden Renten ab 1. April 2019, wobei die IV-Stelle im Rahmen der Berechnung des Zinsbetrags auch die Voraussetzung von <ref-law> zu prüfen haben wird.
6.
Das Verfahren ist kostenpflichtig. Die IV-Stelle und der Versicherte unterliegen zu etwa gleichen Teilen, weshalb sie die Gerichtskosten hälftig zu tragen haben (<ref-law>). Der Versicherte hat Anspruch auf eine reduzierte Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 25. September 2019 und die Verfügung der IV-Stelle des Kantons Zürich vom 24. April 2018 werden aufgehoben. Die Beschwerdegegnerin hat dem Beschwerdeführer, dessen Invalidenrente per 31. Oktober 2017 aufzuheben ist, die Rentenbetreffnisse für die Monate Juni bis Oktober 2017 nachzuzahlen und - sofern kein Fall von <ref-law> vorliegt - diese ab 1. April 2019 zu 5 % zu verzinsen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden zu Fr. 400.- dem Beschwerdeführer und zu Fr. 400.- der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1400.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Februar 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold