Sachverhalt:
A.
Die IV-Stelle des Kantons Zürich sprach dem 1958 geborenen A._ mit Verfügung vom 22. August 2001 wegen eines Rückenleidens ab 1. Juli 2000 eine Viertelsrente der Invalidenversicherung zu; diese Rente wurde später mit Verfügung vom 3. Dezember 2001 ab 1. März 2001 auf eine ganze Rente erhöht. Nachdem der Versicherte aufgrund einer Verdachtsmeldung observiert worden war, verfügte die IV-Stelle am 5. Juni 2015 (bestätigt durch einen kantonalen Gerichtsentscheid vom 28. September 2015) eine vorsorgliche Rentensistierung. Nach weiteren Abklärungen, wobei insbesondere bei der estimed AG ein polydisziplinäres medizinisches Gutachten eingeholt wurde (Expertise vom 18. August und Ergänzung vom 22. Dezember 2016) und nach Durchführung des Vorbescheidverfahrens hob die IV-Stelle mit Verfügung vom 13. Juni 2017 die Rente rückwirkend ab Dezember 2011 auf und forderte die zu Unrecht erbrachten Leistungen zurück.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. Februar 2019 ab.
C.
Mit Beschwerde beantragt A._, ihm sei unter Anpassung des kantonalen Gerichtsentscheides bis 1. September 2017 eine ganze Rente der Invalidenversicherung zuzusprechen. Gleichzeitig stellt A._ ein Gesuch um unentgeltliche Rechtspflege.
Während die IV-Stelle des Kantons Zürich auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Es steht fest und ist letztinstanzlich unbestritten, dass sich der Gesundheitszustand des Versicherten seit der ursprünglichen Rentenzusprache wesentlich verbessert hat und er nunmehr in der Lage ist, ein rentenausschliessendes Einkommen zu erzielen. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzt hat, als sie die Aufhebung der Rente rückwirkend ab Dezember 2011 und die erst dem Grundsatz nach verfügte Rückerstattung bestätigte oder ob die Anpassung der Rente erst auf den ersten Tag des zweiten der Zustellung der Verfügung folgenden Monats (mithin auf den 1. September 2017) hin zu erfolgen hat.
3.
3.1. Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente in Anwendung von <ref-law> von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben.
3.2. Die Herabsetzung oder Aufhebung der Renten, der Hilflosenentschädigungen und der Assistenzbeiträge erfolgt frühestens vom ersten Tag des zweiten der Zustellung der Verfügung folgenden Monats an (<ref-law>) oder rückwirkend ab Eintritt der für den Anspruch erheblichen Änderung, wenn der Bezüger die Leistung zu Unrecht erwirkt hat oder der ihm nach <ref-law> zumutbaren Meldepflicht nicht nachgekommen ist (<ref-law>). Seit der Novellierung dieses Absatzes auf den 1. Januar 2015 gilt dies unabhängig davon, ob die Verletzung der Meldepflicht oder die unrechtmässige Erwirkung ein Grund für die Weiterausrichtung der Leistung war (vgl. Urteil 8C_859/2017 vom 8. Mai 2018 E. 4.3).
3.3. Der Berechtigte oder sein gesetzlicher Vertreter sowie Behörden oder Dritte, denen die Leistung zukommt, haben gemäss <ref-law> jede für den Leistungsanspruch wesentliche Änderung, namentlich eine solche des Gesundheitszustandes, der Arbeits- oder Erwerbsfähigkeit, des Zustands der Hilflosigkeit, des invaliditätsbedingten Betreuungsaufwandes oder Hilfebedarfs, des für den Ansatz der Hilflosenentschädigung und des Assistenzbeitrages massgebenden Aufenthaltsortes sowie der persönlichen und gegebenenfalls der wirtschaftlichen Verhältnisse des Versicherten unverzüglich der IV-Stelle anzuzeigen.
4.
Das kantonale Gericht hat unter Bezugnahme auf die Ergebnisse einer Observation des Beschwerdeführers erwogen, der Versicherte habe seine Meldepflicht spätestens 2008 verletzt, indem er die IV-Stelle über seinen verbesserten Gesundheitszustand nach überstandener Rückenoperation und erfolgter Nachbehandlung nicht informierte.
4.1. Soweit der Beschwerdeführer geltend macht, die Ergebnisse der Observation dürften ihm nicht entgegengehalten werden, ist folgendes festzuhalten: Es trifft zwar zu, dass die Observation grundsätzlich rechtswidrig erfolgte (<ref-ruling> E. 4 S. 384). Indessen ist nach demselben Urteil das Beweismaterial, das im Rahmen einer rechtswidrig angeordneten Observation im öffentlich frei einsehbaren Raum gewonnen wurde, im Invalidenversicherungsverfahren gestützt auf eine Interessenabwägung zwischen privaten und öffentlichen Interessen verwertbar (<ref-ruling> E. 5.1.1 S. 385 f.). Dies gilt rechtsprechungsgemäss unabhängig von der Frage, ob die Observation objektiv geboten war oder nicht (vgl. Urteil 9C_561/2018 vom 8. Februar 2019 E. 5.2.2). Es ist auch - insbesondere unter Berücksichtigung des Umstandes, dass der Versicherte lediglich an sieben Tagen observiert wurde - nicht ersichtlich, dass im konkreten Fall der Eingriff in das Privatleben schwerer gewogen hätte als im Sachverhalt, welcher dem Leiturteil zu Grunde lag. Somit hat die Vorinstanz kein Bundesrecht verletzt, als sie die Ergebnisse der Observation in ihre Beurteilung miteinbezogen hat.
4.2. Ausweislich der Akten erfolgte die ursprüngliche Rentenzusprache aufgrund eines Rückenleidens; es ist letztinstanzlich unbestritten, dass sich dieses Leiden auch weiterhin erwerblich auswirkt, der Beschwerdeführer aber nunmehr in der Lage ist, in einer angepassten Tätigkeit ein rentenausschliessendes Einkommen zu erzielen. Rechtsprechungsgemäss ist bei einer solchen Ausgangslage die versicherte Person grundsätzlich nicht verpflichtet, das von ihr in jenem Zeitpunkt noch bestrittene Ergebnis der Begutachtung im Sinne einer Meldung an die Verwaltung vorwegzunehmen. Anders zu entscheiden ist nur dann, wenn Anhaltspunkte bestehen für eine Ausschöpfung der hinzugewonnenen Arbeitsfähigkeit oder für ausserhäusliche Aktivitäten, die mit dem geltend gemachten Leiden schlichtweg unvereinbar sind (vgl. Urteil 9C_561/2018 vom 8. Februar 2019 E. 5.4.3). Das kantonale Gericht hat für das Bundesgericht grundsätzlich verbindlich festgestellt, die im Rahmen der Observation dokumentierten Reinigungsarbeiten und Einkäufe ohne sichtbare Einschränkungen, die Teilnahme an den auf Facebook einsehbar gemachten Veranstaltungen und die längeren Autofahrten seien mit der geltend gemachten vollständigen Erwerbsunfähigkeit unvereinbar. Der Beschwerdeführer verweist diesbezüglich lediglich und zu Unrecht (vgl. E. 4.1 hievor) auf die Unverwertbarkeit der Observationsergebnisse, ohne jedoch darzulegen, dass diese Erwägungen der Vorinstanz sonstwie bundesrechtswidrig gewesen wären. Durfte das kantonale Gericht zudem die Observationsergebnisse in ihre Beurteilung miteinbeziehen, so erscheint auch der vorinstanzliche Schluss, die Verbesserung des Gesundheitszustandes sei nicht erst, wie vom Beschwerdeführer geltend gemacht, am 22. Dezember 2016 eingetreten, nicht als offensichtlich unrichtig. Aufgrund des Rückenleidens stellte das kantonale Gericht eine seit 2008 bestehende Arbeitsfähigkeit in angestammter Tätigkeit von 30 % und in angepasster Tätigkeit von 80 % fest. Zudem ist gemäss den verbindlichen vorinstanzlichen Feststellungen eine bleibende oder längere Zeit dauernde Arbeitsunfähigkeit aufgrund des Blasentumors nicht zeitnah ausgewiesen. Da der Beschwerdeführer nichts vorbringt, was diese Feststellungen als bundesrechtswidrig erscheinen lassen würde, ist nicht zu beanstanden, dass die Vorinstanz von einer Verletzung der Meldepflicht des Versicherten seit spätestens 2008 ausging.
4.3. Die Verletzung der Meldepflicht war mindestens bis zum Eingang der Observationsergebnisse bei der IV-Stelle und damit bis mindestens April 2015 kausal für die Weiterausrichtung der Rente. Seit dem 1. Januar 2015 bildet der Zeitpunkt der Kenntnis der IV-Stelle über die Verbesserung des Gesundheitszustandes des Versicherten im Falle einer Meldepflichtverletzung nicht länger die Grenze der Rückforderbarkeit (vgl. Urteil 8C_859/2017 vom 8. Mai 2018 E. 4.3). Somit braucht nicht näher geprüft zu werden, ob die IV-Stelle mit Eingang der Observationsergebnisse hinreichende Kenntnis von der Veränderung des Gesundheitszustandes hatte und die Kausalität des Meldepflichtverletzung damit allenfalls im April 2015 dahingefallen ist. Das kantonale Gericht hat damit kein Bundesrecht verletzt, als es die rückwirkende Aufhebung der Rente ab Dezember 2011 und die Rückforderung der zu Unrecht erbrachten Leistungen bestätigte; die Beschwerde des Versicherten ist abzuweisen.
5.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da die entsprechenden gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwältin Christine Fleisch wird als unentgeltliche Anwältin bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Der Rechtsvertreterin des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Juli 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Heine
Der Gerichtsschreiber: Nabold