Sachverhalt:
A. Mit Verfügung vom 19. Dezember 2003 sprach die IV-Stelle des Kantons Zürich dem 1958 geborenen G._ bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung zu. Am 9. April 2007 wurde das Fahrzeug des Versicherten vom Grenzwachtkorps II kontrolliert, wobei 6,7 Kilogramm Heroin gefunden wurden. Nachdem während der Strafuntersuchung weitere strafbare Handlungen des Versicherten festgestellt wurden, verurteilte das Kantonsgericht Schaffhausen ihn mit Entscheid vom 10. April 2008 zu 6 1/2 Jahren Freiheitsstrafe und zu einer Busse von Fr. 200.- wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz, Widerhandlung gegen das Waffengesetz und Übertretung des Waffengesetzes. Da sich der Versicherte seit 7. April 2007 in Untersuchungshaft befand, sistierte die IV-Stelle ihre Leistungen mit Verfügung vom 23. April 2007 ab 1. Mai 2007 bis auf Widerruf. Nach Durchführung des Vorbescheidverfahrens hob die IV-Stelle die IV-Rente mit Verfügung vom 6. Juli 2010 wiedererwägungsweise rückwirkend auf. Betreffend Rückerstattung stellte sie eine weitere Verfügung in Aussicht.
B. Die von G._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Oktober 2011 ab.
C. Mit Beschwerde beantragt G._, es sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides die Invalidenrente nicht aufzuheben. Gleichzeitig stellt der Versicherte ein Gesuch um unentgeltliche Rechtspflege.
Während die IV-Stelle des Kantons Zürich auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
D. Mit Verfügung vom 2. April 2012 gewährte das Bundesgericht den Parteien die Möglichkeit, zu einer von der Verfügung und vom kantonalen Gerichtsentscheid abweichenden rechtlichen Begründung Stellung zu nehmen. Die Parteien verzichteten darauf, eine Vernehmlassung einzureichen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 8C_727/2009 vom 19. November 2009 E. 1.2).
2. 2.1 Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
2.2 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird in Anwendung von <ref-law> die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (sog. Rentenrevision). Formell rechtskräftige Verfügungen und Einspracheentscheide müssen gemäss <ref-law> in (prozessuale) Revision gezogen werden, wenn die versicherte Person oder der Versicherungsträger nach deren Erlass erhebliche neue Tatsachen entdeckt oder Beweismittel auffindet, deren Beibringung zuvor nicht möglich war. Zudem kann der Versicherungsträger nach <ref-law> auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist.
2.3 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 3.2).
2.4 Streitig und zu prüfen ist, ob die IV-Stelle zu Recht die ganze Rente des Beschwerdeführers rückwirkend aufgehoben hat.
3. 3.1 Vorinstanz und Verwaltung gingen davon aus, dass die ursprüngliche, rentenzusprechende Verfügung vom 19. Dezember 2003 zweifellos unrichtig war, weshalb sie in Anwendung von <ref-law> wiedererwägungsweise aufzuheben sei. Der Beschwerdeführer bringt dagegen vor, bei einer Betrachtung ex tunc sei die Verfügung nicht zweifellos unrichtig gewesen, es liege kein Wiedererwägungsgrund vor. Wie es sich damit verhält, kann offen bleiben: Das Sicherstellen verschiedener Beweismittel im Strafverfahren, welche eine erhebliche Erwerbstätigkeit des Versicherten während des Zeitraums des Rentenbezuges belegen, stellt ein nachträgliches Auffinden erheblicher Beweismittel dar, deren Beibringung der IV-Stelle zuvor nicht möglich gewesen ist. Somit ist jedenfalls der Rückkommensgrund von <ref-law> (sog. prozessuale Revision) gegeben.
3.2 Das kantonale Gericht hat in Würdigung der Akten, insbesondere auch der Dokumente aus dem Strafverfahren, für das Bundesgericht verbindlich festgestellt, dass der Versicherte während der Zeit des Rentenbezuges erwerbstätig war und dabei erhebliche Einkünfte erzielte. Was der Beschwerdeführer gegen diese Feststellung vorbringt, vermag sie nicht als bundesrechtswidrig erscheinen zu lassen. Insbesondere vermögen die echtzeitlichen Berichte verschiedener medizinischer Fachpersonen, denen die kriminelle Energie des Versicherten nicht bekannt war und die ihm eine erhebliche Arbeitsunfähigkeit aus psychischen Gründen attestierten, die Annahmen des kantonalen Gerichts nicht zu widerlegen. Im Bericht des Psychiatrischen Zentrums A._ vom 11. Mai 2009 wird zwar eine Arbeitsunfähigkeit auf dem freien Arbeitsmarkt postuliert, es findet aber keine Auseinandersetzung mit dem Umstand statt, dass der Versicherte vor seiner Inhaftierung trotz seines Leidens erwerbstätig sein konnte. Somit vermag auch dieser Bericht die vorinstanzliche Beweiswürdigung nicht als offensichtlich unhaltbar erscheinen zu lassen. Da nach den Feststellungen des kantonalen Gerichts eine tatsächlich ausgeübte rentenausschliessende Erwerbstätigkeit erstellt ist, ist letztlich im vorliegenden Verfahren nicht von Bedeutung, ob der Versicherte aus psychiatrischer Sicht als gesund anzusehen ist, oder nicht.
3.3 Durfte die Vorinstanz von einer tatsächlich ausgeübten rentenausschliessenden Erwerbstätigkeit ausgehen, die vom Versicherten gegenüber der IV-Stelle verheimlicht wurde, so ist die rückwirkende Rentenaufhebung nicht zu beanstanden. Die Beschwerde des Versicherten ist demnach abzuweisen.
4. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da die entsprechenden gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Christian Meier wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juli 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Holzer