Sachverhalt: A. Mit Verfügung vom 19. Dezember 2003 sprach die IV-Stelle des Kantons Zürich dem 1958 geborenen G._ bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung zu. Am 9. April 2007 wurde das Fahrzeug des Versicherten vom Grenzwachtkorps II kontrolliert, wobei 6,7 Kilogramm Heroin gefunden wurden. Nachdem während der Strafuntersuchung weitere strafbare Handlungen des Versicherten festgestellt wurden, verurteilte das Kantonsgericht Schaffhausen ihn mit Entscheid vom 10. April 2008 zu 6 1/2 Jahren Freiheitsstrafe und zu einer Busse von Fr. 200.- wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz, Widerhandlung gegen das Waffengesetz und Übertretung des Waffengesetzes. Da sich der Versicherte seit 7. April 2007 in Untersuchungshaft befand, sistierte die IV-Stelle ihre Leistungen mit Verfügung vom 23. April 2007 ab 1. Mai 2007 bis auf Widerruf. Nach Durchführung des Vorbescheidverfahrens hob die IV-Stelle die IV-Rente mit Verfügung vom 6. Juli 2010 wiedererwägungsweise rückwirkend auf. Betreffend Rückerstattung stellte sie eine weitere Verfügung in Aussicht. B. Die von G._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Oktober 2011 ab. C. Mit Beschwerde beantragt G._, es sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides die Invalidenrente nicht aufzuheben. Gleichzeitig stellt der Versicherte ein Gesuch um unentgeltliche Rechtspflege. Während die IV-Stelle des Kantons Zürich auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. D. Mit Verfügung vom 2. April 2012 gewährte das Bundesgericht den Parteien die Möglichkeit, zu einer von der Verfügung und vom kantonalen Gerichtsentscheid abweichenden rechtlichen Begründung Stellung zu nehmen. Die Parteien verzichteten darauf, eine Vernehmlassung einzureichen.