Sachverhalt: A. O._, geboren 1965, litt unter Rücken- und psychischen Beschwerden und bezog bei einem Invaliditätsgrad von 40% seit dem 1. Mai 2001 zunächst unter Berücksichtigung eines wirtschaftlichen Härtefalls eine halbe, ab dem 1. Januar 2004 eine Viertelsrente (Verfügung vom 10. Januar 2003 und Einspracheentscheid vom 23. Juni 2003; Verfügung vom 12. Mai 2005). Unter Annahme, dass sich der psychische Gesundheitszustand verschlechtert habe, sprach ihm die IV-Stelle des Kantons Zürich mit Verfügung vom 26. Juli 2007 mit Wirkung ab 1. Januar 2007 eine ganze Invalidenrente zu. Im Zuge eines weiteren Revisionsverfahrens liess die IV-Stelle den Versicherten durch das Institut X._ abklären (Gutachten vom 3. Dezember 2008). Gestützt darauf stellte sie die Invalidenrente mit Verfügung vom 22. Juni 2009 ein. O._ war zwischenzeitlich mit Entscheid des Obergerichts des Kantons Zürich vom 16. Januar 2009 wegen mehrfachen Verbrechens gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von vier Jahren verurteilt worden und befand sich seit dem 25. Mai 2009 im Strafvollzug. B. Die gegen die Verfügung vom 22. Juni 2009 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 6. Mai 2011 ab. C. O._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die Zusprechung einer ganzen Invalidenrente beantragen; eventualiter sei die Sache zur Einholung eines Obergutachtens an die Vorinstanz zurückzuweisen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.