Sachverhalt:
A. O._, geboren 1965, litt unter Rücken- und psychischen Beschwerden und bezog bei einem Invaliditätsgrad von 40% seit dem 1. Mai 2001 zunächst unter Berücksichtigung eines wirtschaftlichen Härtefalls eine halbe, ab dem 1. Januar 2004 eine Viertelsrente (Verfügung vom 10. Januar 2003 und Einspracheentscheid vom 23. Juni 2003; Verfügung vom 12. Mai 2005). Unter Annahme, dass sich der psychische Gesundheitszustand verschlechtert habe, sprach ihm die IV-Stelle des Kantons Zürich mit Verfügung vom 26. Juli 2007 mit Wirkung ab 1. Januar 2007 eine ganze Invalidenrente zu. Im Zuge eines weiteren Revisionsverfahrens liess die IV-Stelle den Versicherten durch das Institut X._ abklären (Gutachten vom 3. Dezember 2008). Gestützt darauf stellte sie die Invalidenrente mit Verfügung vom 22. Juni 2009 ein. O._ war zwischenzeitlich mit Entscheid des Obergerichts des Kantons Zürich vom 16. Januar 2009 wegen mehrfachen Verbrechens gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von vier Jahren verurteilt worden und befand sich seit dem 25. Mai 2009 im Strafvollzug.
B. Die gegen die Verfügung vom 22. Juni 2009 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 6. Mai 2011 ab.
C. O._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die Zusprechung einer ganzen Invalidenrente beantragen; eventualiter sei die Sache zur Einholung eines Obergutachtens an die Vorinstanz zurückzuweisen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; <ref-ruling> E. 3 S. 196 ff.). Neue Begehren sind unzulässig (Art. 99 Abs. 2 BGG).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zur Invalidität (Art. 8 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (Art. 16 ATSG), zum Anspruch auf eine Invalidenrente (Art. 28 IVG) sowie zur Rentenrevision (Art. 17 ATSG; <ref-ruling>; <ref-ruling>; <ref-ruling> E. 3.2.3 S. 75 f.), teilweise unter Hinweis auf die Verfügung der IV-Stelle, zutreffend dargelegt.
3. Nach einlässlicher Würdigung der medizinischen Akten ist das kantonale Gericht zur Auffassung gelangt, dass gestützt auf das Gutachten des Instituts X._ eine wesentliche Änderung des medizinischen Sachverhalts erstellt und der Beschwerdeführer zu 80% arbeitsfähig sei. Die Zusprechung einer ganzen Invalidenrente anlässlich der letzten Revision (Verfügung vom 26. Juli 2007) habe auf der Annahme gegründet, dass der Beschwerdeführer unter schizophrenen Zuständen leide und deswegen keiner Erwerbstätigkeit mehr nachgehen könne. Anlässlich der Begutachtung im Institut X._ hätten sich nun indessen keine Hinweise auf eine schizophrene Erkrankung mehr gefunden.
Was der Beschwerdeführer dagegen vorbringt, vermag an dieser Beurteilung nichts zu ändern.
4. Gutachten externer Spezialärzte, welche von Versicherungsträgern im Verfahren nach Art. 44 ATSG eingeholt wurden und den Anforderungen der Rechtsprechung entsprechen, darf das Gericht vollen Beweiswert zuerkennen, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 4.4 S. 470; <ref-ruling> E. 3b/bb S. 353).
Entscheidwesentlich ist, ob unter Berücksichtigung der einge-schränkten Kognition des Bundesgerichts und mit Blick auf die erhobenen Rügen eine diesbezügliche offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellung oder eine Rechtsverletzung auszumachen ist. Ansonsten ist das Bundesgericht daran gebunden und ist mit dem kantonalen Gericht davon auszugehen, dass das im Rahmen des Verwaltungsverfahrens eingeholte Gutachten der versicherungsexternen Spezialärzte zuverlässig und schlüssig und daher darauf abzustellen ist.
5. Der Beschwerdeführer bemängelt die Zuverlässigkeit des Gutachtens des Instituts X._ unter Berufung auf die Stellungnahmen des Dr. med. B._, Psychiatrische Dienste, vom 23. Oktober 2009 und vom 16. August 2010, welcher den Versicherten seit seiner Inhaftierung in der Justizvollzugsanstalt betreut und das Gutachten des Instituts X._ in verschiedenen Punkten kritisiert.
5.1 So hätte nach Auffassung des Dr. med. B._ ein Dolmetscher beigezogen werden müssen. Im Gutachten des Instituts X._ finden sich jedoch keine Hinweise auf Verständigungsprobleme; der rheumatologische Experte erwähnt ausdrücklich die problemlose Kommunikation in deutscher Sprache und auch der Beschwerdeführer räumt ein, dass der psychiatrische Gutachter seine Deutschkenntnisse als relativ gut bezeichnet, die Verständigung demnach als ausreichend erachtet hat. Dass es bei der Begutachtung aus sprachlichen Gründen zu eigentlichen Missverständnissen gekommen sei, wie der Beschwerdeführer geltend macht, lässt sich insbesondere mit Blick auf die Ausführungen des Dr. med. B._ zu seinen eigenen Befunden nicht erhärten (vgl. E. 5.3 bis 5.5).
5.2 Wie Dr. med. B._ weiter darlegt, sei aus dem Gutachten nicht ersichtlich, wie lange die Exploration gedauert habe. Rechtsprechungsgemäss lässt sich jedoch kein genereller Zeitrahmen für eine Untersuchung definieren (Urteile I 58/06 vom 13. Juni 2006 E. 2.2; I 1094/06 vom 14. November 2007 E. 3.1.1 und dazu Andreas Traub, Neues aus den sozialrechtlichen Abteilungen des Bundesgerichts: Zum Beweiswert psychiatrischer Gutachten unter dem Aspekt der Untersuchungsdauer, SZS 2008 S. 393 f.; 8C_241/2011 vom 21. November 2011 E. 3.1), und zudem wird beschwerdeweise nicht erörtert, inwiefern der Versicherte diesbezüglich zu kurz gekommen beziehungsweise die Befunderhebung zu seinen Ungunsten nur unzulänglich ausgefallen sei.
5.3 Im Übrigen bleiben die Stellungnahmen des Dr. med. B._ in der Formulierung zumeist vage. So wird in Frage gestellt, ob die Anamnese aufgrund der geringen Schulbildung zuverlässig sei. Gewisse Feststellungen der Gutachter des Instituts X._ erachtet Dr. med. B._ als nicht ganz verständlich oder unklar, indem etwa nicht aus dem Gutachten hervorgehe, ob der Versicherte kein Interesse gehabt habe, die gestellten Fragen präzise zu beantworten, oder ob er eventuell den tieferen Sinn und die Bedeutung der Fragen nicht verstanden habe. Die Aussage der Gutachter, dass Aufmerksamkeit und Konzentration nicht eingeschränkt gewesen seien, sei schwer verwertbar, da Dr. med. B._ selber den Versicherten, allerdings unter der Belastung des Gefängnisaufenthaltes, diesbezüglich deutlich beeinträchtigt erlebt habe. Einen gewissen Widerspruch sieht Dr. med. B._ darin, dass der Versicherte gemäss Gutachten des Instituts X._ dysphorisch gereizt gewesen, gleichzeitig aber die affektive Schwingungsfähigkeit nicht eingeschränkt gewesen sei. Für nicht nachvollziehbar hält Dr. med. B._, dass der Versicherte nicht in der Lage sei, sich in die Menschen in der Umgebung einzufühlen.
5.4 Es ergeben sich daraus keine hinreichenden Indizien, welche unter Berücksichtigung der eingeschränkten Überprüfungsbefugnis des Bundesgerichts in entscheidwesentlichen Punkten gegen die Zuverlässigkeit des Gutachtens des Instituts X._ sprechen würden.
Zwar bemängelt Dr. med. B._ auch die Diagnosestellung der Persönlichkeitsstörung, das heisst die von den Gutachtern angeführte Kombination von dissozialen und emotional instabilen Zügen, als nicht nachvollziehbar. Er räumt jedoch am 23. Oktober 2009 ein, selber keine überdauernde Diagnose stellen zu können, und ergänzt am 16. August 2010, dass er die Frage der kombinierten Persönlichkeitsstörung nach wie vor nicht abschliessend beantworten könne. In den umfangreichen medizinischen Akten wurde regelmässig die emotionale Instabilität und Impulsivität beschrieben, etwa ein wiederholter Verlust von Arbeitsstellen erwähnt, aber auch von verbalen und tätlichen Aggressionen gegenüber der Familie berichtet (Gutachten der Medizinischen Abklärungsstelle MEDAS vom 9. April 2002; Berichte der Psychiatrischen Dienste W._ vom 13. September 2006 und vom 4. Mai 2009). Der Gutachter des Instituts X._ führt zu seiner Diagnose der kombinierten Persönlichkeitsstörung aus, dass der Explorand weitgehend nach seinen inneren Impulsen lebe, wenig Rücksicht auf die Anforderungen der Gesellschaft und seine vierköpfige Familie nehme, beispielsweise die Notwendigkeit, sich um die Familie zu kümmern, zu arbeiten, um die Familie zu ernähren, nicht einsehe. Die Bedürfnisse seiner Familie seien ihm egal. Auch der Gutachter des Instituts X._ erwähnt, dass es nicht nur zu verbalen Auseinandersetzungen mit der Ehefrau gekommen sei, sondern der Versicherte sie auch verschiedentlich schon geschlagen habe. Mit Kollegen pflege er aber rege Kontakte. Diese Treffen dürften, wie aus dem Strafurteil zu schliessen ist, auch dem Drogen-, das heisst Heroinhandel (nicht aber -konsum) gedient haben. Inwiefern dieser Sachverhalt - dass der Versicherte kein Interesse für die Familie zeige, aber praktisch den ganzen Tag mit Kollegen verbringe - unzutreffend sei, "völlig quer in der Landschaft stehe" und einen nicht erklärbaren Argumentationsbruch im Gutachten darstelle, wie beschwerdeweise geltend gemacht wird, findet keine nähere Erläuterung. Wenn die Diagnosestellung des Instituts X._ (kombinierte Persönlichkeitsstörung mit dissozialen und emotional instabilen Anteilen, ICD-10 F61.0) dem Gefängnispsychiater auch nicht gänzlich nachvollziehbar erscheint, lässt sie sich damit angesichts der eingehenden gutachtlichen Erörterungen jedenfalls nicht als offensichtlich unrichtig begründen. Dass eine Tochter des Versicherten im Jahr 2003 im Alter von vier Monaten verstorben sei, wird schon in früheren Berichten erwähnt, ohne dass jedoch eine daraus bedingte Verschlechterung seiner psychischen Verfassung, insbesondere gegenüber den bei der MEDAS-Begutachtung im April 2002 erhobenen Befunden, festgestellt worden wäre.
5.5 Massgeblich hinsichtlich der geltend gemachten verkannten Schwere des Krankheitsbildes ist schliesslich, dass sich Dr. med. B._ zur Arbeitsfähigkeit in seiner ersten Stellungnahme vom 23. Oktober 2009 gar nicht äussert und am 16. August 2010 angibt, dass der Beschwerdeführer in der Strafanstalt ein Arbeitspensum von 75 bis 100% erfülle.
Demgegenüber geht das kantonale Gericht gestützt auf das Gutachten des Instituts X._ davon aus, dass dem Beschwerdeführer aus rheumatologischer Sicht nur noch leichte wechselbelastende Tätigkeiten zumutbar seien, dies jedoch ohne (zeitliche) Leistungseinbusse, während die Arbeitsfähigkeit aus psychiatrischer Sicht um 20% vermindert sei.
Es ergeben sich daraus keine unlösbaren Widersprüche, auch wenn aus Sicht des Dr. med. B._ auf dem freien Arbeitsmarkt lediglich eine knapp 50%ige Arbeitsleistung zu erwarten sei.
5.6 Insgesamt lässt sich damit eine offensichtliche Unrichtigkeit der entscheidwesentlichen vorinstanzlichen Sachverhaltsfeststellung, wonach der Beschwerdeführer in einer dem Rückenleiden angepassten Tätigkeit zu 80% arbeitsfähig sei, anhand der Stellungnahmen des Dr. med. B._ nicht begründen.
6. Der Beschwerdeführer macht geltend, dass er gemäss Bericht der Psychiatrischen Dienste W._ vom 4. Mai 2009 an einer mittelgradigen depressiven Episode leide. Rechtsprechungsgemäss ist eine solche depressive Störung in der Regel nicht als andauernde, von depressiven Verstimmungszuständen unterscheidbare Depression im Sinne eines verselbstständigten Gesundheitsschadens zu qualifizieren, welche es der betroffenen Person verunmöglichen würde, die Folgen einer - auch in den Psychiatrischen Diensten W._ diagnostizierten - somatoformen Schmerzstörung zu überwinden (in SVR 2011 IV Nr. 57 S. 171 nicht publizierte E. 6.2.2.2 des Urteils 8C_958/2010 vom 25. Februar 2011). Es liesse sich daraus nicht auf eine weiter gehende Arbeitsunfähigkeit schliessen (vgl. dazu auch E. 8).
7. Die mangelhafte Zuverlässigkeit des Gutachtens des Instituts X._ wird schliesslich mit dem Widerspruch zu den ärztlichen Stellungnahmen begründet, welche der Revisionsverfügung vom 26. Juli 2007 zugrunde gelegen und zur Zusprechung einer ganzen Invalidenrente geführt haben.
Dazu ist zu bemerken, dass sich diese Revision einerseits auf den Bericht der Psychiatrischen Dienste W._ vom 13. September 2006 stützte, wonach aktuell eine unklare Exazerbation mit halluzinativem Erleben aufgetreten sei, und anderseits auf die nicht weiter begründete Einschätzung der Ärztin des Regionalen Ärztlichen Dienstes der IV-Stelle (RAD), wonach der Versicherte deswegen zu 100% arbeitsunfähig sei. Sie führt einzig aus, dass der Beschwerdeführer aufgrund mangelnder Krankheitseinsicht, bedingt durch das Krankheitsbild eines schizophrenen Zustandes, nicht in der Lage gewesen sei, seine Arbeitsfähigkeit mit einer geeigneten psychiatrischen Therapie zu steigern, wie noch gestützt auf das MEDAS-Gutachten anzunehmen war.
Der Gutachter des Instituts X._ erörtert einlässlich und nachvollziehbar, dass und weshalb keine schizophrene Störung vorliegt. Seine Ausführungen vermögen durch das frühere Attest einer vollständigen Arbeitsunfähigkeit nicht erschüttert zu werden.
Indessen müsste die damalige Zusprechung einer ganzen Invalidenrente als überhaupt nicht vertretbar bezeichnet werden können, um von einer zweifellosen Unrichtigkeit jener Revisionsverfügung auszugehen, was sich indessen angesichts der erwähnten ärztlichen Stellungnahmen nicht rechtfertigt (<ref-ruling> E. 2 S. 369 mit Hinweisen; in <ref-ruling> nicht publizierte E. 5.1 des Urteils 9C_342/2008 vom 20. November 2008; vgl. auch <ref-ruling> E. 2c S. 373 und 387 E. 1b S. 390; Urteile I 907/06 vom 7. Mai 2007 E. 3.2.1; 9C_215/2007 vom 2. Juli 2007 E. 3.2).
8. Die MEDAS-Gutachter gingen im April 2002 von einer 100%igen Arbeitsfähigkeit (in einer dem Rückenleiden angepassten Tätigkeit) nach Durchführung geeigneter medizinischer (psychiatrischer) Massnahmen aus. Die hier zu beurteilende Revisionsverfügung widerspricht daher auch nicht der ursprünglichen Rentenzusprechung.
9. Der von Verwaltung und Vorinstanz vorgenommene Einkommensvergleich wird nicht beanstandet und gibt keinen Anlass zu Weiterungen.
10. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG). Die unentgeltliche Rechtspflege (im Sinne der Befreiung von den Gerichtskosten; Art. 64 Abs. 1 BGG) und Verbeiständung (Art. 64 Abs. 2 BGG) kann gewährt werden, weil die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen ist und die Vertretung durch einen Rechtsanwalt oder eine Rechtsanwältin geboten war. Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Jürg Bügler wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. März 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Durizzo