Sachverhalt:
A. D._, geboren 1959, bezog ab 1. Februar 1995 eine halbe Invalidenrente. Am 22. Mai 2001 erhöhte die IV-Stelle des Kantons Zürich den Anspruch infolge Verschlechterung des Gesundheitszustandes ab 1. Oktober 2000 auf eine ganze Invalidenrente; dies bestätigte sie am 20. Januar 2004. Im Rahmen einer erneuten revisionsweisen Überprüfung des Rentenanspruchs holte sie einen Bericht des Dr. med. M._, Facharzt für Allgemeine Medizin, vom 5. Dezember 2007 sowie ein polydisziplinäres Gutachten des Instituts X._ vom 11. August 2008 ein. Mit Vorbescheid vom 22. August 2008, bestätigt mit Verfügung vom 4. Juni 2009, hob sie die Invalidenrente auf.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 30. Juli 2011 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid sowie die Verfügung vom 4. Juni 2009 aufzuheben und ihm weiterhin eine ganze Invalidenrente auszurichten. Eventualiter sei zur weiteren Abklärung ein interdisziplinäres Gutachten einzuholen und zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
1.3 Die auf Grund medizinischer Untersuchungen gerichtlich festgestellte Arbeitsfähigkeit betrifft eine Tatfrage (<ref-ruling> E. 3.2 S. 397). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232). Die konkrete Beweiswürdigung ist Tatfrage (in <ref-ruling> nicht publ. E. 4.1, vgl. jedoch SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_546/2011 vom 14. November 2011 E. 1).
2. Die Vorinstanz hat die Bestimmungen und Grundsätze über die Voraussetzungen einer Revision der Invalidenrente (<ref-law>; <ref-ruling> E. 3 S. 132), die Aufgabe des Arztes bei der Ermittlung des Invaliditätsgrades (<ref-ruling> E. 4 S. 99 mit Hinweisen) sowie den Beweiswert ärztlicher Berichte (<ref-ruling> E. 5.1 S. 232 mit Hinweis) zutreffend dargelegt. Dasselbe gilt für die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>; <ref-ruling> E. 4.1 und 5 S. 325 und 327). Darauf wird verwiesen.
3. Die Vorinstanz hat gestützt auf das polydisziplinäre Gutachten des Instituts X._ vom 11. August 2008 und den Bericht des pract. med. S._, Facharzt für Psychiatrie und Psychotherapie, RAD, vom 27. Mai 2009 in verbindlicher Weise festgestellt, dass dem Versicherten körperlich leichte Tätigkeiten, welche mehrheitlich im Sitzen mit intermittierendem Stehen und Gehen und mit ausnahmsweisem Heben und Tragen von Lasten von höchstens 10 kg ausgeübt werden können, voll zumutbar seien, und einen nicht rentenbegründenden Invaliditätsgrad von 27 % ermittelt.
Daran ändern auch die vorgebrachten Einwände welche sich vornehmlich in appellatorischer Kritik erschöpfen, nichts:
Der Vorinstanz ist zuzustimmen, dass das Gutachten des Instituts X._ die Anforderungen der Rechtsprechung (<ref-ruling> E. 5.1 S. 232) grundsätzlich erfüllt. Dagegen lässt der Versicherte insbesondere rügen, diesem komme kein Beweiswert zu, da die ihm zugrunde liegende Explorationszeit keine zuverlässige Beurteilung seiner Situation zulassen würde. Dabei ist allerdings in Betracht zu ziehen, dass einerseits keine direkten Aussagen des Versicherten vorliegen, sondern sich diese Rüge allein auf die Einwände des Dr. med. M._ vom 18. November 2008 und 13. Mai 2009 stützen. Dass der langjährige Hausarzt sich stark mit den Interessen des Versicherten identifiziert und sich entsprechend für ihn einsetzt, zeigt sich unter anderem darin, dass er sich nicht allein auf medizinische Aussagen beschränkt, sondern unzulässigerweise auch gleich die entsprechende Rechtsfolge (ganze Invalidenrente) statuiert (vgl. dazu AHI 2000 S. 149 E. 2c). Unter diesen Umständen ist die Rechtsprechung anwendbar, wonach ein Arzt infolge des besonderen Vertrauensverhältnisses im Zweifelsfall eher zu Gunsten seines Patienten aussagt (<ref-ruling> E. 3b/cc S. 353). Andererseits lassen die - vom Versicherten nicht bestrittenen - durchgeführten Untersuchungen (Blutentnahme, Röntgen, neurologische Untersuchungen, Erhebung des Allgemeinstatus, Befragung durch die beiden Experten) die Aussage, wonach diese insgesamt nur eine Stunde gedauert haben sollen, als nicht überzeugend erscheinen (vgl. die Stellungnahme des Instituts X._ vom 20 Januar 2009); auch die Bemerkung, der Versicherte sei "immer wieder nach familiären Konfliktsituationen gefragt worden" (vgl. Schreiben des Dr. med. M._ vom 18. November 2008), spricht dafür, dass die Exploration insgesamt länger als eine Stunde gedauert haben muss, zumal entsprechende Fragen im Rahmen einer psychiatrischen Begutachtung naheliegend erscheinen. Somit ergibt sich aus dem Urteil I 1094/06 vom 14. November 2007 nichts zu Gunsten des Versicherten.
Ebenfalls unbehelflich ist der auf <ref-ruling> gestützte Einwand. Dort hatte die Vorinstanz - anders als im hier zu beurteilenden Fall - in für das Bundesgericht verbindlicher Weise keine erhebliche Veränderung des Gesundheitszustandes festgestellt (<ref-ruling> E. 4.3 S. 204). Soweit der Versicherte sich auf die Diagnose einer posttraumatischen Belastungsstörung (PTBS) durch Dr. med. M._ beruft, ist festzuhalten, dass dieser als Facharzt der Allgemeinen Medizin nicht über die notwendigen fachlichen Voraussetzungen für eine entsprechende Diagnosestellung verfügt (vgl. zur Diagnose einer somatoformen Schmerzstörung <ref-ruling> E. 2.2.2 S. 353). Seine Kritik an der Schlussfolgerung des psychiatrischen Experten des Instituts X._ ist überdies nicht derart substantiiert und überzeugend, als dass sie geeignet wäre, die fachärztlichen Feststellungen wenigstens in Zweifel zu ziehen. Unter diesen Umständen ist nicht zu beanstanden, dass die Vorinstanz im Rahmen der grundsätzlich zulässigen antizipierten Beweiswürdigung (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 4b S. 94; <ref-ruling> E. 1d S. 162) auf die Anordnung weiterer Abklärungen verzichtete.
Weiter macht der Versicherte gestützt auf das Urteil 9C_228/2010 vom 26. April 2011 (publiziert in SVR 2011 IV Nr. 73 S. 220) geltend, die Rentenaufhebung sei unzulässig, weil die IV-Stelle es unterlassen habe, zuvor Eingliederungsmassnahmen zu prüfen. Zwar ist es zutreffend, dass der bei Aufhebung der Leistungserbringung 50-jährige Versicherte während mehr als 15 Jahren eine Invalidenrente bezogen hatte, so dass die Anforderungen gemäss E. 3 dieses Urteils grundsätzlich zum Tragen kommen (über 55-jährig oder Rentenbezug während mindestens 15 Jahren). Die IV-Stelle hat jedoch als Ergebnis der beruflichen Abklärung im Nachgang zum Gutachten des Instituts X._ den Anspruch auf Arbeitsvermittlung festgehalten, was dem Versicherten gestützt auf die seinem Anwalt gewährte vollständige Akteneinsicht als bekannt gelten darf. Insofern hat die IV-Stelle, obwohl sie im Zeitpunkt der Verfügung vom 4. Juni 2009 von besagtem Bundesgerichtsurteil noch gar keine Kenntnis haben konnte, den Versicherten nicht einfach der Selbsteingliederung überlassen, sondern war sich der Notwendigkeit einer allfälligen Hilfestellung bei der Arbeitssuche bewusst. Eine Eingliederungsmassnahme wie etwa eine berufliche Abklärung hat sie jedoch zu Recht nicht in Betracht gezogen, da angesichts der als zumutbar erachteten Tätigkeiten die Notwendigkeit vorgängiger Aneignung befähigender beruflicher Massnahmen nicht gegeben ist.
Schliesslich bringt der Versicherte keine Einwände gegen den Einkommensvergleich vor und es sind auch keine Anhaltspunkte ersichtlich, wonach dieser offensichtlich unrichtig wäre, so dass es diesbezüglich mit den vorinstanzlichen Feststellungen sein Bewenden hat.
4. Da die Beschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach <ref-law>, d.h. mit summarischer Begründung und ohne Schriftenwechsel, erledigt.
5. 5.1 Da die Beschwerde aussichtslos ist, ist das Gesuch um unentgeltliche Rechtspflege abzuweisen (<ref-law>).
5.2 Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Dezember 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Riedi Hunold