Sachverhalt: A. D._, geboren 1959, bezog ab 1. Februar 1995 eine halbe Invalidenrente. Am 22. Mai 2001 erhöhte die IV-Stelle des Kantons Zürich den Anspruch infolge Verschlechterung des Gesundheitszustandes ab 1. Oktober 2000 auf eine ganze Invalidenrente; dies bestätigte sie am 20. Januar 2004. Im Rahmen einer erneuten revisionsweisen Überprüfung des Rentenanspruchs holte sie einen Bericht des Dr. med. M._, Facharzt für Allgemeine Medizin, vom 5. Dezember 2007 sowie ein polydisziplinäres Gutachten des Instituts X._ vom 11. August 2008 ein. Mit Vorbescheid vom 22. August 2008, bestätigt mit Verfügung vom 4. Juni 2009, hob sie die Invalidenrente auf. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 30. Juli 2011 ab. C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid sowie die Verfügung vom 4. Juni 2009 aufzuheben und ihm weiterhin eine ganze Invalidenrente auszurichten. Eventualiter sei zur weiteren Abklärung ein interdisziplinäres Gutachten einzuholen und zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege.