Sachverhalt: A. A._, geboren 1966, arbeitete ab 2008 als selbstständiger Taxifahrer. Am 8. Februar 2012 meldete er sich bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Nach erfolgten Abklärungen teilte ihm die IV-Stelle am 11. Juni 2012 mit, zur Zeit seien keine beruflichen Eingliederungsmassnahmen möglich. Nach weiteren Abklärungen stellte sie A._ am 27. Oktober 2014 die Abweisung seines Leistungsgesuchs in Aussicht. Am 19. Mai 2015 verneinte die IV-Stelle einen Anspruch auf Leistungen der Invalidenversicherung. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde am 12. September 2016 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und ihm Leistungen nach IVG, namentlich eine Invalidenrente, zuzusprechen; eventualiter sei die Vorinstanz zu verpflichten, ein psychiatrisches Gerichtsgutachten einzuholen und hernach erneut über seinen Leistungsanspruch zu entscheiden. Zudem ersucht er um unentgeltliche Rechtspflege.