Sachverhalt: A. K._ (geboren 1963) ersuchte am 24. Januar 2002 bei der Invalidenversicherung um Berufsberatung. Die IV-Stelle des Kantons Zürich veranlasste eine berufliche Abklärung sowie ein Arbeitstraining und gewährte Arbeitsvermittlung. In der Folge kam die IV-Stelle für die Kosten der Ausbildung zum Taxichauffeur auf, welche K._ jedoch nicht beendete. Nach erneuter Anmeldung bei der Invalidenversicherung wies die IV-Stelle das Rentengesuch mangels Ablauf der Wartefrist ab (Verfügung vom 3. April 2007). Am 23. August 2007 machte K._ wiederum eine rentenbegründende Erwerbsunfähigkeit geltend. Mit Verfügung vom 6. Februar 2008 sprach ihm die IV-Stelle eine halbe Invalidenrente ab 1. Juli 2007 zu. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Juli 2009 ab. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, ergänzende medizinische Abklärungen durchzuführen. Eventualiter sei ihm eine Dreiviertelsrente zuzusprechen. Zudem ersucht er um unentgeltliche Rechtspflege.