Sachverhalt:
A. T._ (geboren 1964) arbeitet seit 1992 bei der B._ AG. Am 6. Februar 2003 und am 21. Juli 2003 verunfallte er. Dabei zog er sich Verletzungen an der rechten Schulter und an der linken Hand zu. Am 9. Oktober 2006 ersuchte er um Leistungen der Invalidenversicherung. Mit Verfügung vom 27. Juli 2007 sprach ihm der zuständige Unfallversicherer eine Invalidenrente bei einem Invaliditätsgrad von 21 % sowie eine Integritätsentschädigung von 20 % zu. Die IV-Stelle des Kantons Zürich gewährte ihm am 2. April 2008 ab 1. Januar 2006 eine bis 31. März 2007 befristete ganze Invalidenrente.
B. T._ liess dagegen unter Beilage eines Berichts des Dr. med. M._, Facharzt für Psychiatrie und Psychotherapie, vom 17. April 2008 Beschwerde erheben mit dem Begehren, es sei ihm ab 1. Januar 2006 eine ganze und ab 1. April 2007 eine halbe Invalidenrente auszurichten. Eventualiter sei die IV-Stelle zu verpflichten, ihn psychiatrisch begutachten zu lassen. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 10. März 2009 ab.
C. T._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die vorinstanzlichen Begehren erneuern.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung im Sinne von Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>; vgl. zur Invaliditätsbemessung auch <ref-ruling>).
Die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> ist eine Rechtsfrage (<ref-ruling> E. 3.2 S. 397 und E. 4 S. 399). Die konkrete Beweiswürdigung wie auch die antizipierte Beweiswürdigung betreffen Tatfragen, die das Bundesgericht lediglich auf offensichtliche Unrichtigkeit und Rechtsfehlerhaftigkeit hin zu überprüfen befugt ist (<ref-law>). Unter diesem Blickwinkel hält ein Verzicht der Vorinstanz auf weitere Beweisvorkehren auf Grund antizipierter Beweiswürdigung etwa dann nicht stand, wenn die Sachverhaltsfeststellung unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatsache auf unvollständiger Beweisgrundlage - beispielsweise ohne Beizug des notwendigen Fachwissens unabhängiger Experten - beantwortet wird (Urteil 9C_410/2008 vom 8. September 2008, E. 3.3.1 mit Hinweisen).
2. Soweit der Versicherte für den Zeitraum vom 1. Januar 2006 bis 31. März 2007 die Zusprechung einer ganzen Invalidenrente verlangt, kann auf sein Begehren mangels eines Rechtsschutzinteresses nicht eingetreten werden, da ihm dies mit Verfügung vom 2. April 2008 bereits gewährt wurde. Zu prüfen bleibt, ob der Versicherte aus psychischen Gründen massgeblich in seiner Erwerbsfähigkeit eingeschränkt ist und demzufolge Anspruch auf eine halbe Invalidenrente ab 1. April 2007 hat.
3. Die Vorinstanz hat die Bestimmungen und Grundsätze über das zeitlich anwendbare Recht (<ref-ruling> mit Hinweisen), den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>) und der Erwerbsunfähigkeit (<ref-law> in der bis 31. Dezember 2007 in Kraft gewesenen Fassung) sowie den Anspruch auf eine Rente der Invalidenversicherung (<ref-law> in der bis 31. Dezember 2007 in Kraft gewesenen Fassung) und die beweisrechtlichen Grundsätze, insbesondere die Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 3a S. 352 mit Hinweis), zutreffend dargelegt. Dasselbe gilt für die Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>; <ref-ruling>, 126 V 75, je mit Hinweisen). Darauf wird verwiesen.
4. 4.1 Der Versicherte stützt sich bei der Geltendmachung eines psychischen Gesundheitsschadens auf den Bericht des Dr. med. M._ vom 17. April 2008, welcher eine emotional instabile Persönlichkeitsstörung (ICD-10: F 60.3) und eine mittelgradige depressive Episode (ICD-10: F 33.1) diagnostizierte. Die Vorinstanz misst diesem Bericht keinen Beweiswert zu, da die Einschätzung des Psychiaters nicht nachvollziehbar sei. Die angeführten Ursachen der diagnostizierten Leiden (finanzielle Existenzangst und Zerbrechen einer langjährigen Liebesbeziehung) seien als psychosoziale Faktoren vom sozialversicherungsrechtlichen Standpunkt aus unbeachtlich. Aus der Einschätzung des Kreisarztes ergäben sich keine Anhaltspunkte für ein psychisches Leiden. Auch genüge das Schreiben des Dr. med. M._ nicht den Anforderungen der Rechtsprechung an einen ärztlichen Bericht.
4.2 Entgegen der Ansicht des Versicherten gelten die Anforderungen an einen ärztlichen Bericht gemäss <ref-ruling> E. 3b S. 352 nicht nur, wenn es um die Gegenüberstellung von zwei sich widersprechenden ärztlichen Gutachten geht. Vielmehr haben sämtliche ärztlichen Berichte und Gutachten diesen Grundsätzen zu genügen. Wie die Vorinstanz zu Recht festhält, enthält der Bericht des Dr. med. M._ keinen objektiven Befund, so dass fraglich ist, ob er die Anforderungen der Rechtsprechung erfüllt.
Hingegen ist es nicht zulässig, dass sich der Sozialversicherer oder im Beschwerdefall das Gericht über fachärztlich festgestellte Diagnosen hinwegsetzt, indem auf allgemein zugängliche, populär medizinische Abhandlungen oder auf eigene Erfahrung, mithin ohne Abstützung auf ärztliches Fachwissen, abgestellt wird (vgl. etwa Urteil 8C_837/2008 vom 26. Juni 2009, E. 8.2, sowie Urteil 9C_410/2008 vom 8. September 2008, E. 3.3.2). Mangels anderer psychiatrischer Berichte in den Akten kann die Vorinstanz ihr Vorgehen, im Rahmen der grundsätzlich zulässigen antizipierten Beweiswürdigung von der Anordnung einer psychiatrischen Abklärung abzusehen, nicht auf ärztliches Fachwissen abstützen. Zwar ist es zutreffend, dass die von Dr. med. M._ festgehaltenen finanziellen Ängste und das Auseinanderbrechen einer langjährigen Beziehung Faktoren psychosozialer Natur sind. Doch er lässt es nicht dabei bewenden, sondern beschreibt auch Schmerzen und psychische Veränderungen. Es ist somit nicht Sache des Gerichts zu bestimmen, ob die diagnostizierte depressive Episode Krankheitswert aufweist und eine massgebliche Arbeitsunfähigkeit begründet. Dazu ist nach der Rechtsprechung in aller Regel eine fachärztliche psychiatrische Beurteilung notwendig (vgl. <ref-ruling> E. 2.2.2 S. 353 sowie Urteil 9C_410/2008 vom 8. September 2008, E. 3.3.2). Insofern ist auch die Berufung auf die - anderthalb Jahre vor dem Bericht des Dr. med. M._ ergangene - Beschreibung durch den Kreisarzt (Facharzt für Chirurgie) unerheblich. Das Absehen von weiteren Abklärungen unter Verneinung eines massgeblichen psychischen Gesundheitsschadens trotz der fachärztlich gestellten Diagnose und attestierten Arbeitsunfähigkeit stellt unter diesen Umständen eine Rechtsverletzung im Sinne von <ref-law> dar. Das Bundesgericht ist demnach nicht an den vorinstanzlichen Sachverhalt gebunden (E. 1). Da sich keine anderen psychiatrischen Einschätzungen in den Akten befinden, kann die Sache nicht abschliessend beurteilt werden und sie ist an die Vorinstanz zurückzuweisen. Diese hat sodann eine psychiatrische Expertise einzuholen zur Frage, ob ein massgeblicher psychischer Gesundheitsschaden vorliegt, und hernach über die Beschwerde erneut zu entscheiden.
5. Das Verfahren ist kostenpflichtig. Die unterliegende IV-Stelle hat die Gerichtskosten zu tragen (<ref-law>). Der Versicherte hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 10. März 2009 aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. Oktober 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Riedi Hunold