Sachverhalt:
A. Der 1964 geborene G._ war seit 1. April 2000 als Produktionsmitarbeiter bei der R._ AG angestellt, in dieser Eigenschaft bei der AXA Stiftung Berufliche Vorsorge, Winterthur, (damals: Winterthur-Columna, Stiftung für die berufliche Vorsorge) obligatorisch berufsvorsorgeversichert und zog sich am 21. März 2002 bei einem Arbeitsunfall eine Handverletzung zu. Die SUVA erbrachte die gesetzlichen Leistungen und sprach G._ mit Einspracheentscheid vom 29. November 2004 ab 1. März 2003 eine Invalidenrente der Unfallversicherung gestützt auf einen Invaliditätsgrad von 26% sowie eine Integritätsentschädigung basierend auf einer Einbusse von 10% zu.
Am 7. November 2003 meldete sich G._ bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 8. November 2007 sprach ihm die IV-Stelle des Kantons Zürich mit Wirkung ab 1. März 2003 eine Viertelsrente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 41% und ab 1. November 2004 eine ganze Rente basierend auf einem Invaliditätsgrad von 100% zu.
Daraufhin ersuchte er die AXA Stiftung Berufliche Vorsorge um Ausrichtung von Invalidenleistungen, was diese ablehnte.
B. Mit Klage an das Sozialversicherungsgericht des Kantons Zürich beantragte G._, die AXA Stiftung Berufliche Vorsorge sei zu verpflichten, gestützt auf einen Invaliditätsgrad von 100% ab August 2004 die dem Kläger zustehende Invalidenrente zu berechnen und diesem auszuzahlen, zuzüglich 5% Verzugszins. Das Sozialversicherungsgericht des Kantons Zürich wies die Klage mit Entscheid vom 31. August 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ beantragen, es sei festzustellen, dass der Beschwerdeführer gegenüber der Beschwerdegegnerin ab August 2004 ausgehend von einem Invaliditätsgrad von 100% einen Anspruch auf Invalidenrente aus BVG besitze. Die Beschwerdegegnerin sei zu verpflichten, die entsprechende Invalidenrente zu berechnen und auszuzahlen, unter Berücksichtigung eines Verzugszinses seit Klageeinleitung per 22. Dezember 2009.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Im Streit steht der Anspruch des Beschwerdeführers auf eine Invalidenrente der beruflichen Vorsorge.
Die Vorinstanz hat die Bestimmungen und Grundsätze über den Anspruch auf Invalidenleistungen aus der obligatorischen beruflichen Vorsorge (Art. 23 Abs. 1 BVG), den Umfang des Invalidenrentenanspruchs (Art. 24 Abs. 1 BVG), den Beginn des Anspruchs (Art. 26 Abs. 1 BVG in Verbindung mit <ref-law>), den Begriff der berufsvorsorgerechtlich relevanten Arbeitsunfähigkeit sowie den für die Leistungspflicht der Vorsorgeeinrichtung für die nach Beendigung des Vorsorgeverhältnisses eingetretene Invalidität vorausgesetzten engen sachlichen und zeitlichen Zusammenhang zwischen Arbeitsunfähigkeit und Invalidität (<ref-ruling> E. 4.1 mit Hinweisen) richtig dargelegt. Ebenso hat das kantonale Gericht die Rechtsprechung, wonach die Verfügung der IV-Stelle, welche die Leistungspflicht der Vorsorgeeinrichtung berührt, diese nur dann bindet, wenn die Vorsorgeeinrichtung spätestens bei Erlass des Vorbescheides - nach dem 1. Januar 2003 bei Verfügungseröffnung - in das IV-rechtliche Verfahren einbezogen wird (<ref-ruling> ff.), zutreffend wiedergegeben. Darauf wird verwiesen (<ref-law>).
3. 3.1 Wie die Vorinstanz zutreffend ausgeführt hat, besteht eine grundsätzliche Bindungswirkung an die Feststellungen der IV-Stelle. Diese stellte in somatischer Hinsicht auf den Bericht der Abklärungsstelle vom 27. August 2004 ab, wonach der Versicherte in einer leidensangepassten Tätigkeit zu 80% arbeitsfähig sei, woraus im Einkommensvergleich ab 1. März 2003 ein Invaliditätsgrad von 41% resultierte. Betreffend die psychische Gesundheitsbeeinträchtigung stützte sich die IV-Stelle auf das Gutachten der Frau Dr. med. B._ vom 8. Oktober 2006 ab, welche den Beschwerdeführer ab August 2004 zu 100% arbeitsunfähig betrachtet hatte, woraus ein Invaliditätsgrad von 100% resultierte.
In Frage steht einzig, ob der für die Bejahung eines Anspruches aus beruflicher Vorsorge erforderliche sachliche Zusammenhang insofern gegeben ist, als das psychische Leiden mit Auswirkung auf das Leistungsvermögen bereits während des Vorsorgeverhältnisses (einschliesslich der einmonatigen Nachdeckungsfrist gemäss Art. 10 Abs. 3 BVG, also bis 31. Dezember 2012) erkennbar in Erscheinung getreten ist (Urteil 9C_772/2007 vom 26. Februar 2008 E.4.2).
3.2 Die Vorinstanz hat dies in einlässlicher Würdigung der umfangreichen medizinischen Unterlagen verneint. Sie stellte fest, weder dem Bericht der Psychiater der Klinik A._ (welche am 17. Dezember 2002 die erste eingehende psychiatrische Untersuchung durchgeführt hatten) noch der im Oktober 2003 durchgeführten interdisziplinären Schmerzsprechstunde, noch den Berichten des Hausarztes Dr. med. S._ und des behandelnden Psychiaters Dr. med. W._ lasse sich eine psychiatrische Diagnose mit Krankheitswert oder eine Einschränkung der Arbeitsfähigkeit aus psychischen Gründen vor August 2004 entnehmen.
3.3 Der Beschwerdeführer bringt nichts vor, was diese tatsächlichen Feststellungen der Vorinstanz als offensichtlich unrichtig oder die von ihr daraus gezogenen Schlussfolgerungen als bundesrechtswidrig erscheinen liesse (E. 1). Vielmehr reduzieren sich seine Einwände letztlich auf das Vorbringen, schon früher habe eine Somatisierungstendenz bestanden. Dies genügt aber für die Annahme, das psychische Leiden sei noch während des Vorsorgeverhältnisses erkennbar in Erscheinung getreten, nicht. Vielmehr ist mit der Vorinstanz davon auszugehen, dass in den Akten keine Hinweise dafür bestehen, dass sich das psychische Leiden noch während des Vorsorgeverhälntisses deutlich manifestiert hat, sondern das psychische Leiden erstmals im August 2004 als Krankheitsbild in Erscheinung getreten ist, als - wie Dr. med. S._ ausführte - aus objektiven nicht ganz nachvollziehbaren Gründen die Belastungsfähigkeit des Versicherten überschritten wurde. Die IV-Stelle hat denn auch rückwirkend eine abgestufte Rente zugesprochen, weil die Verschlechterung des psychischen Gesundheitszustand eintrat. An dieser Betrachtungsweise vermag auch das Privatgutachten des Dr. med. T._ vom 27. Juni 2009 nichts zu ändern, wie bereits die Vorinstanz einlässlich dargelegt hat.
3.4 Ein enger sachlicher Zusammenhang zwischen der somatisch bedingten Arbeitsunfähigkeit, welche zur Zusprache der Viertelsrente durch die Invalidenversicherung führte und der ab August 2004 aus psychischen Gründen eingetretenen vollen Invalidität ist deshalb nicht ausgewiesen. Wie die Vorinstanz gestützt darauf zutreffend entschieden hat, besteht deshalb kein Anspruch auf Leistungen aus der obligatorischen beruflichen Vorsorge, da einzig die somatisch bedingte Arbeitsunfähigkeit des Versicherten von 20% dem Vorsorgeverhältnis zugerechnet werden kann und die daraus resultierende Invalidität von 41% das erforderliche Ausmass für einen Leistungsanspruch von 50% gemäss Art. 23 BVG in der bis zum 31. Dezember 2004 geltenden und hier anwendbaren Fassung nicht erreicht.
4. Da die Beschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach <ref-law>, ohne Durchführung eines Schriftenwechsels und mit summarischer Begründung, erledigt.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen, Aufsicht Berufliche Vorsorge, schriftlich mitgeteilt.
Luzern, 7. Mai 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein Franke