Sachverhalt: A. Der 1964 geborene G._ war seit 1. April 2000 als Produktionsmitarbeiter bei der R._ AG angestellt, in dieser Eigenschaft bei der AXA Stiftung Berufliche Vorsorge, Winterthur, (damals: Winterthur-Columna, Stiftung für die berufliche Vorsorge) obligatorisch berufsvorsorgeversichert und zog sich am 21. März 2002 bei einem Arbeitsunfall eine Handverletzung zu. Die SUVA erbrachte die gesetzlichen Leistungen und sprach G._ mit Einspracheentscheid vom 29. November 2004 ab 1. März 2003 eine Invalidenrente der Unfallversicherung gestützt auf einen Invaliditätsgrad von 26% sowie eine Integritätsentschädigung basierend auf einer Einbusse von 10% zu. Am 7. November 2003 meldete sich G._ bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 8. November 2007 sprach ihm die IV-Stelle des Kantons Zürich mit Wirkung ab 1. März 2003 eine Viertelsrente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 41% und ab 1. November 2004 eine ganze Rente basierend auf einem Invaliditätsgrad von 100% zu. Daraufhin ersuchte er die AXA Stiftung Berufliche Vorsorge um Ausrichtung von Invalidenleistungen, was diese ablehnte. B. Mit Klage an das Sozialversicherungsgericht des Kantons Zürich beantragte G._, die AXA Stiftung Berufliche Vorsorge sei zu verpflichten, gestützt auf einen Invaliditätsgrad von 100% ab August 2004 die dem Kläger zustehende Invalidenrente zu berechnen und diesem auszuzahlen, zuzüglich 5% Verzugszins. Das Sozialversicherungsgericht des Kantons Zürich wies die Klage mit Entscheid vom 31. August 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ beantragen, es sei festzustellen, dass der Beschwerdeführer gegenüber der Beschwerdegegnerin ab August 2004 ausgehend von einem Invaliditätsgrad von 100% einen Anspruch auf Invalidenrente aus BVG besitze. Die Beschwerdegegnerin sei zu verpflichten, die entsprechende Invalidenrente zu berechnen und auszuzahlen, unter Berücksichtigung eines Verzugszinses seit Klageeinleitung per 22. Dezember 2009.