Sachverhalt:
A. Der 1952 geborene V._ war von April 1998 bis 31. Januar 2002 als Biegereimitarbeiter bei der X._ AG tätig und bei der Winterthur-Columna Stiftung für die berufliche Vorsorge (heute: AXA Stiftung Berufliche Vorsorge; im Folgenden: AXA) für die berufliche Vorsorge versichert. Mit Unfallmeldung vom 27. März 2001 liess V._ der Schweizerischen Unfallversicherungsanstalt (SUVA) mitteilen, er habe sich am 6. Dezember 2000 bei einem Sturz am linken Arm verletzt. Die SUVA erbrachte vom 14. Dezember 2000 bis 7. September 2001 die gesetzlichen Leistungen. Am 28. November 2001 kündigte die Arbeitgeberfirma auf den 31. Januar 2002 infolge Aufgabe des Betriebsstandortes das Anstellungsverhältnis mit dem Versicherten. Ab 1. Februar 2002 bezog dieser Taggelder der Arbeitslosenversicherung, bis die Arbeitslosenkasse mit Verfügung vom 3. Juli 2002 die Anspruchsberechtigung ab 26. Juni 2002 verneinte, weil V._ voll arbeitsunfähig sei. Am 23. Dezember 2003 meldete sich V._ bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht ermittelte die IV-Stelle Thurgau einen Invaliditätsgrad von 73 %. Demgemäss sprach sie dem Versicherten rückwirkend auf 1. Mai 2003 eine ganze Invalidenrente zu (Verfügung vom 22. Februar 2005).
B. Nachdem sich die AXA in der Folge geweigert hatte, V._ Invalidenleistungen aus der beruflichen Vorsorge auszurichten, liess dieser beim Sozialversicherungsgericht des Kantons Zürich mit Klage vom 9. März 2010 zur Hauptsache beantragen, die AXA sei zu verpflichten, ihm ab 1. Juni 2004 gestützt auf einen Invaliditätsgrad von 73 % die gesetzlichen und reglementarischen Invalidenleistungen aus der beruflichen Vorsorge zu gewähren. Mit Verfügung vom 15. November 2010 lud das Sozialversicherungsgericht des Kantons Zürich die Stiftung Auffangeinrichtung BVG zum Prozess bei. Mit Entscheid vom 30. November 2011 wies es die Klage ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte das vorinstanzlich gestellte Rechtsbegehren erneuern; eventuell sei die Sache zu weiteren Sachverhaltsabklärungen an das kantonale Gericht zurückzuweisen.
Während die AXA auf Abweisung der Beschwerde schliesst, verzichten die zum Verfahren beigeladene Stiftung Auffangeinrichtung BVG und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Die Vorinstanz hat die Gesetzesbestimmungen über den Anspruch auf eine Invalidenrente aus der beruflichen Vorsorge und deren Beginn (Art. 23, 24 Abs. 1 und 26 Abs. 1 BVG, je in der vorliegend anwendbaren, bis Ende 2004 gültig gewesenen Fassung) sowie die hiezu ergangene Rechtsprechung (<ref-ruling> E. 1b S. 264, 121 V 97 E. 2a S. 101, 120 V 112 E. 2b S. 116) zutreffend wiedergegeben. Richtig sind auch die Erwägungen zur Haftung einer Vorsorgeeinrichtung für die nach Beendigung des Vorsorgeverhältnisses eingetretene Invalidität bei Vorliegen eines engen sachlichen und zeitlichen Zusammenhangs zwischen Arbeitsunfähigkeit und Invalidität (<ref-ruling> E. 4.1 S. 275) sowie zu den Voraussetzungen, unter denen rechtsprechungsgemäss ein enger sachlicher und zeitlicher Konnex angenommen werden muss (<ref-ruling> E. 1c S. 264, 120 V 112 E. 2c/aa und bb S. 117 f.). Ebenfalls korrekt dargelegt hat die Vorinstanz die Rechtsprechung zur Bindungswirkung der Feststellungen der IV-Organe für die Vorsorgeeinrichtungen im Bereich der obligatorischen beruflichen Vorsorge (<ref-ruling> E. 1 S. 311). Darauf wird verwiesen.
3. 3.1 Die Vorinstanz hat den Anspruch des Beschwerdeführers auf Invalidenleistungen aus beruflicher Vorsorge verneint. Sie stellte in Würdigung der zahlreichen Arztberichte fest, dass die Festsetzung des Beginns der für den Rentenanspruch gegenüber der Invalidenversicherung massgebenden Wartezeit von einem Jahr gemäss <ref-law> (in der bis 31. Dezember 2007 gültig gewesenen Fassung) auf den 27. Mai 2002 nicht als offensichtlich unrichtig bezeichnet werden könne. Der Rentenbeginn in der Invalidenversicherung (1. Mai 2003) sei nach der Rechtsprechung auch für die berufliche Vorsorge verbindlich. Weil sodann die tatsächlichen Verhältnisse nicht auf eine in der Zeit vom 8. September 2001 bis 27. Mai 2002 bestehende BVG-rechtlich relevante Einschränkung des funktionellen Leistungsvermögens schliessen lassen, fehle es an einem engen zeitlichen Zusammenhang zwischen der bis Anfang September 2001 ausgewiesenen Arbeitsunfähigkeit und der schliesslich eingetretenen Invalidität. Damit könne offenbleiben, ob die zwischen Dezember 2001 und September 2002 attestierte Arbeitsunfähigkeit ihre Grundlage im nämlichen Gesundheitsschaden hatte wie die später eingetretene Invalidität, somit der sachliche Konnex gegeben wäre.
3.2 Der Beschwerdeführer wendet ein, nach Eintritt der Arbeitsunfähigkeit wegen einer arthritischen Erkrankung im Handgelenk links im Dezember 2000 habe er erst vom 11. bis 20. September 2001 wieder arbeiten können; in der Folge habe er bis 26. Oktober 2001 Ferien bezogen. Anschliessend habe er die Arbeit wieder aufgenommen, bis Ende Januar 2002 aber lediglich Aufräumarbeiten verrichtet, nachdem sein Arbeitsvertrag infolge Aufgabe des Betriebsstandortes beendet wurde. Die Vorinstanz habe den Charakter der Arthritis als Schubkrankheit verkannt, welcher bei der Beurteilung des zeitlichen Zusammenhangs, bei der die gesamten Umstände zu würdigen sind, von wesentlicher Bedeutung sei. Indem das Sozialversicherungsgericht auf die Vorbringen zu diesem Punkt nicht eingegangen ist, habe es den Anspruch auf rechtliches Gehör verletzt. Entgegen den Vorgaben der Rechtsprechung habe die Vorinstanz einen engen Massstab an die zeitliche Konnexität angelegt. Im Zusammenhang mit den Erwägungen zur Schubkrankheit wirft der Beschwerdeführer der Vorinstanz schliesslich vor, sie habe willkürlich entschieden.
4. 4.1 Die beschwerdeweise vorgetragenen Rügen erschöpfen sich in weiten Teilen in einer appellatorischen Kritik an den tatsächlichen Feststellungen der Vorinstanz zur Entwicklung der medizinischen Situation und der Perioden der Arbeitsunfähigkeit, welche auf Grund der gesetzlichen Überprüfungsbefugnis des Bundesgerichts (E. 1 hievor) unzulässig ist. Ob das kantonale Gericht den Begriff Schubkrankheit in seinen Erwägungen ausdrücklich verwendet hat oder nicht, ist nicht entscheidend. Massgebend ist vielmehr, dass es den rechtserheblichen Sachverhalt in Bezug auf Grad und Dauer der Arbeitsunfähigkeit korrekt, ohne Verletzung von Bundesrecht, ermittelt hat; dabei hat es nicht ausser Acht gelassen, dass sich im interessierenden Zeitraum seit Dezember 2000 längere Perioden von Arbeitsunfähigkeit und Arbeitsfähigkeit abgelöst haben. Wenn die Vorinstanz dabei in Würdigung der medizinischen Unterlagen zum Schluss gelangt ist, dass kein enger zeitlicher Zusammenhang zwischen der im Dezember 2000 eingetretenen Arbeitsunfähigkeit und der Invalidität, welche nach Ablauf der Wartezeit von einem Jahr (gemäss <ref-law> in der bis 31. Dezember 2007 gültig gewesenen Fassung) ab 1. Mai 2003 den Anspruch auf eine ganze Invalidenrente begründet, bestehe, ist darin keine Bundesrechtsverletzung zu erkennen. Insbesondere fehlt auch eine hinreichende Begründung für den Vorwurf, der angefochtene Entscheid verletze den Anspruch auf rechtliches Gehör oder gar das Willkürverbot.
4.2 Weil das für die Vorsorgeeinrichtung verbindliche Datum der Eröffnung der Wartezeit mit Vorliegen einer erheblichen Einschränkung der Arbeitsfähigkeit von der IV-Stelle auf den 27. Mai 2002 und damit auf einen Zeitpunkt festgelegt wurde, als der Beschwerdeführer nicht mehr bei der AXA für die berufliche Vorsorge versichert war und überdies ein enger zeitlicher Konnex zwischen ursprünglicher Arbeitsunfähigkeit und späterer Invalidität fehlt, hat das Sozialversicherungsgericht die Klage zu Recht abgewiesen. Anlass zu ergänzenden Sachverhaltsabklärungen, wie sie der Beschwerdeführer eventualiter beantragt, besteht nicht. Die Vorinstanz hat die medizinische Sachlage einlässlich überprüft. Weitere Beweismassnahmen vermöchten am Ergebnis nichts zu ändern.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, der Stiftung Auffangeinrichtung BVG, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. August 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer