Sachverhalt:
A. A._, geboren 1967, war ab 1. Januar bis 30. Juni 2001 bei der B._ AG angestellt. Am 26. April 2001 zog er sich beim Sturz auf einer Treppe eine Claviculafraktur zu. Das Arbeitsverhältnis wurde von der B._ AG am 30. Mai 2001 per Ende Juni 2001 gekündigt. Am 30. Oktober 2002 stellte die Schweizerische Unfallversicherungsanstalt (SUVA), bei welcher A._ obligatorisch gegen Unfälle versichert war, die Taggeldleistungen per 11. November 2002 ein. Mit Verfügung vom 10. Oktober 2003 sprach die IV-Stelle des Kantons Zürich A._ ab 1. April 2002 eine ganze Rente der Invalidenversicherung zu. Die Providentia Lebensversicherung holte am 27. Mai 2005 bei der Medizinischen Abklärungsstelle des Universitätsspitals Y._ (MEDAS) ein polydisziplinäres Gutachten ein, das am 23. Dezember 2005 erstattet wurde. Am 16. August 2007 erachtete der SUVA-Kreisarzt den Versicherten bezogen auf das linke Schultergelenk wieder zu 100 % arbeitsunfähig. Gestützt auf diese Untersuchung wurden A._ am 21. September 2007 rückwirkend ab 11. November 2002 Taggelder der SUVA bei einem Arbeitsunfähigkeitsgrad von jeweils mindestens 20 % nachbezahlt.
Am 31. August 2006 teilte die Sammelstiftung berufliche Vorsorge Swiss Life (im Folgenden: Swiss Life) als Vorsorgeeinrichtung der B._ AG A._ mit, dass sie lediglich die obligatorischen Leistungen aus beruflicher Vorsorge für die Zeit vom 1. April bis 11. November 2002 gewähre. Die entsprechende Abrechnung erfolgte am 7. September 2006.
B. Am 16. November 2007 liess A._ Klage führen mit dem Antrag, die Swiss Life sei zu verpflichten, ihm basierend auf dem von der IV-Stelle festgelegten Invaliditätsgrad die gesetzlich und reglementarisch geschuldeten Leistungen, zuzüglich Zins zu 5 % seit Fälligkeit, auf Grund der seit 26. April 2001 bestehenden Arbeits- und Erwerbsunfähigkeit zu erbringen. Das Sozialversicherungsgericht des Kantons Zürich wies die Klage mit Entscheid vom 26. Oktober 2009 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ sein vorinstanzlich gestelltes Rechtsbegehren erneuern.
Die Swiss Life hält an ihrem Standpunkt fest. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
1.2 Die Ergebnisse der Beweiswürdigung im Allgemeinen und die auf der Würdigung ärztlicher Berichte und Gutachten beruhenden gerichtlichen Feststellungen zum Gesundheitsschaden und zur (Rest-)Arbeitsfähigkeit im Besonderen sind tatsächlicher Natur (<ref-ruling> E. 3.2 S. 398 f.) und einer bundesgerichtlichen Korrektur somit nur nach Massgabe von <ref-law> zugänglich (E. 1.1). Zu den in dieser Bestimmung erwähnten, frei zu überprüfenden Rechtsverletzungen im Sinne von <ref-law> gehören u.a. die ärztlichen Berichte und Gutachten (<ref-ruling> E. 3a S. 352), des Untersuchungsgrundsatzes, der Pflicht zu inhaltsbezogener, umfassender, sorgfältiger und objektiver Beweiswürdigung (<ref-law>) sowie der Regeln über die antizipierte Beweiswürdigung (Urteil 9C_833/2007 vom 4. Juli 2008).
2. 2.1 Streitig und zu prüfen ist, ob der Beschwerdeführer ab April 2001 und über den 11. November 2002 hinaus Anspruch auf gesetzliche Leistungen aus beruflicher Vorsorge hat. Erst nach dieser Prüfung ist zu beurteilen, ob allenfalls reglementarische Leistungen geschuldet sind. Da Leistungen schon vor dem 1. Januar 2005 geltend gemacht werden, kommt das BVG und dabei insbesondere Art. 23 in der bis 31. Dezember 2004 gültig gewesenen Fassung zur Anwendung.
2.2 Die obligatorische Leistungspflicht der Beschwerdegegnerin setzt den Eintritt einer mit der späteren Invalidität zeitlich wie sachlich eng zusammenhängenden Arbeitsunfähigkeit während des hier interessierenden Vorsorgeverhältnisses voraus (Versicherungsprinzip; Art. 23 BVG in der bis Ende 2004 gültig gewesenen Fassung; Art. 23 lit. a BVG in der seit 1. Januar 2005 geltenden Fassung; <ref-ruling> E. 2.6 S. 17, 134 V 20 E. 3 S. 21 ff., 123 V 262 E. 1c S. 264). Gemäss Bericht des praktischen Arztes F._ vom 5. November 2002 wurde beim Beschwerdeführer eine sehr schmerzhafte, trotz Osteosynthese instabile Clavicula-Pseudarthrose nach Fraktur vom 27. April 2001 sowie eine alkoholbedingte Leberzirrhose und Indikation zu Lebertransplantation diagnostiziert. Die Vorinstanz hatte sich damit auseinanderzusetzen, ob die Leberzirrhose mit Indikation zur Lebertransplantation, die alsdann im Juli 2003 vorgenommen wurde, bereits während der Anstellungsdauer bei der B._ AG samt Nachdeckungsfrist zu einer Arbeitsunfähigkeit geführt hatte. Das kantonale Gericht hat dazu festgehalten, dass während der Anstellungszeit bei der B._ AG und damit während der Versicherungsdauer bei der Beschwerdegegnerin und der Nachdeckungsfrist keine Arbeitsunfähigkeit infolge des Leberleidens nachgewiesen sei. Der Beschwerdeführer kritisiert diese Sachverhaltsfeststellung, legt jedoch nicht dar, inwiefern diese offensichtlich unrichtig sei oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen soll. In der Tat ist dieses Ergebnis nicht zu beanstanden. Wie die Vorinstanz zutreffend ausgeführt hat, muss sich eine allfällige Arbeitsunfähigkeit im Arbeitsverhältnis konkret bemerkbar gemacht haben (Urteil des Eidgenössischen Versicherungsgerichts B 13/04 vom 9. November 2004). Dies war indessen nur bezüglich der unfallbedingten Arbeitsunfähigkeit, zurückzuführen auf die Claviculafraktur, gegeben, ereignete sich dieser Unfall doch am 26. April 2001 und damit während der Dauer des Arbeitsverhältnisses. Die Leberproblematik führte vor dem 26. April 2001 hingegen zu keiner Arbeitsunfähigkeit, wie die Vorinstanz festgestellt hat. Etwas anderes vermag der Beschwerdeführer nicht zu belegen. Das kantonale Gericht hat daraus geschlossen, dass zwischen der Invalidität und der während des Anstellungsverhältnisses bei der B._ AG aufgetretenen Arbeitsunfähigkeit lediglich in Bezug auf die Schulterproblematik ein sachlicher Zusammenhang bestehe. Feststellungen der Vorinstanz zur gesundheitlich bedingten Arbeitsunfähigkeit (Eintritt, Grad, Dauer, Prognose) betreffend Tatfragen, soweit sie auf der Würdigung konkreter Umstände beruhen, und sind daher lediglich unter eingeschränktem Blickwinkel überprüfbar (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 3.2 S. 397 f.; SVR 2008 BVG Nr. 31 S. 126). Was der Beschwerdeführer dagegen vorbringt, vermag die Betrachtungsweise der Vorinstanz nicht in Frage zu stellen. Vielmehr erschöpfen sich seine Ausführungen in einer unzulässigen, appellatorischen Kritik am vorinstanzlichen Entscheid, ohne darzulegen, in welchem Punkt die Sachverhaltsfeststellung rechtsfehlerhaft vorgenommen worden sein sollte.
2.3 Auch bei einer freien materiellen Prüfung würde sich im Übrigen kein anderes Ergebnis einstellen. Die SUVA hat nach dem 11. November 2002 Taggelder auf der Basis einer Arbeitsunfähigkeit von 20 % ausgerichtet, bis ab 16. August 2007 wieder eine Taggeldberechtigung bei voller Arbeitsunfähigkeit anerkannt wurde. Die Einstellung der Taggeldleistungen der Anstalt per 11. November 2002 stützte sich auf eine Beurteilung ihres Kreisarztes Dr. med. R._ vom 24. Oktober 2002, worin dieser auf eine unfallbedingte Arbeitsunfähigkeit von 20 % ab 11. November 2002 schloss. Diese Einschätzung wurde letztlich auch durch das orthopädische Teilgutachten der MEDAS vom 15. Mai 2006 bestätigt. Darin wird von einer seit 5 Jahren bestehenden, unwesentlich veränderten Beschwerdesymptomatik im Clavicula-/Schulterbereich linksseitig berichtet, wobei prognostisch eine bedeutende Linderung nicht wahrscheinlich sei. Als Buchhalter oder bei Bürotätigkeiten sei der Versicherte ohne Berücksichtigung der medizinischen Leiden unter Ausschluss von Heben von Lasten über 5 Kilogramm, Arbeiten über der Horizontalen oder repetitiver Belastung mit übermässigen Bewegungen des adominanten linken Arms zeitlich 80 % arbeitsfähig, wobei vermehrte und verlängerte Pausen wegen der residuellen Schmerzen die zeitliche Einschränkung bedingen würden. Der Beschwerdeführer wendet generell gegen das Gutachten der MEDAS ein, dass es sich um ein reines Parteigutachten handle. Tatsächlich wurde die Expertise von der Providentia Lebensversicherung (später umbenannt in Mobiliar Lebensversicherung) eingeholt, die als Rückversicherung der Beklagten als Partei zu betrachten ist. In diesem Sinne stellt das Gutachten der MEDAS tatsächlich ein Parteigutachten dar. Jedoch ist letztlich jede Expertise, die von einer Vorsorgeeinrichtung eingeholt wird, ein Parteigutachten, weil das Verfahren bei der Vorsorgeeinrichtung nicht dem ATSG untersteht (vgl. HANS-ULRICH STAUFFER, Berufliche Vorsorge, S. 98 N. 275) und somit auch <ref-law> nicht zur Anwendung gelangen kann. Indessen sind auch Parteigutachten im Rahmen der freien Beweiswürdigung zu berücksichtigen. Im vorliegenden Fall wurde die Begutachtung durch die MEDAS des Universitätsspitals Y._, eine anerkannte Begutachtungsstelle, durchgeführt. Die Expertise erfüllt inhaltlich die erforderlichen Kriterien, sodass nicht einsichtig ist, warum es für die Entscheidfindung nicht verwendet werden dürfte. Der Beschwerdeführer vermag denn auch nicht konkrete Beanstandungen am Gutachten anzubringen. Vielmehr ist er mit den dort gewonnen Erkenntnissen nicht einverstanden, was aber nicht gegen die Aussagekraft eines Gutachtens spricht, selbst wenn es rein formell als Parteigutachten zu qualifizieren ist. Die Beschwerdegegnerin konnte sich nebst den Erkenntnissen im MEDAS-Gutachten auch auf den Bericht des SUVA-Kreisarztes Dr. R._ abstützen, der am 24. Oktober 2002 ebenfalls eine Arbeitsfähigkeit im Bürobereich von 80 % bescheinigt hat. Erst Kreisarzt Dr. med. D._ nahm im Bericht zum 16. August 2007 wieder eine 100%ige unfallbedingte Arbeitsunfähigkeit an, ohne die früher festgelegte Arbeitsunfähigkeit in Frage zu stellen. Somit ist als Zwischenergebnis festzuhalten, dass der Versicherte in einer leichten Tätigkeit, wie sie im orthopädischen Teilgutachten der MEDAS umschrieben ist, mit Rücksicht auf die Clavicula-Schulterproblematik, für welche die Beschwerdegegnerin einzig einzustehen hat, vom 11. November 2002 bis 15. August 2007 zu 80 % als arbeitsfähig zu betrachten ist.
3. Da die Swiss Life gestützt auf Art. 23 BVG nur für die Clavicula-Schulterproblematik und die sich daraus ergebenden Invaliditätsfolgen einzustehen hat, ist sie ab dem 12. November 2002 nicht mehr leistungspflichtig, lag der Invaliditätsgrad ab diesem Zeitpunkt doch eindeutig unter 50 %. Ebenso wäre auch der ab 1. Januar 2005 massgebende Mindestinvaliditätsgrad von 40 % nicht gegeben. Jedoch stellt sich die Frage, ob die Leistungspflicht der Swiss Life ab 16. August 2007 wieder auflebte, weil ab diesem Zeitpunkt der Versicherte von Seiten der SUVA auf Grund der Schulter-Claviculaproblematik wieder als voll arbeitsunfähig betrachtet wurde. Im Zeitraum vom 12. November 2002 bis 15. August 2007 war der Beschwerdeführer wie dargelegt zu 80 % in einer angepassten Tätigkeit arbeitsfähig. Bei einer vollen Arbeitsfähigkeit wäre bereits bei einer dreimonatigen, sicher aber bei einer sechsmonatigen Periode auf einen Wegfall des Kausalzusammenhangs zu schliessen. Der zeitliche Zusammenhang wird indessen nicht nur durch Wiedererlangung einer (vollen) oder jedenfalls mehr als 80%igen (E. 2.2 hievor) Leistungsfähigkeit unterbrochen, sondern auch dann, wenn die versicherte Person - unter Berücksichtigung der Arbeitsmarktlage und gegebenenfalls nach einer bestimmten Anpassungszeit - mit der Verwertung der verbliebenen Arbeitsfähigkeit in einer zumutbaren Verweisungstätigkeit ein rentenausschliessendes Einkommen zu erzielen vermag (vgl. <ref-ruling> E. 5.3 S. 27; SZS 2008 S. 575). Bei Festlegung der Arbeitsfähigkeit, die es dem Beschwerdeführer erlaubt, in einer zumutbaren Verweisungstätigkeit ein rentenausschliessendes Einkommen zu erzielen, ist dabei lediglich jene Einschränkung zu berücksichtigen, die auf die Schulter-Claviculaproblematik zurückzuführen ist, hat doch die Swiss Life für die Folgen des Leberleidens nicht einzustehen. Dasselbe hat auch für das Kriterium zu gelten, dass eine wiedererlangte Arbeitsfähigkeit nur dann vorliegen kann, wenn die Verrichtung der bisherigen Berufsarbeit oder einer anderen Tätigkeit ohne Gefahr, den Gesundheitszustand zu verschlimmern, möglich ist (Urteil 9C_1017/2008 vom 5. Juni 2009). Es ist nicht erkennbar, dass die Schulter-Claviculaproblematik, für welche die Vorsorgeeinrichtung leistungspflichtig ist, bei der Aufnahme einer adaptieren Tätigkeit verschlimmert worden wäre. Damit ist auch keine Leistungspflicht der Swiss Life ab 17. August 2007 gegeben, da der Beschwerdeführer mit einer 80%igen Arbeitsfähigkeit in einer angepassten Tätigkeit ein rentenausschliessendes Einkommen sowohl gemäss der bis 31. Dezember 2004 geltenden Fassung von Art. 23 BVG (Invaliditätsgrad von 50 %) wie auch laut Art. 23 lit. a BVG in der ab 1. Januar 2005 massgebenden Version (Invaliditätsgrad von 40 %) hätte erzielen können.
4. Der Beschwerdeführer bezieht seit 1. April 2002 eine ganze Rente der Invalidenversicherung, wobei diese Rentenausrichtung später bestätigt wurde. Da jedoch die Invalidenversicherung als finale Versicherung bei ihrer Beurteilung keine Unterscheidung zwischen den verschiedenen Leiden vornimmt, die Swiss Life jedoch nur für Beschwerden im Clavicula-Schulterbereich einzustehen hat, kann für diese auch keine Bindungswirkung aus dem Entscheid der Invalidenversicherung abgeleitet werden.
5. Die Vorinstanz hat die Ausrichtung von überobligatorischen Leistungen abgelehnt, da laut Vorsorgeplan Leistungen bei Erwerbsunfähigkeit/Invalidität nur infolge Krankheit vorgesehen sind. Der Versicherte hat diese Feststellungen nicht in Frage gestellt. Zwar heisst es in Art. 34 Abs. 2 des Vorsorgereglementes, dass dann, wenn gemäss Vorsorgeplan die Unfallversicherung nicht eingeschlossen ist, Leistungen erbracht würden, sofern und soweit mit den nach Art. 24 BVV2 anrechenbaren Einkünften 90 % des mutmasslich entgangenen Verdienstes nicht erreicht werden. Es ist unklar, ob auf Grund dieser Bestimmung trotzdem Leistungen auch bei Unfall überobligatorisch zu erbringen sind. Selbst wenn dies zu bejahen wäre, wären keine überobligatorischen Leistungen geschuldet, da für den Beschwerdeführer 90 % des mutmasslich entgangenen Verdienstes gemäss den nach Art. 24 BVV2 anrechenbaren Einkünften erreichbar wären. Dies folgt schon aus der Höhe des ihm ab 16. August 2007 von der SUVA ausbezahlten Taggeldes zuzüglich der ausgerichteten Invalidenrente und wäre auch bei Gewährung einer Komplementärrente durch die SUVA gegeben. Damit hat der Beschwerdeführer auch überobligatorisch keine Ansprüche gegen die Swiss Life. Die Frage, ob eine Anzeigepflichtverletzung des Beschwerdeführers vorliegt, welche die Leistungen aus überobligatorischer beruflicher Vorsorge ausschliessen würde, kann deshalb offen gelassen werden.
6. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Juli 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer