Sachverhalt:
A. Der 1949 geborene Q._ arbeitete von Dezember 1988 bis Ende August 1992 als Maler bei der Firma M._. Am 10. November 1988 erlitt er ein Direkttrauma des rechten Knies, am 31. Juli 1990 bei einem Autounfall in Italien eine offene Knieverletzung links sowie verschiedene weitere Verletzungen. Für die Unfallfolgen erbrachte die Schweizerische Unfallversicherungsanstalt (SUVA) die gesetzlichen Leistungen. Nach Auflösung des Anstellungsverhältnisses wurde Q._ zu Lasten der Invalidenversicherung vom 26. Juli 1993 bis 12. Oktober 1995 zum Elektronik-Verdrahter umgeschult. Vom 1. Februar 1996 bis Ende Januar 1998 war er als Betriebsmitarbeiter bei der Firma P._ tätig und für die berufliche Vorsorge bei der ASPIDA Sammelstiftung für die Durchführung der BVG-konformen Vorsorgemassnahmen (im Folgenden: ASPIDA) versichert. Auf Anmeldung vom 14. Dezember 1999 hin wurde Q._ ab 1. Juli 2000 bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung zugesprochen (Verfügung der IV-Stelle des Kantons Aargau vom 12. Juni 2003). Mit Schreiben vom 21. November 2003 lehnte es die ASPIDA ab, Q._ Leistungen für die Erwerbsunfähigkeit zu erbringen, weil diese vor dem 1. Februar 1996 eingetreten sei.
B. Am 3. Mai 2005 liess Q._ beim Sozialversicherungsgericht des Kantons Zürich Klage einreichen mit dem Antrag, die ASPIDA sei zu verpflichten, ihm ab 1. Juli 2000 gemäss den reglementarischen Bestimmungen eine Invalidenrente auf der Grundlage eines Invaliditätsgrades von 100 %, zuzüglich Zins zu 5 % auf den seit Klageeinreichung verfallenen Leistungen, zuzusprechen. Nach Beizug der Akten der Invalidenversicherung und der SUVA wies das kantonale Gericht die Klage mit Entscheid vom 20. April 2006 ab. Es stellte im Wesentlichen fest, dass keine Bindung an die Rentenverfügung der Invalidenversicherung bestehe und die Arbeitsunfähigkeit, welche zur Invalidität führte, nicht während der Anstellung des Versicherten bei der Firma P._ eingetreten sei. In der Folge gelangte Q._ an das Bundesgericht (bis 31. Dezember 2006 Eidgenössisches Versicherungsgericht), welches die Verwaltungsgerichtsbeschwerde mit Urteil vom 17. April 2007 (B 64/06) in dem Sinne teilweise guthiess, dass es den angefochtenen Entscheid vom 20. April 2006 aufhob und die Sache an das Sozialversicherungsgericht zurückwies, damit es, nach erfolgter Abklärung im Sinne der Erwägungen, über die Klage neu entscheide. Im Übrigen wies es die Verwaltungsgerichtsbeschwerde ab.
In der Folge zog das Sozialversicherungsgericht zusätzliche Unterlagen bei. Mit Entscheid vom 5. März 2009 wies es die Klage wiederum ab.
C. Q._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten das in der Klage vom 3. Mai 2005 gestellte Rechtsbegehren erneuern.
Die BVG-Sammelstiftung Swiss Life, Rechtsnachfolgerin der ASPIDA, schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Feststellungen der Vorinstanz zur gesundheitlich bedingten Arbeitsunfähigkeit (Eintritt, Grad, Dauer, Prognose usw.) betreffen Tatfragen, soweit sie auf der Würdigung konkreter Umstände beruhen, und sind daher lediglich unter eingeschränktem Blickwinkel überprüfbar (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 3.2 S. 397 f.). Dies gilt auch für den Zeitpunkt des Eintritts des berufsvorsorgerechtlichen Versicherungsfalles, d.h. der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat (Urteil 9C_182/2007 vom 7. Dezember 2007). In dieser Hinsicht besteht ein wesentlicher kognitionsrechtlicher Unterschied zum Urteil B 64/06 (vgl. dortige Erwägung 1).
2. Die Vorinstanz hat unter Hinweis auf Art. 23 BVG in der vorliegend anwendbaren, bis Ende 2003 gültig gewesenen Fassung und die hiezu ergangene Rechtsprechung (<ref-ruling> E. 1b S. 264; <ref-ruling> E. 2a S. 101; <ref-ruling> E. 2b S. 116) richtig dargelegt, dass die Beschwerdegegnerin nur leistungspflichtig ist, wenn der Beschwerdeführer bei Eintritt der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat, bei ihr versichert war und wenn zwischen der während des Vorsorgeverhältnisses eingetretenen Arbeitsunfähigkeit und der späteren Invalidität ein enger sachlicher und zeitlicher Zusammenhang gegeben ist (<ref-ruling> E. 4.1 S. 275). Zutreffend ist auch, dass die Vorsorgeeinrichtung bei den vorliegenden Gegebenheiten nicht an die Feststellungen der IV-Organe zum Invaliditätsgrad und zum Beginn der zur Invalidität führenden Arbeitsunfähigkeit gebunden ist, wie das Bundesgericht bereits im Rückweisungsurteil vom 17. April 2007 festgehalten hat. Im berufsvorsorgerechtlichen Verfahren ist somit selbstständig zu prüfen, wann eine Arbeitsunfähigkeit eingetreten ist, die zu einer Invalidität geführt hat.
3. Im Urteil vom 17. April 2007 hat das Bundesgericht zunächst dargelegt, in der Zeit von Januar 1996 bis April 1997 habe keine erhebliche Beeinträchtigung der Arbeitsfähigkeit bestanden. Damit liege eine wesentliche Unterbrechung der Arbeitsunfähigkeit vor, weshalb eine Leistungspflicht der früheren Vorsorgeeinrichtungen entfalle. Weiter hat es festgestellt, dass für die gemäss Arztberichten im April 1997 eingetretene Verschlechterung des Gesundheitszustandes keine objektiven Befunden hätten erhoben werden können und der Verdacht auf eine funktionelle Komponente geäussert worden sei. Von den SUVA-Ärzten sei auf zunehmend in den Vordergrund tretende psychosomatische Faktoren sowie eine Schmerzverarbeitungsstörung geschlossen worden. Ferner sei eine Diskrepanz zwischen den subjektiven Beschwerden und den objektiven Befunden erkannt worden. Die von der IV-Stelle angeordnete psychiatrische Abklärung habe zur Diagnose einer somatoformen Schmerzstörung geführt. Unter diesen Umständen frage sich, ob überhaupt eine leistungsbegründende Invalidität vorliege; dies sei im Lichte der im Rahmen von <ref-law> entwickelten Rechtsprechung (<ref-ruling> ff. und 396 ff.; <ref-ruling> ff.) sowie unter Berücksichtigung der anwendbaren reglementarischen Bestimmungen zu beurteilen. Der von der Invalidenversicherung eingeholte Bericht des Externen Psychiatrischen Dienstes X._ vom 4. März 2003 bilde keine hinreichende Grundlage für die Beurteilung der Frage, ob der Beschwerdeführer bei Aufbietung der ihm zumutbaren Willensanstrengung in der Lage wäre, die Schmerzen zu überwinden und die verbleibende Arbeitskraft zu verwerten. Im Übrigen bleibe offen, ob nicht neben der Schmerzstörung somatische Befunde bestünden, die für sich alleine eine relevante Beeinträchtigung der Arbeits- und Erwerbsfähigkeit zu begründen vermöchten. Im Sinne dieser Erwägungen wies das Bundesgericht die Sache zu ergänzenden Beweismassnahmen und neuer Entscheidung an die Vorinstanz zurück. Die Erwägungen, auf welche das Rückweisungsurteil verweist, sind für das Sozialversicherungsgericht verbindlich (<ref-ruling>), woran sich mit dem Inkrafttreten des BGG am 1. Januar 2007 nichts geändert hat (Urteil 9C_703/2009 vom 30. Oktober 2009).
4. 4.1 In Nachachtung des Rückweisungsurteils vom 17. April 2007 hat die Vorinstanz Berichte der Internistin Frau Dr. med. W._ vom 10. Oktober 2007 und des Dr. med. T._, Facharzt für Physikalische Medizin, vom 29. Oktober 2007, samt jeweiligem Krankendossier, beigezogen. Im Wesentlichen gestützt auf diese Unterlagen und in Würdigung der gesamten medizinischen Akten gelangte das Sozialversicherungsgericht zur Auffassung, es liege kein echtzeitliches ärztliches Zeugnis vor, welches den Eintritt einer dauernden Arbeitsunfähigkeit in einer sitzenden Tätigkeit während des Versicherungsverhältnisses mit der Vorsorgeeinrichtung bescheinigt. Frau Dr. med. W._ behandle den Beschwerdeführer erst seit August 1999, weshalb auf die von ihr für die Zeit davor attestierte Arbeitsunfähigkeit nicht abgestellt werden könne. Dr. med. T._ wiederum habe den Versicherten in der Zeit vom 15. Januar 1996 bis 14. Juli 1998 gar nie gesehen. Aus den überzeugenden kreisärztlichen Berichten der Dres. med. L._ und S._ ergebe sich, dass der Beschwerdeführer aus rein somatischer Sicht für die bei der Firma P._ ausgeübte Tätigkeit in den Jahren 1999 und 2000 nach wie vor voll arbeitsfähig war. Was die psychische Seite betrifft, könne den Berichten der Dres. med. T._ und Frau W._ entnommen werden, dass aus diesem Grund erst seit 23. Februar 1999 eine Beeinträchtigung der Leistungsfähigkeit besteht. Damit sei nicht erstellt, dass der Versicherte spätestens seit Beendigung des Versicherungsverhältnisses mit der Beschwerdegegnerin ununterbrochen zu mindestens 20 % arbeitsunfähig gewesen ist.
4.2 Die tatsächlichen Feststellungen der Vorinstanz, namentlich zur Frage nach dem Eintritt der andauernden Arbeitsunfähigkeit, sind entgegen den Vorbringen in der Beschwerde weder offensichtlich unrichtig, noch beruhen sie auf einer Bundesrechtsverletzung, weshalb das Bundesgericht davon auszugehen hat (E. 1 hievor). Das Sozialversicherungsgericht hat in Befolgung des Rückweisungsurteils vom 17. April 2007 die psychische Seite des Gesundheitsschadens geprüft und ist, wie erwähnt, zum Schluss gelangt, dass bis 23. Februar 1999 keine psychisch begründete Arbeitsunfähigkeit bestanden habe. Aufgrund dieser auf den ärztlichen Angaben beruhenden Feststellung erübrigte sich die Prüfung der Frage, ob die später eingetretene Arbeitsunfähigkeit im Lichte der Rechtsprechung gemäss <ref-ruling> invalidisierend sei, weil im Jahre 1999 längst keine Versicherungsdeckung bei der Beschwerdegegnerin mehr bestand. Was die im Rückweisungsurteil angeordnete Abklärung der Frage anbelangt, ob neben der somatoformen Schmerzstörung somatische Befunde bestünden, hat die Vorinstanz unter Berücksichtigung aller in der Zeit ab der Verschlechterung des Gesundheitszustandes im April 1997 erhobenen somatischen Befunde gestützt auf die vorhandenen Arztberichte überzeugend dargelegt, dass im Verhältnis zum Ausgangspunkt April 1997 während der Versicherungsdauer und in der Folge noch bis im Jahr 2000 keine dauerhafte Verschlimmerung mit entsprechender Arbeitsunfähigkeit eingetreten ist.
4.3 Soweit der Beschwerdeführer unter Hinweis auf das Reglement der ASPIDA vom 1. Januar 1985 und den dort verwendeten Invaliditätsbegriff geltend macht, die durch psychosoziale Faktoren oder ein somatoformes Schmerzsyndrom bewirkte Invalidität begründe ohne weiteres einen Rentenanspruch, kann ihm nicht gefolgt werden. Auch nach Ziff. 7.1.1 des Reglements setzt Invalidität eine infolge von Krankheit, Unfall oder Zerfall der geistigen oder körperlichen Kräfte eingeschränkte Arbeitsfähigkeit voraus. Rein subjektive, in der Person des Versicherten liegende Gründe sind damit auch nach dem Reglement der ASPIDA nicht beachtlich.
Im Übrigen erschöpfen sich die Ausführungen in der Beschwerde weitgehend in einer im Rahmen der geltenden Überprüfungsbefugnis des Bundesgerichts unzulässigen, appellatorischen Kritik an der vorinstanzlichen Beweiswürdigung. Eine vom angefochtenen Entscheid abweichende Einschätzung der ärztlichen Beurteilungen des Gesundheitszustandes und der Stellungnahmen zum Grad der Arbeitsunfähigkeit ist nicht geeignet, eine rechtsfehlerhafte Sachverhaltsfeststellung oder eine anderweitige Bundesrechtsverletzung des kantonalen Gerichts zu begründen.
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Als mit öffentlich-rechtlichen Aufgaben betraute Organisation hat die Beschwerdegegnerin keinen Anspruch auf eine Parteientschädigung (<ref-law>; <ref-ruling> E. 5b S. 133).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Dezember 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer