Sachverhalt:
A. Der 1955 geborene B._ war bis 1996 selbstständigerwerbend in der Personalvermittlung tätig. Von August bis Dezember 1996 arbeitete er bei der Personalberatung der O._ AG, wobei er im Oktober im Zusammenhang mit einer Strafuntersuchung wegen Vermögensdelikten für 1 1/2 Monate in Untersuchungshaft gesetzt wurde. Vom 1. Januar 1997 bis 31. Januar 1998 war er bei der P._ AG tätig. Von Februar bis August 1998 bezog er Taggelder der Arbeitslosenversicherung. Ab 1. September 1998 war er bei der Q._ AG angestellt. Für die berufliche Vorsorge versichert war B._ von August bis Dezember 1996 bei der Winterthur-Columna Stiftung für berufliche Vorsorge (im Folgenden: Winterthur), vom 1. Januar 1997 bis 31. Januar 1998 bei der Sammelstiftung BVG der "Zürich" Lebensversicherungs-Gesellschaft (Zürich), von Februar bis August 1998 bei der Stiftung Auffangeinrichtung BVG (Risikoversicherung für arbeitslose Personen, nachstehend Auffangeinrichtung) und ab 1. September 1998 bei der Schweizerischen National Sammelstiftung BVG (nachfolgend: National).
Mit Verfügung vom 27. Februar 2002 sprach die IV-Stelle des Kantons Zürich B._ rückwirkend ab 1. Oktober 1999 bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung zu. Diese Rentenzusprechung wurde auf Beschwerde hin vom Sozialversicherungsgericht des Kantons Zürich namentlich auch mit Bezug auf den Anspruchsbeginn mit Entscheid vom 27. Mai 2003 bestätigt.
Am 16. Dezember 2003 liess B._ beim Sozialversicherungsgericht des Kantons Zürich gegen die vier Vorsorgeeinrichtungen Klage einreichen und zur Hauptsache beantragen, die Winterthur sei zu verpflichten, ihm eine Invalidenrente aus der beruflichen Vorsorge auszurichten; eventuell sei die Zürich, die Auffangeinrichtung oder die National zu verpflichten, ihm eine Invalidenrente der beruflichen Vorsorge auszuzahlen.
Das Sozialversicherungsgericht gelangte aufgrund der medizinischen Unterlagen zur Auffassung, dass die Arbeitsunfähigkeit, deren Ursache zur Invalidität mit Zusprechung einer ganzen Rente der Invalidenversicherung ab 1. Oktober 1999 führte, erst ab 24. September 1998 mit überwiegender Wahrscheinlichkeit ausgewiesen sei. Demzufolge verpflichtete es die Schweizerische National Sammelstiftung BVG in Gutheissung der gegen diese gerichteten Klage, B._ ab 1. September 1999 eine Invalidenrente der beruflichen Vorsorge auf der Grundlage eines Invaliditätsgrades von 100 %, zuzüglich Zins zu 5 % für die bis 17. Dezember 2003 geschuldeten Rentenbetreffnisse, für die restlichen ab jeweiligem Fälligkeitsdatum, auszurichten. Die Klagen gegen die drei anderen Vorsorgeeinrichtungen wies es ab (Entscheid vom 31. Januar 2005).
Die von der National hiegegen eingereichte Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 21. März 2006 (B 38/05) in dem Sinne gut, dass es den angefochtenen Entscheid vom 31. Januar 2005 aufhob und die Sache an das kantonale Gericht zurückwies, damit es, nach erfolgter Abklärung im Sinne der Erwägungen, über die Klagen von B._ neu entscheide. In der Folge beauftragte das Sozialversicherungsgericht den Psychiater Dr. med. K._, Leiter des Forensisch-Psychiatrischen Dienstes der Psychiatrischen Klinik A._, mit der Begutachtung des Versicherten. Gestützt auf die Expertise vom 23. Mai 2007 stellte das kantonale Gericht fest, dass B._ weder arbeitsunfähig noch invalid sei. Dementsprechend wies es die Klagen ab (Entscheid vom 29. Mai 2008).
B. B._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei die Sache an das Sozialversicherungsgericht zurückzuweisen, damit es zusätzliche Abklärungen zum Beginn der Arbeitsunfähigkeit treffe und danach über den Anspruch auf eine Invalidenrente der beruflichen Vorsorge neu entscheide. Ferner ersucht er um die Bewilligung der unentgeltlichen Prozessführung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Streitig ist, ob dem Beschwerdeführer gegenüber einer der eingeklagten Vorsorgeeinrichtungen ein Anspruch auf Invalidenleistungen aus der beruflichen Vorsorge zusteht. Dabei ist zunächst die Tragweite des Rückweisungsurteils des Eidgenössischen Versicherungsgerichts vom 21. März 2006 zu prüfen.
2.1 Verweist das Dispositiv eines Rückweisungsentscheides ausdrücklich auf die Erwägungen, werden diese zu dessen Bestandteil und haben, soweit sie zum Streitgegenstand gehören, an der formellen Rechtskraft teil. Dementsprechend sind die Motive, auf die das Dispositiv verweist, für die Behörde, an die die Sache zurückgewiesen wird, bei Nichtanfechtung verbindlich (<ref-ruling> E. 1c mit Hinweisen; AHI 1998 S. 169 E. 1b; Urteil des Eidgenössischen Versicherungsgerichts I 614/02 vom 24. Januar 2003).
2.2 Das Dispositiv des Rückweisungsurteils des Eidgenössischen Versicherungsgerichts vom 21. März 2006 (B 38/05) verweist auf die Erwägungen. Diese haben daher nach der zitierten Rechtsprechung an der formellen Rechtskraft teil und waren für das Sozialversicherungsgericht des Kantons Zürich verbindlich. In den Erwägungen legte das Eidgenössische Versicherungsgericht dar, auf Grund der Berichte der behandelnden Ärzte sei erstellt, dass der Versicherte während der Untersuchungshaft im Oktober 1996 ein schweres psychisches Trauma erlitten habe; dessen Folgen schränkten seine Arbeitsfähigkeit massiv ein. Hingegen ergebe sich mit Bezug auf den Beginn der Arbeitsunfähigkeit aus den Arztberichten kein klares Bild. Angesichts der divergierenden, teilweise verwirrlichen und widersprüchlichen Angaben der beteiligten Mediziner sei nicht mit der erforderlichen Wahrscheinlichkeit erstellt, seit wann der Versicherte aufgrund des psychischen Leidens, das zur Invalidität führte, in erheblichem Ausmass arbeitsunfähig sei. Es lasse sich deshalb nicht beurteilen, welche der vor Vorinstanz eingeklagten Vorsorgeeinrichtungen Invalidenleistungen zu erbringen hat. Zur Klärung dieser Frage werde das kantonale Gericht zusätzliche Abklärungen in psychiatrischer Hinsicht treffen. Dazu werde es zweckmässigerweise ein psychiatrisches Gutachten veranlassen. Der Experte werde sich zu Entstehung und Entwicklung der psychischen Krankheit sowie namentlich zum Beginn der Arbeitsunfähigkeit, zu deren Grad und Dauer zu äussern haben. Gestützt auf die Erkenntnisse des Gutachters werde die Vorinstanz über die Klage neu entscheiden.
2.3 Wie sich aus den zitierten Erwägungen ergibt, ging das Eidgenössische Versicherungsgericht davon aus, dass der Beschwerdeführer in Folge eines schweren psychischen Traumas massiv in seiner Arbeitsfähigkeit eingeschränkt sei. Dass daraus eine Invalidität und allenfalls ein Anspruch auf Invalidenleistungen aus der beruflichen Vorsorge resultierten, hat es indessen nicht festgestellt. Des Weiteren diente die Rückweisung der Sache an die Vorinstanz gerade auch dazu, mittels der anzuordnenden fachärztlichen Begutachtung Aufschluss über Entstehung und Entwicklung der psychischen Krankheit, demnach auch Erkenntnisse über das Vorliegen eines invalidisierenden psychischen Gesundheitsschadens, zu erhalten. Angesichts der insgesamt offen formulierten Vorgaben im Rückweisungsurteil und des Fehlens verbindlicher Anordnungen bezüglich Festsetzung und Zusprechung von Invalidenleistungen war das kantonale Gericht nicht gehalten, eine bestehende Invalidität anzunehmen, sodass es lediglich noch darum gegangen wäre, den Eintritt der Arbeitsunfähigkeit abzuklären und damit die leistungspflichtige Vorsorgeeinrichtung zu bestimmen. Schon gar nicht kann schliesslich gesagt werden, dass die Rückweisung bloss der Umsetzung einer letztinstanzlichen Anordnung diente und der Vorinstanz deshalb kein Entscheidungsspielraum blieb, wie der Beschwerdeführer offenbar annimmt. Im Gegenteil: Der Ausgang des Verfahrens war nach dem Rückweisungsurteil nicht verbindlich vorgegeben, sondern nach allen Seiten offen, indem es mit oder ohne Zusprechung von Invalidenleistungen aus der beruflichen Vorsorge enden konnte.
3. 3.1 Waren demnach die Fragen nach dem Bestehen von Arbeitsunfähigkeit und Invalidität mit dem Rückweisungsurteil des Eidgenössischen Versicherungsgerichts vom 21. März 2006 nicht präjudiziert, stand der Anordnung eines umfassenden psychiatrischen Gutachtens zu Gesundheitszustand und Arbeitsunfähigkeit des Versicherten durch die Vorinstanz nichts entgegen.
Gestützt auf die Ergebnisse der Gerichtsexpertise des Dr. med. K._ vom 23. Mai 2007 stellte die Vorinstanz verbindlich fest, dass der Beschwerdeführer nicht arbeitsunfähig ist. In der Beschwerde wird nichts vorgebracht, was auf eine offensichtlich unrichtige oder auf einer Bundesrechtsverletzung im Sinne von <ref-law> beruhende Sachverhaltsfeststellung des kantonalen Gerichts nach <ref-law> schliessen liesse. Vielmehr erschöpfen sich die Ausführungen des Versicherten im Wesentlichen in einer im Rahmen der geltenden Überprüfungsbefugnis (E. 1 hievor) unzulässigen appellatorischen Kritik an der vorinstanzlichen Beweiswürdigung.
Da aufgrund des Gerichtsgutachtens, welchem volle Beweiskraft zukommt, keine Arbeitsunfähigkeit ausgewiesen ist, liegt auch keine Invalidität vor (vgl. zu den Begriffen Arbeitsunfähigkeit und Invalidität <ref-ruling> E. 3 S. 345 ff). Das Sozialversicherungsgericht hat den Anspruch des Versicherten auf Invalidenleistungen aus der beruflichen Vorsorge somit zu Recht verneint.
4. Dem Gesuch des Beschwerdeführers um Gewährung der unentgeltlichen Prozessführung ist stattzugeben, da die gesetzlichen Voraussetzungen erfüllt sind (<ref-law>). Der Beschwerdeführer wird jedoch ausdrücklich auf <ref-law> aufmerksam gemacht. Danach hat er der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Prozessführung gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. September 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer