Sachverhalt: A. Der 1955 geborene B._ war bis 1996 selbstständigerwerbend in der Personalvermittlung tätig. Von August bis Dezember 1996 arbeitete er bei der Personalberatung der O._ AG, wobei er im Oktober im Zusammenhang mit einer Strafuntersuchung wegen Vermögensdelikten für 1 1/2 Monate in Untersuchungshaft gesetzt wurde. Vom 1. Januar 1997 bis 31. Januar 1998 war er bei der P._ AG tätig. Von Februar bis August 1998 bezog er Taggelder der Arbeitslosenversicherung. Ab 1. September 1998 war er bei der Q._ AG angestellt. Für die berufliche Vorsorge versichert war B._ von August bis Dezember 1996 bei der Winterthur-Columna Stiftung für berufliche Vorsorge (im Folgenden: Winterthur), vom 1. Januar 1997 bis 31. Januar 1998 bei der Sammelstiftung BVG der "Zürich" Lebensversicherungs-Gesellschaft (Zürich), von Februar bis August 1998 bei der Stiftung Auffangeinrichtung BVG (Risikoversicherung für arbeitslose Personen, nachstehend Auffangeinrichtung) und ab 1. September 1998 bei der Schweizerischen National Sammelstiftung BVG (nachfolgend: National). Mit Verfügung vom 27. Februar 2002 sprach die IV-Stelle des Kantons Zürich B._ rückwirkend ab 1. Oktober 1999 bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung zu. Diese Rentenzusprechung wurde auf Beschwerde hin vom Sozialversicherungsgericht des Kantons Zürich namentlich auch mit Bezug auf den Anspruchsbeginn mit Entscheid vom 27. Mai 2003 bestätigt. Am 16. Dezember 2003 liess B._ beim Sozialversicherungsgericht des Kantons Zürich gegen die vier Vorsorgeeinrichtungen Klage einreichen und zur Hauptsache beantragen, die Winterthur sei zu verpflichten, ihm eine Invalidenrente aus der beruflichen Vorsorge auszurichten; eventuell sei die Zürich, die Auffangeinrichtung oder die National zu verpflichten, ihm eine Invalidenrente der beruflichen Vorsorge auszuzahlen. Das Sozialversicherungsgericht gelangte aufgrund der medizinischen Unterlagen zur Auffassung, dass die Arbeitsunfähigkeit, deren Ursache zur Invalidität mit Zusprechung einer ganzen Rente der Invalidenversicherung ab 1. Oktober 1999 führte, erst ab 24. September 1998 mit überwiegender Wahrscheinlichkeit ausgewiesen sei. Demzufolge verpflichtete es die Schweizerische National Sammelstiftung BVG in Gutheissung der gegen diese gerichteten Klage, B._ ab 1. September 1999 eine Invalidenrente der beruflichen Vorsorge auf der Grundlage eines Invaliditätsgrades von 100 %, zuzüglich Zins zu 5 % für die bis 17. Dezember 2003 geschuldeten Rentenbetreffnisse, für die restlichen ab jeweiligem Fälligkeitsdatum, auszurichten. Die Klagen gegen die drei anderen Vorsorgeeinrichtungen wies es ab (Entscheid vom 31. Januar 2005). Die von der National hiegegen eingereichte Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 21. März 2006 (B 38/05) in dem Sinne gut, dass es den angefochtenen Entscheid vom 31. Januar 2005 aufhob und die Sache an das kantonale Gericht zurückwies, damit es, nach erfolgter Abklärung im Sinne der Erwägungen, über die Klagen von B._ neu entscheide. In der Folge beauftragte das Sozialversicherungsgericht den Psychiater Dr. med. K._, Leiter des Forensisch-Psychiatrischen Dienstes der Psychiatrischen Klinik A._, mit der Begutachtung des Versicherten. Gestützt auf die Expertise vom 23. Mai 2007 stellte das kantonale Gericht fest, dass B._ weder arbeitsunfähig noch invalid sei. Dementsprechend wies es die Klagen ab (Entscheid vom 29. Mai 2008). B. B._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei die Sache an das Sozialversicherungsgericht zurückzuweisen, damit es zusätzliche Abklärungen zum Beginn der Arbeitsunfähigkeit treffe und danach über den Anspruch auf eine Invalidenrente der beruflichen Vorsorge neu entscheide. Ferner ersucht er um die Bewilligung der unentgeltlichen Prozessführung.