Sachverhalt:
A. A.a Der 1960 geborene V._ war ab 19. September 1994 bei der Firma X._, als angelernter Gärtner tätig und gestützt auf dieses Arbeitsverhältnis bei der Vorsorgestiftung Hauenstein AG (im Folgenden: Vorsorgestiftung) berufsvorsorgeversichert. Am 18. Juni 1995 kündigte er das Arbeitsverhältnis auf den 30. (recte: 31.) Juli 1995. Da ihm sein Hausarzt Dr. med. A._ mit Zeugnis vom 8. Juli 1995 rückwirkend ab 27. Juni 1995 eine 100%ige Arbeitsunfähigkeit attestierte, verlängerte sich die Kündigungsfrist bis zum 31. August 1995.
A.b Am 28. August 1996 meldete sich V._ bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht verneinte die IV-Stelle des Kantons Zürich mit Verfügung vom 3. Februar 1997 sowohl einen Anspruch auf berufliche Eingliederungsmassnahmen als auch auf eine Invalidenrente. Mit in Rechtskraft erwachsenem Entscheid vom 22. März 1999 wies das Sozialversicherungsgericht des Kantons Zürich die dagegen erhobene Beschwerde ab.
Ein erneutes Gesuch um Ausrichtung einer Invalidenrente vom 21. Mai 1999 wies die IV-Stelle des Kantons Zürich mit Verfügung vom 22. Juli 1999 wiederum ab. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. Juni 2000 in dem Sinne gut, dass es die Verfügung vom 22. Juli 1999 aufhob und die Sache zur ergänzenden Abklärung im Sinne der Erwägungen an die IV-Stelle zurückwies. Die IV-Stelle holte hierauf bei Dr. med. B._, Spezialärztin für Psychiatrie und Psychotherapie, einen Bericht vom 24. Januar 2001 und bei Dr. med. C._, Spezialarzt für Psychiatrie und Psychotherapie, ein Gutachten vom 23. März 2001 ein. Mit Beschluss vom 20. Dezember 2001 setzte sie den Invaliditätsgrad mit Wirkung ab 12. Juli 1996 auf 54% und den Rentenbeginn auf den 1. Mai 1998 fest. Dementsprechend sprach sie V._ nach Durchführung des Vorbescheidverfahrens mit Verfügungen vom 11. Februar 2002 rückwirkend ab 1. Mai 1998 eine halbe Invalidenrente nebst einer halben Zusatzrente für die Ehefrau und drei halben Kinderrenten zu.
A.c Mit Schreiben vom 14. August 2003 liess V._ der Firma X._ eine Kopie der IV-Rentenverfügung zugehen und ersuchte sie, zwecks Ausrichtung der BVG-Leistungen die "Pensionskasse" zu informieren. Am 24. Oktober 2003 teilte der Rechnungsführer der Vorsorgestiftung dem Rechtsvertreter von V._ mit, die "IV-Leistungen" würden ab 1. August 1998 ausgerichtet. In einem weiteren Schreiben vom 6. November 2003 hielt der Rechnungsführer der Vorsorgestiftung fest, dass die jährliche 54%ige Invalidenleistung Fr. 4'740.-- sowie die Kinderrente je Kind Fr. 948.-- betrage, bezifferte die auf die Zeit vom 1. August 1996 bis 30. November 2003 entfallenden Rentenbetreffnisse auf total Fr. 40'448.-- und erklärte, dem Versicherten werde ab 25. Dezember 2003 eine monatliche Invalidenrente von Fr. 632.-- ausgerichtet. In der Folge verweigerte die Vorsorgestiftung die Ausrichtung dieser Leistungen.
B. Am 22. Juni 2006 liess V._ Klage erheben mit dem Rechtsbegehren, die Vorsorgestiftung sei zu verpflichten, die obligatorischen und überobligatorischen Pensionskassenleistungen nach Massgabe der von der Invalidenversicherung ab 1. August 1998 gewährten Rente nebst 5% Zins seit den jeweiligen Fälligkeiten und mit Prämienbefreiung seit Eintritt der Arbeitsunfähigkeit auszurichten. Das Sozialversicherungsgericht des Kantons Zürich führte einen doppelten Schriftenwechsel durch und zog die Akten der IV-Stelle des Kantons Zürich bei. Mit Entscheid vom 21. April 2008 wies es die Klage ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt V._ sein vorinstanzliches Rechtsbegehren erneuern und um Bewilligung der unentgeltlichen Verbeiständung ersuchen.
Die Vorsorgestiftung schliesst in ihrer Vernehmlassung auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. In der Beschwerdebegründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhaltes durch die Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Mit Bezug auf die zulässigen Sachverhaltsrügen sind strenge Anforderungen an die Begründungspflicht gerechtfertigt (<ref-ruling> E. 1.4.3 S. 255). Es genügt nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern die vorinstanzlichen Sachverhaltsfeststellungen offensichtlich unrichtig bzw. unter Verletzung einer Rechtsnorm im Sinne von <ref-law> zustande gekommen sind und die Behebung des gerügten Sachverhaltsmangels entscheidrelevant ist.
1.2 Neue Tatsachen und Beweismittel dürfen im Verfahren vor Bundesgericht nur vorgebracht werden, wenn erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Aus der Verbindlichkeit der vorinstanzlichen Tatsachenfeststellungen (<ref-law>) folgt, dass sog. unechte Noven, das heisst Tatsachen und Beweismittel, die bereits im Zeitpunkt des vorinstanzlichen Entscheides bestanden, aber im vorinstanzlichen Verfahren nicht vorgebracht wurden, unzulässig sind (Seiler/von Werdt/Güngerich, Kommentar zum Bundesgerichtsgesetz [BGG], Bern 2007, N 3 zu <ref-law>; Ulrich Meyer, N 40 zu Art. 99, in: Niggli/Uebersax/Wiprächtiger [Hrsg.], Basler Kommentar Bundesgerichtsgesetz, Basel 2008 [BSK BGG]).
2. Streitig ist der Anspruch des Beschwerdeführers auf berufsvorsorgerechtliche Invalidenleistungen.
2.1 Das kantonale Gericht hat unter Hinweis auf Gesetz (Art. 23 BVG in der bis 31. Dezember 2004 in Kraft gewesenen Fassung; Art. 23 lit. a BVG in der seit 1. Januar 2005 geltenden Fassung) und Rechtsprechung (<ref-ruling> E. 3.2 S. 22, 130 V 270 E. 4.1 S. 275, 123 V 262 E. 1c S. 264 f., 120 V 112 E. 2c S. 117) richtig dargelegt, dass der Anspruch auf Invalidenleistungen der (obligatorischen) beruflichen Vorsorge einen engen sachlichen und zeitlichen Zusammenhang zwischen der während der Dauer des Vorsorgeverhältnisses (einschliesslich der Nachdeckungsfrist nach Art. 10 Abs. 3 BVG) bestandenen Arbeitsunfähigkeit und der allenfalls erst später eingetretenen Invalidität voraussetzt. Der Gesundheitsschaden, der zur Arbeitsunfähigkeit geführt hat, muss von der Art her im Wesentlichen derselbe sein, der der Erwerbsunfähigkeit zugrunde liegt. Der enge zeitliche und sachliche Zusammenhang zwischen der während des Vorsorgeverhältnisses bestandenen Arbeitsunfähigkeit und der späteren Invalidität betrifft ausschliesslich Tatfragen, soweit nicht der Rechtsbegriff der Arbeitsunfähigkeit (<ref-law>) zur Diskussion steht oder die Zumutbarkeit von Arbeitsleistungen nicht gestützt auf die allgemeine Lebenserfahrung beurteilt wird (<ref-ruling> E. 3.2 S. 398).
Ebenfalls zutreffend festgehalten hat die Vorinstanz, dass eine Bindungswirkung an die Feststellungen der Organe der Invalidenversicherung, insbesondere hinsichtlich des Eintritts der invalidisierenden Arbeitsunfähigkeit (Eröffnung der Wartezeit; <ref-law> in Verbindung mit Art. 26 Abs. 1 BVG) für die Vorsorgeeinrichtung entfällt, wenn diese nicht spätestens im Vorbescheidverfahren in das invalidenversicherungsrechtliche Verfahren einbezogen worden ist (<ref-ruling> E. 3.1 S. 273 f., 129 V 73 E. 4.2.2 S. 75 f.).
2.2 Zutreffend wiedergegeben hat das kantonale Gericht ferner den aus dem Grundsatz von Treu und Glauben (<ref-law>) abgeleiteten Vertrauensschutz, wonach falsche Auskünfte von Behörden unter bestimmten Voraussetzungen eine vom materiellen Recht abweichende Behandlung des Rechtsuchenden gebieten. Gemäss Rechtsprechung und Doktrin ist dies der Fall, 1. wenn die Behörde in einer konkreten Situation mit Bezug auf bestimmte Personen gehandelt hat; 2. wenn sie für die Erteilung der betreffenden Auskunft zuständig war oder wenn die rechtsuchende Person die Behörde aus zureichenden Gründen als zuständig betrachten durfte; 3. wenn die Person die Unrichtigkeit der Auskunft nicht ohne weiteres erkennen konnte; 4. wenn sie im Vertrauen auf die Richtigkeit der Auskunft Dispositionen getroffen hat, die nicht ohne Nachteil rückgängig gemacht werden können, und 5. wenn die gesetzliche Ordnung seit der Auskunftserteilung keine Änderung erfahren hat (<ref-ruling> E. 5 S. 480, 131 II 627 E. 6.1 S. 636, 129 I 161 E. 4.1 S. 170, 122 II 113 E. 3b/cc S. 123, 121 V 65 E. 2a S. 66; RKUV 2000 Nr. KV 126 S. 223).
3. 3.1 Die Vorinstanz ist davon ausgegangen, dass für die entscheidwesentliche Frage, zu welchem Zeitpunkt beim Beschwerdeführer eine relevante Arbeitsunfähigkeit eingetreten ist, keine Bindung an die entsprechenden Feststellungen der IV-Stelle besteht, weil die Vorsorgestiftung weder in das invalidenversicherungsrechtliche Verwaltungsverfahren noch in die beiden verwaltungsgerichtlichen Beschwerdeverfahren einbezogen worden ist. Gestützt auf die im Gutachten des Dr. med. C._ vom 23. März 2001 und des Zentrums Y._, vom 10. März 1995 enthaltene Diagnostik und die gutachterlichen Stellungnahmen zur Arbeitsfähigkeit des Versicherten stellte das kantonale Gericht fest, dass dessen Arbeitsfähigkeit in erster Linie durch eine psychische Gesundheitsstörung beeinträchtigt werde. Psychische Probleme des Beschwerdeführers seien aber erstmals von den Ärzten der Klinik Z._ im Bericht vom 13. Mai 1997 erwähnt worden, und erst Mitte 1997 habe der Beschwerdeführer eine ambulante psychiatrisch-psychotherapeutische Behandlung aufgenommen. Den Berichten der behandelnden psychiatrischen Spezialärztin Dr. med. B._ vom 24. Januar 2001, 1. Februar 2001 und 1. Mai 2003 lasse sich nichts entnehmen, woraus auf ein beim Beschwerdeführer bereits im September 1995 bestandenes und seine Arbeitsfähigkeit erkennbar beeinträchtigendes psychisches Leiden geschlossen werden könne. Auch im vorinstanzlichen Entscheid vom 22. März 1999 sei festgehalten worden, dass die damalige medizinische Aktenlage keine Hinweise auf die geltend gemachte depressive Verstimmung enthalte und in körperlicher Hinsicht von einer 75%igen, wenn nicht gar 100%igen Arbeitsfähigkeit in einer leichten, wechselbelastenden Tätigkeit auszugehen sei. Unter gesamthafter Würdigung der Vorakten gelangte die Vorinstanz daher zum Schluss, dass es an der erforderlichen zeitlichen und sachlichen Konnexität zwischen der im Sommer 1995 während des Vorsorgeverhältnisses mit der Vorsorgestiftung bestandenen Arbeitsunfähigkeit und dem später eingetretenen invalidisierenden Gesundheitsschaden fehle. Die IV-Stelle habe deshalb den Eintritt der schwergewichtig psychisch bedingten Invalidität von 54% zu Unrecht auf den 12. Juli 1996 festgesetzt.
3.2 Der Beschwerdeführer macht im Wesentlichen geltend, mit Beschluss vom 20. Dezember 2001 habe die IV-Stelle den Beginn seiner 54%igen Invalidität auf den 12. Juli 1996 festgesetzt und im Vorbescheid vom 31. Mai 2001 ausdrücklich festgehalten, dass er seit dem 12. Juli 1995 ohne wesentlichen Unterbruch in seiner Arbeitsfähigkeit erheblich eingeschränkt gewesen sei. Damit sei ausgewiesen, dass die invalidisierenden Beschwerden in sachlichem und zeitlichem Zusammenhang mit jenem Leiden stünden, das im Zeitpunkt des Arbeitsverhältnisses mit der Firma X._ bestanden habe.
Mit diesen Vorbringen legt der Beschwerdeführer in keiner Weise dar, inwiefern die entscheidwesentlichen Sachverhaltsfeststellungen der Vorinstanz offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 beruhen. Da die Festlegungen der IV-Stelle betreffend den Eintritt der relevanten Arbeitsunfähigkeit im Juli 1995 sowie der rentenbegründenden Invalidität ein Jahr danach im vorliegenden Fall für die Belange der Berufsvorsorgeversicherung unverbindlich sind, kann der Beschwerdeführer daraus auch keine offensichtlich unrichtige Würdigung des Sachverhaltes durch die Vorinstanz mit Bezug auf die entscheidwesentliche Konnexitätsfrage ableiten. Die Beschwerdebegründung erfüllt daher die Rügeerfordernisse gemäss <ref-law> nicht, weshalb darauf nicht weiter einzugehen ist.
4. 4.1 Zu prüfen bleibt, ob der Beschwerdeführer gestützt auf den Vertrauensschutz daraus einen Anspruch ableiten kann, dass mit den beiden Schreiben des Rechnungsführers der Vorsorgestiftung vom 24. Oktober und 6. November 2003 dem Beschwerdeführer die Ausrichtung von berufsvorsorgerechtlichen Invalidenleistungen ab 1. August 1998 zugesichert worden war. Die Vorinstanz führte dazu aus, entgegen der Auffassung des Beschwerdeführers komme diesen beiden Schreiben nicht die Bedeutung einer rechtswirksamen Vertrauensgrundlage zu. Gemäss Reglement der Vorsorgestiftung stehe die Kompetenz zum Entscheid über Invalidenleistungen allein dem Stiftungsrat zu. Und laut Handelsregisterauszug verfüge der Rechnungsführer der Vorsorgestiftung, der die beiden Schreiben vom 24. Oktober und 6. November 2003 allein unterzeichnet habe, lediglich über eine Kollektivzeichnungsberechtigung zu zweien. Seine Unzuständigkeit, dem Beschwerdeführer die Ausrichtung von Invalidenleistungen zuzusichern, sei daher für dessen Rechtsvertreter ohne weiteres erkennbar gewesen. Zudem habe der Beschwerdeführer auch nicht ansatzweise substanziert, dass er im Vertrauen auf die Verbindlichkeit der beiden Schreiben vom 24. Oktober und 6. November 2003 irgendwelche nachteilige Dispositionen getroffen habe.
4.2 Wie das kantonale Gericht zutreffend erwogen hat, scheitert die Berufung auf Treu und Glauben schon an der Voraussetzung einer gestützt auf die fraglichen Schreiben getroffenen nachteiligen Disposition. Soweit der Beschwerdeführer vor dem kantonalen Gericht eine solche auch nicht ansatzweise geltend gemacht hat und nun vorbringt, er habe gestützt auf die erwähnten schriftlichen Zusicherungen mehrere Dispositionen finanzieller Art getroffen und Schulden angehäuft, die nicht mehr rückgängig gemacht werden könnten - ohne dies im Übrigen näher zu substanzieren oder zu belegen - behauptet er neue Tatsachen, die bereits im Zeitpunkt des angefochtenen Entscheides bestanden, im vorinstanzlichen Verfahren aber nicht vorgebracht wurden. Als unechte Noven sind sie im Verfahren vor Bundesgericht unzulässig und unbeachtlich (vorne E. 1.2).
Ohnehin erscheint fraglich, ob die öffentlich-rechtlichen Grundsätze des Vertrauensschutzes in der weitergehenden Vorsorge überhaupt anzuwenden sind. Diese Frage braucht hier jedoch nicht weiter erörtert zu werden, da auch der zivilrechtliche Vertrauens- und Gutglaubensschutz in das Vorliegen einer Anscheinsvollmacht (vgl. <ref-ruling>; <ref-law>) durch die Publizitätswirkung der im Handelsregister eingetragenen Kollektivzeichnungsberechtigung des Rechnungsführers ausgeschlossen wird und damit der Beschwerdeführer gestützt auf <ref-law> nicht auf die Alleinkompetenz des Rechnungsführers zur Zusprechung von Invalidenleistungen vertrauen durfte.
5. Das Gesuch um unentgeltliche Rechtspflege ist für das letztinstanzliche Verfahren abzuweisen, da die Rechtsbegehren von vornherein keine Aussicht auf Erfolg hatten (<ref-law>). Die Kosten des bundesgerichtlichen Verfahrens sind daher, dem Verfahrensausgang entsprechend, dem Beschwerdeführer aufzuerlegen, wobei seine angespannten finanziellen Verhältnisse bei der Festlegung der Gerichtsgebühr Berücksichtigung finden (<ref-law>). Eine Parteikostenentschädigung im Sinne einer Umtriebsentschädigung wird zufolge Unterliegens nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 300.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. November 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke