Sachverhalt:
D._ (geboren 1964) war von Mai bis Ende Dezember 1995 als Maler bei der Firma X._ angestellt und dadurch bei der Bâloise-Sammelstiftung für die obligatorische berufliche Vorsorge versichert. Mit Verfügung vom 26. Mai 2000 sprach ihm die IV-Stelle Luzern gestützt auf einen Invaliditätsgrad von 100 % mit Wirkung ab 1. Februar 1999 eine ganze Invalidenrente zu.
Die gegen die Bâloise-Sammelstiftung für die obligatorische berufliche Vorsorge erhobene Klage auf Ausrichtung einer Invalidenrente wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 22. Oktober 2008 ab.
D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ein Anspruch auf Versicherungsleistungen anzuerkennen, namentlich sei ihm eine Invalidenrente aus der beruflichen Vorsorge zuzusprechen. Eventuell seien weitere medizinische Abklärungen durch die Vorinstanz vorzunehmen.
Mit Verfügung vom 19. Februar 2009 wies die II. sozialrechtliche Abteilung das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Beschwerde ab.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von Art. 95 lit. a BGG dar (SEILER/VON WERDT/GÜNGERICH, Kommentar zum Bundesgerichtsgesetz, Bern 2007 N 24 zu Art. 97).
2. 2.1 Anspruch auf Invalidenleistungen aus beruflicher Vorsorge haben Personen, die im Sinne der Invalidenversicherung zu mindestens 50 % resp. 40 % invalid sind und bei Eintritt der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat, versichert waren (Art. 23 BVG in der bis 31. Dezember 2004 gültig gewesenen resp. Art. 23 lit. a in der ab 1. Januar 2005 gültigen Fassung).
Der Leistungsanspruch gegenüber einer Vorsorgeeinrichtung, der ein Arbeitnehmer beim Eintritt der Arbeitsunfähigkeit angeschlossen war, für das erst nach Beendigung des Vorsorgeverhältnisses eingetretene Invaliditätsrisiko setzt voraus, dass zwischen Arbeitsunfähigkeit (zum Begriff vgl. Urteil B 49/00 vom 7. Januar 2003 E. 3, in: SZS 2003 S. 521) und Invalidität ein enger sachlicher und zeitlicher Zusammenhang besteht. Die hinreichende sachliche Konnexität ist zu bejahen, wenn der Gesundheitsschaden, wie er der Invalidität zugrunde liegt, im Wesentlichen bereits Ursache der früheren Arbeitsunfähigkeit war (<ref-ruling> E. 1c S. 265; <ref-ruling> E. 2c/aa und bb S. 117 f.). Der zeitliche Zusammenhang zur später eingetretenen Invalidität als weitere Voraussetzung für den Anspruch auf Invalidenleistung gegenüber der früheren Vorsorgeeinrichtung beurteilt sich nach der Arbeitsfähigkeit in einer der gesundheitlichen Beeinträchtigung angepassten zumutbaren Tätigkeit. Diese Beschäftigung muss jedoch bezogen auf die angestammte Tätigkeit die Erzielung eines rentenausschliessenden Einkommens ermöglichen (<ref-ruling> E. 5.3 S. 27).
2.2 Feststellungen der Vorinstanz, als Ergebnis der Beweiswürdigung, zum Gesundheitszustand (Befund, Diagnose etc.), zur Art des Gesundheitsschadens und zur Arbeitsfähigkeit sind für das Bundesgericht verbindlich, soweit sie nicht offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen und die Behebung eines solchen Mangels für den Ausgang des Verfahrens nicht entscheidend ist (Art. 97 Abs. 1 BGG sowie Art. 105 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 3.2 S. 397). Dies gilt auch für den Zeitpunkt des Eintritts des berufsvorsorgerechtlichen Versicherungsfalles nach Art. 23 BVG (seit 1. Januar 2004: Art. 23 lit. a BVG; Urteil 9C_182/2007 vom 7. Dezember 2007 E. 4.1.1), d.h. der Arbeitsunfähigkeit, deren Ursache zur Invalidität geführt hat.
3. 3.1 Das kantonale Gericht hat in Würdigung des medizinischen Dossiers und der IV-Akten festgehalten, dass der Beschwerdeführer gemäss dem Gutachten des Dr. med. A._ vom 22. November 1999 seit Anfang des Jahres 1999 aufgrund seiner psychischen Erkrankung nicht mehr in der Lage sei, einer Erwerbstätigkeit nachzugehen. Gestützt auf dieses Gutachten beziehe der Beschwerdeführer denn auch seit Februar 1999 eine ganze Invalidenrente im Rahmen der 1. Säule. Die Invalidität sei mit anderen Worten psychischen Ursprungs. Die Rückenbeschwerden des Klägers seien hingegen nicht invalidisierend. Diese Schlussfolgerung werde untermauert durch die Beurteilungen des Hausarztes und des Rheumatologen Dr. med. B._, die beide übereinstimmend festhielten, der Versicherte sei rein aus Sicht der Rückenbeschwerden in einer adaptierten Tätigkeit voll arbeitsfähig. Die psychischen Gesundheitsbeeinträchtigungen würden im Austrittsbericht der Klinik Y._ vom Oktober 1997 erstmals erwähnt. Zwar führe der behandelnde Psychiater, Dr. med. C._, im Mai 1998 aus, anamnestisch würde seit 1994 zunehmend eine depressive Symptomatik bestehen. Damals sei diese jedoch noch ohne Krankheitswert gewesen, denn sie habe nicht zu einer Einschränkung der Arbeitsfähigkeit geführt. Dies sei gemäss der Einschätzung von Dr. med. A._ erst in den Jahren 1996 und 1997 zu durchschnittlich 50 % der Fall gewesen. Damit übereinstimmend erwähne keiner der echtzeitlichen Arztberichte aus der Zeit von Mai 1995 bis Dezember 1995 psychische Beschwerden, da sie sich lediglich mit somatischen Beschwerden, insbesondere mit Magen- und Rückenproblemen befassten. Es sei folglich der Schluss zu ziehen, dass der Beschwerdeführer während der Versicherteneigenschaft bei der Beschwerdegegnerin nicht unter einer psychisch bedingten Arbeitsunfähigkeit gelitten habe, die später zur Invalidität geführt habe. Es fehle am engen sachlichen Zusammenhang zwischen der während der massgeblichen Zeit phasenweise aufgetretenen Arbeitsunfähigkeit aus somatischen Gründen und der später aus psychischen Gründen eingetretenen Invalidität.
3.2 Die tatsächlichen Feststellungen der Vorinstanz sind nicht mangelhaft im Sinne von Art. 97 Abs. 1 BGG. Namentlich hat das kantonale Gericht eingehend begründet, weshalb zwischen der nach beendigter Versicherteneigenschaft bei der eingeklagten Vorsorgeeinrichtung aufgetretenen Arbeitsunfähigkeit aus psychischen Gründen und der zeitweiligen Arbeitsunfähigkeit während der Arbeitstätigkeit von Mai bis Ende Dezember 1995 der von der Rechtsprechung geforderte enge sachliche Zusammenhang nicht besteht. Diese Schlussfolgerung ist nach der Aktenlage weder offensichtlich unrichtig noch ist darin eine unvollständige Sachverhaltsfeststellung oder eine Verletzung des Untersuchungsgrundsatzes zu erblicken. Die Verneinung eines Anspruchs auf Invalidenleistungen aus der obligatorischen Vorsorge verletzt schliesslich auch nicht Bundesrecht. Daran vermögen die weitgehend appellatorischen Vorbringen in der Beschwerde nichts zu ändern. Das kantonale Gericht schloss in willkürfreier Beweiswürdigung aus den Akten, dass eine rentenbegründende Arbeitsunfähigkeit aus psychischen Gründen in relevantem Ausmass erst nach Beendigung des Vorsorgeverhältnisses mit der Beschwerdegegnerin erstellt ist. So liegen keine echtzeitlichen Arbeitsunfähigkeitsbescheinigungen vor. Daran ändert nichts, dass damals depressive Verstimmungen und Leidensdruck in Arztberichten erwähnt worden sind. Immerhin ist in diesem Zusammenhang darauf hinzuweisen, dass der Beschwerdeführer nach den Feststellungen des kantonalen Gerichts im Jahre 1996 nebst dem Bezug von Arbeitslosenentschädigung für seine frühere Arbeitgeberin auf Abruf im Stundenlohn arbeitete und insgesamt nicht BVG-versicherten Lohn von Fr. 14'335.- bezog. Die IV-Stelle schliesslich setzte in ihrer Rentenverfügung die Eröffnung der einjährigen Wartezeit rund 3 Jahre nach Beendigung des Arbeitsverhältnisses fest, welches die Versicherteneigenschaft zur Beschwerdegegnerin begründete. Von einer unhaltbaren Beweiswürdigung durch die Vorinstanz kann deshalb nicht gesprochen werden, auch nicht im Zusammenhang mit der Beurteilung des Dr. med. C._. Eine Beweiswürdigung ist nicht bereits willkürlich, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn der Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation im Widerspruch steht oder auf einem offenkundigen Fehler beruht (<ref-ruling> E. 2b S. 56).
4. Die Gerichtskosten werden dem Beschwerdeführer, welchem mit Verfügung vom 19. Februar 2009 die unentgeltliche Rechtspflege verweigert worden ist, als unterliegende Partei auferlegt (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Mai 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer