Sachverhalt:
A. Die 1956 geborene U._ ist verheiratet und Mutter dreier Kinder. Seit 1978 war sie erwerbstätig. Ab Januar 1992 arbeitete sie in einem Teilzeitpensum von 60 % im Reinigungsdienst des Spitals B._. Nachdem die IV-Stelle Basel-Stadt einen Rentenanspruch von U._ am 28. Februar 2001 abgelehnt und die damalige kantonale Rekurskommission für die Ausgleichskassen und IV-Stellen Basel-Stadt die Sache in teilweiser Gutheissung der von der Versicherten eingereichten Beschwerde zu weiteren Abklärungen an die Verwaltung zurückgewiesen hatte, holte diese eine Auskunft des Spitals B._ vom 4. Februar 2002 (Datum des Posteingangs) ein und veranlasste eine hauswirtschaftliche Abklärung (vom 17. Oktober 2002). Des Weiteren zog die IV-Stelle ein Gutachten des Psychiaters Dr. med. G._ vom 9. November 2004 bei und liess nochmals die Verhältnisse an Ort und Stelle prüfen (Abklärungsbericht Haushalt vom 25. Januar 2005). Gestützt auf diese Unterlagen, zusätzliche Abklärungen, eine rheumatologische Expertise des Dr. med. J._ vom 13. Februar 2006 sowie ein weiteres psychiatrisches Gutachtens des Dr. med. G._ vom 13. Mai 2007) lehnte die IV-Stelle das Rentengesuch nach durchgeführtem Vorbescheidverfahren am 3. Oktober 2007 verfügungsweise ab.
B. Die von U._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 21. August 2008 ab.
C. Die Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei ihr rückwirkend ab 1. Dezember 1999 eine halbe Invalidenrente zuzusprechen; eventuell sei die Sache zu neuer Entscheidung an das kantonale Gericht zurückzuweisen. Ferner ersucht sie um die Bewilligung der unentgeltlichen Prozessführung und Verbeiständung.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Die Vorinstanz hat die Bestimmungen über den Umfang des Invalidenrentenanspruchs (Art. 28 Abs. 1 IVG), die Bemessung des Invaliditätsgrades bei Erwerbstätigen nach der Einkommensvergleichsmethode (Art. 28 Abs. 2 IVG in Verbindung mit Art. 16 ATSG), bei Teilerwerbstätigen nach der gemischten Methode (siehe für die Zeit ab 1. Januar 2004 bis 31. Dezember 2007: Art. 28 Abs. 2ter IVG) sowie die Rechtsprechung zur Frage, in welchem Ausmass eine versicherte Person ohne Invalidität erwerbstätig wäre (BGE 125 V 146 E. 2c S. 150), zutreffend wiedergegeben. Darauf kann verwiesen werden.
3.
3.1 Das Sozialversicherungsgericht ging mit der IV-Stelle davon aus, dass die Beschwerdeführerin ohne Gesundheitsschaden zu 80 % ausser Haus arbeiten und daneben den Haushalt besorgen würde. Gestützt auf die psychiatrischen und das rheumatologische Gutachten resultiere auf Grund eines Einkommensvergleichs im erwerblichen Bereich eine gewichtete Einschränkung von 34 %, während die Behinderung bei den Hausarbeiten - ebenfalls gewichtet - 4-5 % betrage. Gesamthaft ergebe sich damit ein Invaliditätsgrad von höchstens 39 %, wehalb die Versicherte keine Rente beanspruchen könne.
3.2 Die Beschwerdeführerin kritisiert insbesondere die vorinstanzliche Invaliditätsbemessung wie auch die prozentuale Gewichtung der Aufgabenbereiche Haushalt und Erwerbstätigkeit. Ebenso rügt sie, dass die Vorinstanz bei der Berechnung des hypothetischen Invalideneinkommens keinen leidensbedingten Abzug vorgenommen habe. Ein solcher wäre indessen angebracht, weil sie seit fast 10 Jahren aus dem Erwerbsleben ausgeschieden sei. Sie könne nur noch unter erschwerten Bedingungen eine Teilzeitstelle finden. Zufolge lang dauernder Arbeitsabstinenz werde sie nur noch zu einem tieferen als dem durchschnittlichen Lohn als Raumpflegerin tätig sein können.
4.
4.1 Soweit die Beschwerdeführerin die Aufteilung der Aufgabenbereiche im Verhältnis von 80 % Erwerbstätigkeit und 20 % Haushalt in Frage stellt, ist ihr entgegenzuhalten, dass es sich dabei um eine verbindliche Sachverhaltsfeststellung handelt (Urteile des Eidgenössischen Versicherungsgerichts I 708/06 vom 23. November 2006 und I 693/06 vom 20. Dezember 2006). In der Beschwerde wird nichts vorgebracht, was auf eine offensichtlich unrichtige oder in Verletzung von Bundesrecht ergangene Feststellung des rechtserheblichen Sachverhalts durch die Vorinstanz im Sinne von Art. 97 Abs. 1 BGG schliessen liesse. Die Kritik an der vom Sozialversicherungsgericht gestützt auf die Gutachten der Dres. med. J._ (vom 13. Februar 2006) und G._ (vom 13. Mai 2007) angenommene Arbeitsunfähigkeit von höchstens 50 % im erwerblichen Bereich ist unbegründet; eine offensichtlich unrichtige Sachverhaltsfeststellung wird in der Beschwerde nicht dargelegt. Weshalb die vorinstanzliche Feststellung, die Arbeitsfähigkeit im Haushalt sei nur zu 20-25 % eingeschränkt, willkürlich sein soll, vermag angesichts der Angaben im Gutachten des Psychiaters Dr. G._ (Beeinträchtigung von 20 %) sowie der Abklärung an Ort und Stelle vom 7. Dezember 2004, welche eine Behinderung von 25 % ergab, nicht einzuleuchten. Im Weiteren beanstandet die Versicherte die gemischte Methode der Invaliditätsbemessung, wie sie die Vorinstanz nach Massgabe der geltenden Rechtsprechung (BGE 130 V 393) angewendet hat, ohne aber vorzubringen, inwiefern der angefochtene Entscheid Bundesrecht verletzen soll.
4.2 Was schliesslich die Frage betrifft, ob die Vorinstanz, soweit die Invalidität anhand eines Einkommensvergleichs zu bemessen ist, einen sogenannten Leidensabzug vom Invalideneinkommen hätte vornehmen müssen, handelt es sich um eine vom Bundesgericht frei überprüfbare Rechtsfrage (BGE 132 V 393 E. 3.3 S. 399). Ob und in welchem Ausmass Tabellenlöhne herabzusetzen sind, hängt nach der Rechtsprechung von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalles ab (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad), welche nach pflichtgemässen Ermessen gesamthaft zu schätzen sind. Dabei erlaubt ein Abzug vom statistischen Lohn von insgesamt höchstens 25 %, den verschiedenen Merkmalen, die das Erwerbseinkommen zu beeinflussen vermögen, Rechnung zu tragen (BGE 126 V 75 E. 5a S. 78 f.). Das kantonale Gericht hat das Vorliegen derartiger, das Erwerbseinkommen beeinflussender Merkmale verneint. Da die Verminderung der Arbeitsfähigkeit aus fachärztlicher Sicht höchstens 50 % beträgt, gereiche die Reduktion des Tabellenlohnes um 50 % der Beschwerdeführerin zum Vorteil. Ferner sei die aus statistischer Sicht lohnerhöhende Wirkung der (hypothetischen) Teilzeitbeschäftigung zu beachten; diese übersteige den Nachteil, der aus der Aufenthaltsbewilligung der Kategorie C resultiert. Die Bedeutung der fehlenden Dienstjahre nehme zudem ab, je niedriger das Anforderungsprofil ist.
Dieser Beurteilung ist beizupflichten. Der Umstand, dass die Versicherte seit Jahren nicht mehr im Erwerbsleben steht, ist nicht geeignet, ein wesentlich tieferes Einkommen als von der Vorinstanz angenommen zu begründen. Ebenso wenig vermag das Alter der 1956 geborenen Beschwerdeführerin ein tieferes Invalideneinkommen zu rechtfertigen, ist doch nicht einzusehen, weshalb eine 52-jährige Frau aus Altersgründen nur mit Mühe eine Teilzeitstelle als Raumpflegerin finden soll, zumal eine derartige Tätigkeit keine lange Einarbeitungszeit erfordert, was einen potenziellen Arbeitgeber allenfalls davon abhalten könnte, eine Person in fortgeschrittenem Alter anzustellen. Schliesslich ist auch eine schlechte Prognose der beiden Sachverständigen hinsichtlich der Wiederaufnahme einer Erwerbstätigkeit durch die Versicherte kein Grund, einen Abzug vom Invalideneinkommen als angezeigt erscheinen zu lassen.
5. Dem Gesuch der Beschwerdeführerin um unentgeltliche Rechtspflege ist stattzugeben, da die Bedürftigkeit aktenkundig ist, ihr Antrag nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Anwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Die Beschwerdeführerin wird jedoch auf Art. 64 Abs. 4 BGG hingewiesen, wonach sie der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Advokat Dr. Nicolas Roulet, Basel, wird aus der Gerichtskasse eine Entschädigung von Fr. 2'500.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Coop AHV-Ausgleichskasse und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. November 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer