Sachverhalt:
A. Die 1977 geborene O._ wurde 1989 von ihrer Mutter wegen Entwicklungsrückstand und schulpsychologischer Probleme bei der Invalidenversicherung zum Leistungsbezug angemeldet. Von August 1989 bis Juni 1997 wurden ihr Sonderschulung sowie medizinische und berufliche Massnahmen gewährt. Unter Hinweis auf grosse Lernschwierigkeiten (Legasthenie, Dyskalkulie) meldete sich O._ im Februar 2005 erneut bei der Invalidenversicherung an. Die IV-Stelle Basel-Stadt sprach ihr berufliche Massnahmen zu, hingegen verneinte sie nach Abklärungen und Durchführung des Vorbescheidverfahrens mit Verfügung vom 6. Februar 2008 mangels leistungsbegründender Invalidität einen Rentenanspruch.
B. In Gutheissung der Beschwerde der O._ hob das Sozialversicherungsgericht Basel-Stadt die angefochtene Verfügung mit Entscheid vom 3. Dezember 2008 auf und wies die Sache zum neuen Entscheid im Sinne der Erwägungen an die Verwaltung zurück.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung des angefochtenen Entscheides.
O._ und das kantonale Gericht schliessen auf Abweisung der Beschwerde. Die Versicherte lässt ferner um unentgeltliche Rechtspflege ersuchen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.
Erwägungen:
1. Der als Vor- oder Zwischenentscheid im Sinne des BGG zu qualifizierende (vgl. BGE 133 V 477 E. 4.2 S. 481 f.) kantonale Rückweisungsentscheid vom 3. Dezember 2008 kann unter den Voraussetzungen des Art. 93 Abs. 1 BGG angefochten werden. Danach ist die Beschwerde gegen andere (d.h. nicht die Zuständigkeit oder Ausstandsbegehren betreffende [vgl. Art. 92 BGG]) selbstständig eröffnete Vor- und Zwischenentscheide zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können, oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde.
Soweit mit dem kantonalen Rückweisungsentscheid der Invaliditätsgrad der Versicherten auf 48 % und der Anspruch auf eine Viertelsrente der Invalidenversicherung festgelegt werden, enthält er abschliessende materielle Vorgaben, an welche die IV-Stelle gebunden ist. Diesbezüglich hat er für die Verwaltung einen nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG zur Folge (vgl. BGE 133 V 477 E. 5.2 S. 483 ff.). Auf die Beschwerde ist daher einzutreten.
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (Urteil 9C_294/2007 vom 10. Oktober 2007 E. 2 mit Hinweis; vgl. BGE 132 II 257 E. 2.5 S. 262;130 III 136 E. 1.4 S. 140).
3. 3.1 Die Vorinstanz hat nicht offensichtlich unrichtig und daher für das Bundesgericht verbindlich festgestellt (E. 2), die Beschwerdeführerin sei in ihrer psychischen Gesundheit beeinträchtigt und die dadurch bedingten Lese- und Rechenschwächen sowie die Prüfungsangst hätten bis anhin eine berufliche Ausbildung verunmöglicht. Es sei von einer vollständigen Arbeitsfähigkeit in einer angepassten Tätigkeit auszugehen. In der Folge hat sie den Rentenanspruch ab 1. Februar 2004 (vgl. Art. 48 Abs. 2 IVG in der bis 31. Dezember 2007 geltenden Fassung) unter Anwendung der allgemeinen Methode des Einkommensvergleichs (vgl. Art. 16 ATSG) geprüft.
3.2 Invalidität liegt nur vor, wenn nach zumutbarer Eingliederung ein ganzer oder teilweiser Verlust der Erwerbsmöglichkeiten verbleibt (Art. 8 Abs. 1 in Verbindung mit Art. 7 Abs. 1 ATSG sowie Art. 16 ATSG; vgl. auch Art. 28 Abs. 1 lit. a IVG in der ab 1. Januar 2008 geltenden Fassung). Damit wird der Grundsatz "Eingliederung vor Rente" statuiert, welcher bewirkt, dass vor der Durchführung von Eingliederungsmassnahmen eine Rente nur gewährt werden darf, wenn die versicherte Person wegen ihres Gesundheitszustandes (noch) nicht eingliederungsfähig ist (BGE 121 V 190 E. 4a und c S. 191 ff.; HAVE 2003 S. 253, I 739/02 E. 4; Urteil des Eidg. Versicherungsgerichts I 287/01 vom 22. November 2001 E. 2b/aa).
3.3 Mit Verfügung vom 30. Januar 2007 schloss die IV-Stelle die zuvor der Versicherten gewährte Berufsberatung und Abklärung der beruflichen Eingliederungsmöglichkeiten vorläufig ab, weil zur Zeit behinderungsfremd keine beruflichen Massnahmen möglich seien. Ausserdem stellte sie den grundsätzlichen Anspruch auf die Vergütung von Mehrkosten im Rahmen einer allfälligen erstmaligen beruflichen Ausbildung fest. Die Berufsberatung der Invalidenversicherung halte nach erfolgreich durchlaufenen vorbereitenden Massnahmen den Besuch des Lehrgangs "Link zum Beruf" der allgemeinen Gewerbeschule für sinnvoll. Dafür reiche zu gegebener Zeit eine kurze briefliche Mitteilung.
Vorinstanzliche Sachverhaltsfeststellungen zur Eingliederungsfähigkeit der Versicherten fehlen, können aber aufgrund der Akten ergänzt werden (Art. 105 Abs. 2 BGG). Infolge der gesundheitlich bedingten Lese- und Schreibschwäche hat die Berufsberatung den Besuch von Deutsch- und Mathematikkursen als Vorbereitung auf den vorgesehenen Lehrgang "ganz dringend" empfohlen. Dem ist die Versicherte nachgekommen; bis zum Erlass der angefochtenen Verfügung am 6. Februar 2008 (vgl. BGE 131 V 407 E. 2.1.2.1 S007 412, 116 V 246 E. 1a S. 248) ist es aber dennoch nicht gelungen, die vorgeschlagene Eingliederungsmassnahme durchzuführen. Trotz voller Arbeitsfähigkeit für angepasste Tätigkeiten (E. 3.1) war die Beschwerdeführerin invaliditätsbedingt nicht eingliederungsfähig, weshalb Verwaltung und Vorinstanz zu Recht den Rentenanspruch geprüft haben.
3.4 Anspruch auf eine Rente haben u.a. Versicherte, die während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens 40 Prozent arbeitsunfähig gewesen sind (Art. 28 Abs. 1 lit. b IVG resp. Art. 29 Abs. 1 lit. b IVG in der bis 31. Dezember 2007 geltenden Fassung). Die diese Wartezeit auslösende Arbeitsunfähigkeit bezieht sich auf den bisherigen, d.h. ohne gesundheitliche Beeinträchtigung ausgeübten Beruf oder Aufgabenbereich (Art. 6 ATSG; vgl. UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 11 f. zu Art. 6 ATSG). Die Versicherte leidet im Wesentlichen am gleichen Gesundheitsschaden, welcher ihr bereits als Kind und Jugendliche Anspruch auf Leistungen der Invalidenversicherung vermittelte, weil sie weder die Schule in einer Regelklasse noch eine berufliche Ausbildung absolvieren konnte. Es ist daher ohne Weiteres davon auszugehen, dass die Wartezeit abgelaufen ist.
4. 4.1 Die Vorinstanz hat das Valideneinkommen unter Anwendung von Art. 26 Abs. 1 IVV auf Fr. 69'500.- festgesetzt. Diesen Betrag hat sie in ihrer Stellungnahme vom 25. März 2009 aufgrund des unrichtig berücksichtigten Alters der Beschwerdeführerin auf Fr. 62'550.- (für die Zeit vom 1. Februar 2004 bis 30. November 2007) resp. Fr. 72'500.-(ab 1. Dezember 2007) korrigiert. Das Invalideneinkommen hat das kantonale Gericht gestützt auf die im August 2003 aufgegebene Tätigkeit als Fitnessberaterin und unter Berücksichtigung der Nominallohnentwicklung mit Fr. 36'396.- resp. Fr. 37'834.- (ab Dezember 2007) beziffert. Daraus hat es einen Invaliditätsgrad von 42 resp. 48 % errechnet, was Anspruch auf eine Viertelsrente begründet (Art. 28 IVG).
4.2 Auf der nicht medizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (BGE 130 V 343 E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136 f.). In dieser Sicht stellt sich die Feststellung der hypothetischen Vergleichseinkommen als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Fragen, ob Tabellenlöhne anwendbar sind und welches die massgebliche Tabelle ist (BGE 132 V 393 E. 3.3 S. 399; Urteil 8C_255/2007 vom 12. Juni 2008 E. 1.2, nicht publ. in: BGE 134 V 322).
4.3 In Bezug auf das Valideneinkommen ist auf die von der Vorinstanz in ihrer Stellungnahme genannten Beträge abzustellen (E. 4.1), welche den Beanstandungen der Beschwerdeführerin Rechnung tragen.
4.4 Für die Festsetzung des Invalideneinkommens ist primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Übt sie eine Erwerbstätigkeit aus, bei der - kumulativ - besonders stabile Arbeitsverhältnisse gegeben sind und anzunehmen ist, dass sie die ihr verbleibende Arbeitsfähigkeit in zumutbarer Weise voll ausschöpft, und erscheint zudem das Einkommen aus der Arbeitsleistung als angemessen und nicht als Soziallohn, gilt grundsätzlich der tatsächlich erzielte Verdienst als Invalidenlohn. Ist kein solches tatsächlich erzieltes Erwerbseinkommen gegeben, namentlich weil die versicherte Person nach Eintritt des Gesundheitsschadens keine oder jedenfalls keine ihr an sich zumutbare neue Erwerbstätigkeit aufgenommen hat, so können Tabellenlöhne gemäss den vom Bundesamt für Statistik periodisch herausgegebenen Lohnstrukturerhebungen (LSE) herangezogen werden (BGE 129 V 472 E. 4.2.1 S. 475 mit Hinweisen).
4.5 Nach Aufgabe der Tätigkeit als Fitnessbetreuerin Ende August 2003 schöpfte die Versicherte ihre vollständige Arbeitsfähigkeit (E. 3.1) höchstens noch teilweise - und jedenfalls nicht in stabilen Arbeitsverhältnissen - aus. Unter diesen Umständen ist für das Invalideneinkommen nicht auf den früher erzielten Lohn, sondern auf die Tabellenlöhne der LSE 2004 und 2006 (Tabelle TA1, Total Frauen, einfache und repetitive Tätigkeiten) abzustellen. Anhaltspunkte für einen Abzug vom Tabellenlohn (BGE 134 V 322 E. 5.2 S. 327) sind nicht ersichtlich und werden auch nicht geltend gemacht. Unter Berücksichtigung der betriebsüblichen Wochenarbeitszeit und gegebenenfalls der Nominallohnentwicklung beträgt das Invalideneinkommen ab Februar 2004 Fr. 48'585.- (Fr. 3'893.- x 12 : 40 x 41,6) und ab Dezember 2007 Fr. 51'032.- (Fr. 4'019.- x 12 : 40 x 41,7 x 101,5 %). Daraus ergibt sich ein Invaliditätsgrad von 21 resp. 30 %, was für einen Rentenanspruch nicht genügt (Art. 28 IVG). Die Beschwerde ist begründet.
5. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Ihrem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 BGG; BGE 125 V 201 E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 3. Dezember 2008 aufgehoben.
2. Der Beschwerdegegnerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Donald Stückelberger, Basel, wird als unentgeltlicher Anwalt der Beschwerdegegnerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'500.- ausgerichtet.
5. Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Sozialversicherungsgericht Basel-Stadt zurückgewiesen.
6. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Juni 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann