Sachverhalt:
A. Die 1963 geborene N._ arbeitete seit Juli 1997 als selbstständige Wirtin. Im Januar 2004 wurde über sie der Konkurs eröffnet und ihre Einzelfirma im Handelsregister gelöscht. Im April 2006 meldete sie sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons St. Gallen ermittelte eine vollständige Arbeitsunfähigkeit in der bisherigen Tätigkeit als Wirtin, hingegen eine 50-prozentige Arbeitsfähigkeit in einer angepassten Tätigkeit, ein Invalideneinkommen von Fr. 24'018.- und aufgrund der im Auszug aus den individuellen Konten (IK) ausgewiesenen Einkommen des Jahres 2002 ein (auf 2007 aufgewertetes) Valideneinkommen von Fr. 32'757.-, was einen Invaliditätsgrad von 27 % ergab. Dementsprechend verneinte sie den Anspruch auf eine Invalidenrente mit Verfügung vom 15. September 2008.
B. Mit Entscheid vom 24. Juni 2010 sprach das Versicherungsgericht des Kantons St. Gallen N._ eine halbe Invalidenrente zu.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, den Entscheid vom 24. Juni 2010 aufzuheben und die Verfügung vom 15. September 2008 zu bestätigen.
N._ schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das kantonale Gericht verzichtet auf eine Vernehmlassung, während das Bundesamt für Sozialversicherungen die Gutheissung des Rechtsmittels beantragt.
Erwägungen:
1. Die Vorinstanz hat der Beschwerdegegnerin eine halbe Rente zugesprochen und die Sache zur Festsetzung des Anspruchsbeginns und der Höhe der Rente an die IV-Stelle zurückgewiesen. Die Beschwerde der IV-Stelle ist zulässig, ungeachtet ob der vorinstanzliche Entscheid trotz der teilweisen Rückweisung als Endentscheid (Art. 90 BGG; vgl. Urteil 9C_213/2008 vom 14. August 2008, E. 1) oder als Zwischenentscheid mit einem nicht wieder gutzumachenden Nachteil für die Verwaltung (Art. 93 Abs. 1 lit. a BGG; BGE 133 V 477 E. 5.2.4 S. 484 f.) betrachtet wird.
2. 2.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2.2 Auf der nicht medizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (BGE 130 V 343 E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136 f.). In dieser Sicht stellt sich die Feststellung der beiden hypothetischen Vergleichseinkommen als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Fragen, ob Tabellenlöhne anwendbar sind und welches die massgebliche Tabelle ist (BGE 132 V 393 E. 3.3 S. 399; Urteil 8C_255/2007 vom 12. Juni 2008 E. 1.2, nicht publ. in: BGE 134 V 322).
3. Nach der nicht offensichtlich unrichtigen und für das Bundesgericht daher verbindlichen (E. 2.1) vorinstanzlichen Sachverhaltsfeststellung ist die Beschwerdegegnerin in angepasster Tätigkeit zu 50 % arbeitsfähig. Für die Festsetzung des Invalideneinkommens hat das kantonale Gericht Tabellenlöhne der Lohnstrukturerhebung des Bundesamtes für Statistik herangezogen (LSE 2004, Tabelle TA1, Total Frauen, Anforderungsniveau 4), die betriebsübliche Wochenarbeitszeit sowie die reduzierte Arbeitsfähigkeit berücksichtigt und schliesslich einen leidensbedingten Abzug von 10 % vorgenommen. Daraus ergibt sich ein Invalideneinkommen von Fr. 21'863.-.
Streitig und zu prüfen ist der Rentenanspruch einzig mit Bezug auf die Höhe des Valideneinkommens. Die Vorinstanz ist der Auffassung, nachdem über die Versicherte der Konkurs eröffnet worden sei, könne nicht davon ausgegangen werden, dass sie ohne Gesundheitsschaden immer noch selbstständig erwerbend wäre. Sie hat folglich für das Valideneinkommen ebenfalls auf Tabellenlöhne (LSE 2004, Tabelle TA1, Total Frauen, Anforderungsniveau 4) abgestellt.
4. 4.1 Das Valideneinkommen ist dasjenige Einkommen, das die versicherte Person erzielen könnte, wenn sie nicht invalid geworden wäre (Art. 16 ATSG, Art. 28a Abs. 1 IVG). Für die Ermittlung des Valideneinkommens ist rechtsprechungsgemäss entscheidend, was die versicherte Person im Zeitpunkt des frühestmöglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdienen würde, und nicht, was sie bestenfalls verdienen könnte (BGE 131 V 51 E. 5.1.2 S. 53; Urteil 9C_488/2008 vom 5. September 2008, E. 6.4). Dabei wird in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, da erfahrungsgemäss die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen von diesem Erfahrungssatz müssen mit überwiegender Wahrscheinlichkeit erstellt sein (BGE 135 V 58 E. 3.1 S. 59 und E. 3.4.6 S. 64 f.).
4.2 Die Vorinstanz hat offen gelassen, ob und inwiefern die gesundheitliche Beeinträchtigung sich auf den Geschäftsgang ihres selbstständig geführten Betriebes auswirkte. Diesbezüglich sind indessen Sachverhaltsfeststellungen erforderlich: Das kantonale Gericht hat die Schlussfolgerung, wonach die Versicherte ohne Gesundheitsschaden eine unselbstständige Tätigkeit aufgenommen hätte, einzig auf den im Januar 2004 über die Versicherte eröffneten Konkurs gestützt. Dieser Umstand erlaubt den vorinstanzlichen Schluss indessen nur, sofern er nicht selber auf gesundheitliche Einschränkungen zurückzuführen und daher anzunehmen ist, dass er sich ohnehin eingestellt hätte (BGE 135 V 58 E. 3.4.6 S. 64; Plädoyer 2002/3 S. 73, I 696/01 E. 4 b/bb). Nach nicht offensichtlich unrichtiger vorinstanzlicher Feststellung (E. 2.1) trat das Rückenleiden der Beschwerdeführerin 2002 auf und fand im Juli 2002 eine radiologische Abklärung statt. Aus den Berichten des Spitals X._ vom 30. Januar und 6. Juni 2003 ergibt sich, dass die Beschwerdeführerin aufgrund ihrer Rückenschmerzen seit Weihnachten 2002 nicht mehr arbeitete. In den Akten finden sich keine Anhaltspunkte, dass der Konkurs oder die Aufgabe der selbstständigen Erwerbstätigkeit auch ohne die krankheitsbedingte Absenz erfolgt wäre, zumal allein ein geringes Einkommen diese Annahme nicht rechtfertigt. Es ist daher nach der allgemeinen Lebenserfahrung davon auszugehen, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre.
4.3 Angesichts der in Art. 25 Abs. 1 IVV (SR 831.201) vorgesehenen Gleichstellung der invalidenversicherungsrechtlich massgebenden hypothetischen Vergleichseinkommen mit den AHV-rechtlich beitragspflichtigen Erwerbseinkommen kann das Valideneinkommen von Selbstständigerwerbenden zumeist auf Grund der Einträge im Individuellen Konto (IK) bestimmt werden (SVR 2010 IV Nr. 26 S. 79, 8C_9/2009 E. 3.3; Urteil 8C_576/2008 vom 10. Februar 2009 E. 6.2).
4.4 Bezog eine versicherte Person aus invaliditätsfremden Gründen (z.B. geringe Schulbildung, fehlende berufliche Ausbildung, mangelnde Deutschkenntnisse, beschränkte Anstellungsmöglichkeiten wegen Saisonnierstatus) ein deutlich unterdurchschnittliches Einkommen, ist diesem Umstand bei der Invaliditätsbemessung nach Art. 16 ATSG durch eine Parallelisierung der Vergleichseinkommen Rechnung zu tragen, sofern keine Anhaltspunkte dafür bestehen, dass sie sich aus freien Stücken mit einem bescheideneren Einkommensniveau begnügen wollte (BGE 135 V 58 E. 3.1 S. 59). Nützte der Versicherte im Gesundheitsfall sein wirtschaftliches Potenzial nicht voll aus, so ist dieser nicht verwertete Teil der Erwerbsfähigkeit nicht versichert, denn die Erwerbsinvalidität hängt nicht von der Einbusse des mutmasslichen Potenzials bzw. des funktionellen Leistungsvermögens als solchem ab, sondern von der effektiven, gesundheitlich bedingten Einbusse im Erwerbseinkommen (BGE 135 V 58 E. 3.4.1-3.4.5 S. 60 ff.).
4.5 Die Versicherte war während rund fünf Jahren als Wirtin tätig und hat sich dabei - soweit ersichtlich (E. 4.6) - mit unterdurchschnittlichen Einkünften begnügt. Vor Aufnahme der selbstständigen Tätigkeit erzielte sie zwar ein bescheidenes, aber nicht deutlich unterdurchschnittliches Einkommen: Nach nicht offensichtlich unrichtiger vorinstanzlicher Feststellung betrug der versicherte Verdienst 1997 - aufgerechnet auf das Jahr 2004 - Fr. 47'014.-; die prozentuale Abweichung dieses Betrags vom Tabellenwert (vgl. Urteil 9C_632/2010 vom 29. Oktober 2010 E. 3.3.3) erreicht nicht die Erheblichkeitsgrenze von 5 % (BGE 135 V 297 E. 6.1.3 S. 303 f.). Eine Einkommensparallelisierung im Sinne einer Erhöhung des Valideneinkommens fällt daher ausser Betracht.
4.6 Mit rund fünf Jahren liegt - bezogen auf den Restaurantbetrieb, wie ihn die Versicherte anlässlich der Begutachtung durch den Regionalen Ärztlichen Dienst beschrieb - keine kurze Dauer der selbstständigen Tätigkeit vor, aus welcher auf eine ungenügende Grundlage für die Bestimmung des Invalideneinkommens zu schliessen wäre (BGE 135 V 58 E. 3.4.6 S. 64). Soweit die Versicherte vorbringt, nicht die steuerrechtlichen Daten resp. IK-Einträge (vgl. Art. 23 AHVV [SR 831.101]) sondern die nach betriebswirtschaftlichen Grundsätzen ermittelten Zahlen seien massgeblich, buchhalterische Unterlagen und Belege seien aber nicht mehr vorhanden, kann sie nichts für sich ableiten: In Bezug auf die Behauptung eines höheren Einkommens als das sich aus dem IK-Auszug ergebende hat sie die Folgen der Beweislosigkeit zu tragen (BGE 117 V 261 E. 3b S. 264; Urteil 9C_649/2007 vom 23. Mai 2008 E. 3). Indem die Verwaltung auf die IK-Einträge des Jahres 2002 abstellte, ging sie rechtmässig vor. Unter Berücksichtigung der Entwicklung der Reallöhne resp. der Teuerung bis 2004 beträgt das Valideneinkommen Fr. 31'659.- resp. Fr. 31'223.-. Daraus resultiert ein Invaliditätsgrad von höchstens 31 %, was den Anspruch auf eine Rente der Invalidenversicherung ausschliesst (Art. 28 IVG).
5. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 24. Juni 2010 wird aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. Dezember 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann