Sachverhalt:
A. Die 1957 geborene S._ erlitt am 22. Juni 1998 bei der Arbeit als Krankenschwester einen Unfall, bei dem sie namentlich den Kopf anschlug. Der zuständige obligatorische Unfallversicherer gewährte Heilbehandlung und richtete Taggeld aus. Mit Wirkung ab 1. August 2005 verneinte er seine Leistungspflicht mit der Begründung, es fehle an einer kausalen Bedeutung des Unfalls vom 22. Juni 1998 für die noch bestehenden Beschwerden. Dies bestätigte das Versicherungsgericht des Kantons St. Gallen mit rechtskräftigem Entscheid vom 10. Oktober 2007.
Zwischenzeitlich hatte sich S._ im Mai 2002 erstmals bei der Invalidenversicherung zum Rentenbezug angemeldet und angegeben, an chronischen Nackenschmerzen (cervico-cephales Schmerzsyndrom) durch Distorsion der Halswirbelsäule (HWS) und an einem Lumbovertebralsyndrom zu leiden. Die IV-Stelle des Kantons St. Gallen eröffnete ihr mit Verfügung vom 18. August 2002, das Leistungsbegehren müsse zurzeit abgewiesen werden, da die bei lang dauernder Krankheit zu bestehende einjährige Wartezeit noch nicht abgelaufen sei. Im Januar 2003 beantragte S._ erneut die Zusprechung einer Invalidenrente. Die IV-Stelle zog die Akten des Unfallversicherers bei und holte nebst weiteren medizinischen und erwerblichen Abklärungen ein polydisziplinäres medizinisches Gutachtens des Instituts N._ vom 16. Mai 2007 ein. Sodann gewährte sie der Versicherten vorübergehend Berufsberatung. Mit Verfügung vom 22. September 2008 verneinte die IV-Stelle einen Rentenanspruch mit der Begründung, der Invaliditätsgrad betrage lediglich 30 %.
B. Beschwerdeweise beantragte S._, es sei die Verfügung vom 22. September 2008 betreffend Invalidenrente aufzuheben und ab Januar 2003 eine solche zuzusprechen; eventuell "seien vorgängig nochmals die beantragten beruflichen Massnahmen" zu prüfen. Das Versicherungsgericht des Kantons St. Gallen gewährte S._ die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 27. Mai 2010 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der vorinstanzliche Entscheid sowie die Verfügung vom 22. September 2008 betreffend Invalidenrente seien aufzuheben und es sei ihr ab Januar 2003 eine solche zuzusprechen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten je auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: BGE 135 V 194, aber in: SVR 2009 UV Nr. 35 S. 120).
Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Streitig und zu prüfen ist in erster Linie der Anspruch auf eine Invalidenrente der Invalidenversicherung. Dieser setzt einen Invaliditätsgrad von mindestens 40 % voraus (Art. 28 Abs. 2 IVG in der seit Anfang 2008 geltenden Fassung; Art. 28 Abs. 1 IVG in den bis Ende 2007 in Kraft gestandenen Fassungen). Für die Bemessung der Invalidität von erwerbstätigen Versicherten ist Art. 16 ATSG anwendbar (Art. 28a Abs. 1 erster Satz IVG, in Kraft seit Anfang 2008, Art. 28 Abs. 2 erster Satz IVG in der von Anfang 2004 bis Ende 2007 gültig gewesenen Fassung). Gemäss dieser Norm wird für die Bestimmung des Invaliditätsgrades das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre.
2.1 Die IV-Stelle hat den Einkommensvergleich nach den im Jahr 2008 gegebenen Verhältnissen vorgenommen. Sie hat das Einkommen, das die Versicherte ohne Gesundheitsschädigung mutmasslich erzielt hätte (Valideneinkommen), gestützt auf den zuletzt als Krankenschwester erzielten und der Lohnentwicklung angepassten Verdienst auf Fr. 90'116.- festgesetzt.
Bei der Bestimmung des trotz Gesundheitsschädigung zumutbarerweise noch erzielbaren Einkommens (Invalideneinkommen) ging die Verwaltung namentlich gestützt auf das Gutachten des Instituts N._ vom 16. Mai 2007 davon aus, in der angestammten Tätigkeit einer Krankenschwester sei die Versicherte noch zu 50 % arbeitsfähig. In einer leidensangepassten, körperlich leichten bis gelegentlich mittelschweren Tätigkeit bestehe eine 80 %ige Arbeitsfähigkeit im Sinne eines vollzeitlichen Arbeitspensums bei 20 %iger Leistungseinbusse. Bei der seit November 2004 in einem geringen Pensum im Altersheim F._ ausgeübten Arbeit handle es sich um eine solche leidensangepasste Tätigkeit. Gemäss Angabe des Arbeitgebers beliefe sich der dabei in einem vollen Pensum ohne gesundheitliche Beeinträchtigung zu erzielende Lohn auf Fr. 78'601.20. Davon seien bei der gegebenen gesundheitsbedingten Einschränkung 80 % anzurechnen. Der Vergleich des resultierenden Invalideneinkommens von Fr. 62'881.- mit dem Valideneinkommen von Fr. 90'116.- ergebe eine Erwerbseinbusse von Fr. 27'235.--, entsprechend einem nicht rentenbegründenden Invaliditätsgrad von (gerundet) 30 %. Auch die Bestimmung des Invalideneinkommens mittels statistischer Löhne gemäss der Schweizerischen Lohnstrukturerhebung (LSE) führe zu einem Invaliditätsgrad unter den für einen Rentenanspruch erforderlichen 40 %.
2.2 Das kantonale Gericht hat zunächst im Zusammenhang mit dem Eventualantrag auf Prüfung beruflicher Massnahmen erwogen: "Da die Erfüllung der im Grundsatz der Eingliederung vor Rente zum Ausdruck gebrachten IV-rentenspezifischen Schadenminderungspflicht die zwingende Voraussetzung jeder Rentenzusprache ist, muss sie immer von Amtes wegen geprüft werden, bevor endgültig über ein Rentenbegehren entschieden werden kann. Das Gericht müsste diese Frage also auch dann vorweg beantworten, wenn die Beschwerdeführerin dies nicht beantragt hätte. Das bedeutet, dass die Notwendigkeit einer beruflichen Eingliederung zur Vermeidung oder Verminderung eines allfälligen Rentenanspruchs zwingend geprüft werden muss".
Die Vorinstanz geht mithin davon aus, über die Rentenfrage könne stets nur dann befunden werden, wenn bereits über den Anspruch auf berufliche Massnahmen entschieden sei. Das trifft in dieser Absolutheit nicht zu und ergibt sich auch nicht aus dem Grundsatz "Eingliederung vor Rente". Ziel ist, eine Invalidenrente erst und nur dann auszurichten, wenn die Möglichkeiten, welche Eingliederungsmassnahmen zur Verbesserung der gesundheitsbedingt beeinträchtigten Erwerbsfähigkeit bieten, ausgeschöpft sind. Ist ein Rentenanspruch indessen von vornherein zu verneinen, kann der Entscheid hierüber unabhängig von allfälligen Eingliederungsmassnahmen gefällt werden.
2.3 Den von der Verwaltung bestimmten Invaliditätsgrad von 30 % hat das kantonale Gericht bestätigt.
Es hat erwogen, grundsätzlich wäre der Einkommensvergleich anhand der Zahlen des Jahres 2003, ab welchem eine Rente geltend gemacht werde, vorzunehmen. Aufgrund der konkreten Umstände müsse aber ausnahmsweise auf die Verhältnisse im Jahr 2005 abgestellt werden. Eine relevante Unstimmigkeit als Folge einer unterschiedlichen Lohnentwicklung sei angesichts der kurzen Zeitspanne nicht zu erwarten.
Zur Bestimmung des Einkommens ohne Gesundheitsschaden stützte sich das kantonale Gericht wie bereits die Verwaltung auf den zuletzt erzielten Lohn als Krankenschwester. Sie rechnete die Lohnentwicklung bis ins Jahr 2005 auf mit dem Ergebnis eines Valideneinkommens von Fr. 88'156.-.
Beim Einkommen mit Gesundheitsschaden ging die Vorinstanz vom selben gesundheitsbedingt gegebenen Zumutbarkeitsprofil wie die IV-Stelle aus. Sie erkannte sodann, dass damit die derzeit im Umfang von 30 % verrichtete Tätigkeit im Altersheim F._ mit einem 80 %-Pensum ausgeübt werden könne. Das Invalideneinkommen belaufe sich demnach auf Fr. 62'720.-. Die Gegenüberstellung beider Einkommen ergebe eine Erwerbseinbusse von Fr. 25'436.-, entsprechend einem Invaliditätsgrad von knapp 30 %.
2.4 Die Beschwerdeführerin erhebt verschiedene Einwände.
2.4.1 Sie stört sich zunächst daran, dass die Vorinstanz von einer "vorläufigen" Invaliditätsbemessung gesprochen hat. Diese Begriffsverwendung erfolgte in der Annahme des kantonalen Gerichts, dass vor der Prüfung der Rentenfrage jedenfalls zunächst eine Invaliditätsbemessung im Hinblick auf den Anspruch auf berufliche Massnahmen vorzunehmen sei. Das trifft nach dem zuvor Gesagten nicht zu, hat aber hier keine weiteren Auswirkungen. Die Vorinstanz legte den ermittelten "vorläufigen" Invaliditätsgrad nämlich auch der Beurteilung des Rentenanspruchs zugrunde, und es sind keine Anhaltspunkte dafür erkennbar, dass die Invaliditätsbemessung für die Rentenfrage anders hätte vorgenommen werden müssen.
2.4.2 Das von der Vorinstanz festgesetzte Valideneinkommen wird nicht beanstandet. In Bezug auf das Invalideneinkommen wird geltend gemacht, die Stelle im Altersheim F._ sei speziell für die Bedürfnisse der Versicherten geschaffen worden und könne nicht weiter ausgebaut werden. Es sei daher bei der Bestimmung des Invalideneinkommens auf das dort tatsächlich erzielte Einkommen abzustellen. Allenfalls seien LSE-Löhne heranzuziehen. Beides habe einen rentenbegründenden Invaliditätsgrad zur Folge.
2.4.2.1 Auf den tatsächlich erzielten Verdienst kann vorliegend mit Verwaltung und Vorinstanz nicht abgestellt werden. Denn mit dem geringen Pensum im Altersheim schöpft die Versicherte ihre verbliebene Arbeitsfähigkeit nicht in zumutbarer Weise voll aus, was - nebst anderem - für die Anrechnung dieses Verdienstes als Invalideneinkommen vorausgesetzt wäre (BGE 129 V 472 E. 4.2.1 S. 475; 117 V 8 S. 18 mit Hinweisen).
2.4.2.2 Gemäss Verwaltung und Vorinstanz wäre die Ausübung der jetzigen - in der Bestellung, Herrichtung und Kontrolle von Medikamenten sowie in weiteren Verrichtungen ausserhalb des eigentlichen Pflegebereichs bestehenden - Tätigkeit im Altersheim in einem 80 % Pensum (vollzeitlich mit 20 %iger Leistungseinbusse) vom gesundheitlichen Standpunkt aus zumutbar. Diese Beurteilung stützt sich namentlich auf das Gutachten des Instituts N._ vom 16. Mai 2007 und ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden.
2.4.2.3 Für den Fall, dass ein solcher Ausbau des Pensums betrieblich nicht möglich wäre, ist daran zu erinnern, dass die versicherte Person im Rahmen der ihr obliegenden Schadenminderungspflicht gehalten ist, andere zumutbare Stellen in Betracht zu ziehen, welche die erwerbliche Ausschöpfung ihrer Arbeitsfähigkeit besser gewährleisten. Zur Bestimmung des hiebei zumutbarerweise erzielbaren Einkommens können Tabellenlöhne gemäss LSE herangezogen werden (BGE 126 V 75).
2.4.2.4 Die IV-Stelle hat wie bereits erwähnt das Invalideneinkommen auch nach Massgabe von LSE-Löhnen bestimmt. Sie ging hiebei vom Anforderungsniveau 2 (selbstständige und qualifizierte Arbeiten) im Gesundheits- und Sozialwesen aus. Gemäss LSE 2004 belief sich der hiebei von Frauen erzielte monatliche Bruttolohn (Zentralwert bei einer standardisierten Arbeitszeit von 40 Wochenstunden) auf Fr. 6'317.- (LSE 2004 Tabelle TA1 S. 53). Die Umrechnung auf die betriebsübliche Arbeitszeit im Jahr 2005 von 41.5 Stunden (Die Volkswirtschaft, Heft 7/8/2010, Tabelle B9.2 S. 90) und die Berücksichtigung der Nominallohnentwicklung 2004/2005 von 0.6 % (Die Volkswirtschaft, a.a.O., Tabelle B10.2 S. 91) führen aufs Jahr (x 12) zu einem Einkommen von Fr. 79'119.-. Mit Blick auf die Restarbeitsfähigkeit von 80 % ergibt sich ein Invalideneinkommen von Fr. 63'295.- und in Gegenüberstellung mit dem Valideneinkommen, welches gemäss dem diesbezüglich unbestrittenen vorinstanzlichen Entscheid Fr. 88'156.- beträgt (E. 2.2.2 hievor), eine Erwerbseinbusse von Fr. 24'861.-. Das entspricht einem Invaliditätsgrad von (gerundet) 28 %.
2.4.2.5 In der Beschwerde wird geltend gemacht, ein Einsatz der Versicherten im Gesundheitsbereich dürfte aufgrund der bestehenden gesundheitsbedingten Einschränkungen nicht in Frage kommen. Vorstellbar wäre eine Tätigkeit im Sozialbereich, wofür aber die Qualifikationen der Beschwerdeführerin nicht ausreichten. Es müsse daher von LSE-Löhnen im Sozialbereich von Frauen ohne berufliche Qualifikationen (gemeint ist damit offensichtlich das LSE-Anforderungsniveau 4 "einfache und repetitive Tätigkeiten") ausgegangen und die Restarbeitsfähigkeit von 80 % berücksichtigt werden. Vom so bestimmten Invalideneinkommen sei ein leidensbedingter Abzug vorzunehmen. Wolle man hingegen von einem höheren Invalideneinkommen ausgehen, müssten vorgängig berufliche Massnahmen geprüft werden. Bis jetzt sei nämlich nicht geklärt, welche adaptierten Tätigkeiten der Beschwerdeführerin im Umfang von 80 % tatsächlich offenstünden und welche zusätzlichen beruflichen Voraussetzungen sie hiefür benötigen würde.
2.4.2.6 Die Beschwerdeführerin hat gemäss Anmeldung vom Mai 2002 die Primar- und die Sekundarschule sowie eine Ausbildung zur Krankenschwester, eine Zusatzausbildung zur Stationsschwester WPI und die "HöFa I Onkologie" in St. Gallen (gemeint ist offenbar, zumindest nach aktueller Terminologie, die in St. Gallen angebotene "Höhere Fachausbildung in Krankenpflege Stufe 1 Schwerpunkt Onkologie") absolviert. Sie verfügt auch über eine lange Berufserfahrung in diesem Tätigkeitsbereich. Zudem ist sie im Altersheim F._ gemäss dessen Bericht vom 21. September 2007 nebst dem Tätigkeitsbereich Medikamente mit dem Erstellen von Biographien der Pensionäre und dem Erteilen von Auskünften an diese betraut und nimmt an Anlässen der Pensionäre, an Teamsitzungen sowie an internen Weiterbildungen teil. Die Versicherte verfügt damit über ein breites Profil an Berufsausbildung und -erfahrung, das einen Einsatz im Gesundheitswesen, welches auch über körperlich weniger anspruchsvolle Stellen verfügt, und im Sozialwesen ermöglicht. Dabei erscheint ein Einsatz auf dem Anforderungsniveau 2 zumindest vorstellbar.
Jedenfalls möglich ist eine Tätigkeit mit Anforderungsniveau 3 (Berufs- und Fachkenntnisse vorausgesetzt). Aber auch wenn zugunsten der Beschwerdeführerin von diesem niedrigeren Anforderungsprofil ausgegangen wird, lässt sich der für eine Rente mindestens erforderliche Invaliditätsgrad von 40 % nicht erreichen. Der monatliche Lohn von Frauen in diesem Tätigkeitsbereich betrug im Jahr 2004 Fr. 5404.- (LSE 2004, a.a.O.). Der betriebsüblichen Arbeitszeit und der Nominallohnentwicklung 2004/2005 (wie vorstehend 41.5 Stunden resp. 0.6 %) angepasst ergibt sich aufs Jahr (x 12) ein Einkommen von Fr. 67'683.-. 80 % davon entsprechen Fr. 54'146.-. Aus der Gegenüberstellung mit dem Valideneinkommen von Fr. 88'156.- (E. 2.2.2 hievor) resultiert eine Erwerbseinbusse von 34'010.-, entsprechend (gerundet) 39 %. Ein rentenbegründender Invaliditätsgrad wäre demnach nur unter Anrechnung eines leidensbedingten Abzuges vorstellbar. Ein solcher Abzug ist aber nicht gerechtfertigt. Es besteht in leidensadaptierten Tätigkeiten eine vollzeitliche Arbeitsfähigkeit, und der hiebei eingeschränkten Leistungsfähigkeit ist mit den bereits berücksichtigten 20 % Rechnung getragen. Andere Faktoren, welche einen Abzug zu begründen vermöchten, werden nicht geltend gemacht und sind nicht ersichtlich.
2.4.2.7 Zusammenfassend haben Verwaltung und Vorinstanz im Ergebnis einen Rentenanspruch zu Recht verneint.
3. Der angefochtene Entscheid befasst sich weiter mit dem Anspruch auf berufliche Eingliederungsmassnahmen. Die Vorinstanz hat einen solchen Anspruch mit der Begründung verneint, hiefür wäre ein Invaliditätsgrad von mindestens 40 % erforderlich, welcher hier nicht gegeben sei.
Die Beschwerdeführerin wendet ein, das kantonale Gericht hätte sich mit den beruflichen Massnahmen gar nicht befassen dürfen, fehle es doch an einer Verfügung der IV-Stelle hierüber und damit an einem Anfechtungsgegenstand. Darauf hatte auch die IV-Stelle in ihrer vorinstanzlichen Vernehmlassung hingewiesen.
Der Inhalt der - einzig vorliegenden - Verfügung der IV-Stelle vom 22. September 2008 und deren Ausführungen in der vorinstanzlichen Vernehmlassung werfen bezüglich des Vorgehens des kantonalen Gerichts in der Tat Fragen auf. Diese müssen aber nicht abschliessend beantwortet werden. Denn wie die folgenden Erwägungen zeigen lässt sich der Anspruch auf berufliche Eingliederungsmassnahmen jedenfalls nicht mit der vorinstanzlichen Begründung verneinen.
Invalide oder von einer Invalidität (Art. 8 ATSG) bedrohte Versicherte haben Anspruch auf Eingliederungsmassnahmen, soweit diese notwendig und geeignet sind, die Erwerbsfähigkeit oder die Fähigkeit, sich im Aufgabenbereich zu betätigen, wieder herzustellen, zu erhalten oder zu verbessern und die Voraussetzungen für den Anspruch auf die einzelnen Massnahmen erfüllt sind (Art. 8 Abs. 1 IVG). Invalidität ist die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit (Art. 8 Abs. 1 ATSG, die Abs. 2 und 3 beschlagen hier nicht interessierende Sachverhalte). Drohende Invalidität liegt vor, wenn der Eintritt einer Erwerbsunfähigkeit überwiegend wahrscheinlich ist. Der Zeitpunkt des Eintritts der Erwerbsunfähigkeit ist unerheblich (Art. 1novies IVV).
Dass nur eine Invalidität, welche einen Rentenanspruch begründet und demnach mindestens 40 % beträgt, genügen soll, wird weder in diesen Bestimmungen noch in den Art. 15 ff. IVG über Art und Voraussetzungen der Massnahmen beruflicher Art verlangt. Auch die Rechtsprechung sieht einzig beim Anspruch auf Umschulung nach Art. 17 IVG das Erfordernis einer Mindesterwerbseinbusse vor. Diese liegt aber mit etwa 20 % (BGE 124 V 108 E. 2b S. 110 f.; in: SZS 2010 S. 382 zusammengefasstes Urteil 9C_125/2009 vom 19. März 2010 E. 4.5, je mit Hinweisen; SVR 2010 IV Nr. 24 S. 73, 9C_373/2009 E. 4, und IV Nr. 16 S. 50, 9C_547/2009 E. 2, 4 und 5) unter den für eine Invalidenrente erforderlichen 40 %. Soweit die Vorinstanz letzteren Invaliditätsgrad verlangt, könnte ihr daher auch beim Umschulungsanspruch nicht gefolgt werden.
Im vorliegenden Fall ist die Versicherte aufgrund des zuvor Gesagten, wenn auch nicht in rentenbegründendem Ausmass, invalid. Die Erwerbseinbusse übertrifft auch die für eine Umschulung vorausgesetzten etwa 20 %. Der Anspruch auf berufliche Massnahmen kann daher nicht mit der vorinstanzlichen Begründung des mangelnden Mindestinvaliditätsgrades verneint werden. Ob auch die weiteren Voraussetzungen für solche Massnahmen erfüllt wären, ist nicht hier zu beurteilen.
4. Die Gerichtskosten werden dem Verfahrensausgang entsprechend der Beschwerdeführerin auferlegt (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird im Sinne der Erwägungen abgewiesen.
2. Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Rainer Braun, wird als unentgeltlicher Anwalt der Beschwerdeführerin bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Oktober 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Leuzinger Lanz