Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die gesetzlichen Bestimmungen zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG) richtig dargelegt, worauf verwiesen wird. Ergänzend ist auf <ref-law> hinzuweisen, wonach für die Bemessung der Invalidität das Erwerbseinkommen, das der Versicherte nach Eintritt der Invalidität und nach Durchführung allfälliger Eingliederungsmassnahmen durch eine ihm zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt wird zum Erwerbseinkommen, das er erzielen könnte, wenn er nicht invalid geworden wäre (Einkommensvergleich).
2.- Streitig und zu prüfen ist der Invaliditätsgrad.
a) Gemäss dem Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 21. November 1997 ist die Beschwerdegegnerin in der zuletzt ausgeübten Tätigkeit als Näherin, sofern diese körperlich leicht und wechselbelastend, d.h.
mit genügend Bewegungsmöglichkeiten ausgeübt werden kann, bleibend noch zu 60 % arbeitsfähig. Die Arbeit sollte ganztags aufgeteilt und mit längeren Pausen erledigt werden können. In anderen Tätigkeiten bestehe ebenfalls eine Arbeitsfähigkeit von 60 %. Körperlich mittelschwere bis schwere Arbeiten und solche mit stereotypen Bewegungsabläufen ohne genügend Bewegungsmöglichkeiten seien der Versicherten bleibend nicht mehr zumutbar. Auf diese umfassende Expertise, die auf Grund der Vorakten und polydisziplinärer Untersuchungen erging, kann mit der Vorinstanz abgestellt werden.
b) Zu prüfen bleibt der Einkommensvergleich. Dabei kann als hypothetisches Valideneinkommen mit Verwaltung und Vorinstanz der nicht bestrittene Betrag von Fr. 44'460.- (für das Jahr 1996) eingesetzt werden.
aa) Bei der Ermittlung des hypothetischen Invalideneinkommens stütze sich die Vorinstanz auf zwei verschiedene Berechnungsvarianten, welche beinahe zum selben Ergebnis (Invaliditätsgrad 52 % bzw. 53 %) führten. Bei der ersten Variante ging das kantonale Gericht von der Annahme aus, dass die Beschwerdegegnerin in der bisherigen Tätigkeit als Näherin noch zu 60 % arbeitsfähig sei. Hievon gewährte sie der Versicherten einen Abzug von 20 %, da diese einerseits wegen ihrer gesundheitlichen Einschränkungen nicht die selbe Leistung zu erbringen vermöge wie eine gesunde Arbeitnehmerin am selben Arbeitsplatz, anderseits Teilzeitbeschäftigte im Vergleich zu Vollzeitangestellten überproportional weniger verdienten. Bei der zweiten Variante zog die Vorinstanz die einschlägigen Tabellenlöhne der Schweizerischen Lohnstrukturerhebung (LSE) 1996 für einfache und repetitive Arbeiten bei, welche sie auf 41,9 Arbeitsstunden in der Woche aufrechnete. Hievon zog sie wiederum 20 % ab, was praktisch dasselbe Resultat wie die erste Berechnungsmethode ergab.
bb) Die Beschwerdeführerin bemängelt an diesen Berechnungen das Ausmass des Abzugs von den Tabellenlöhnen. Namentlich sei kein Abzug für Teilzeitarbeit vorzunehmen, da die Versicherte vollzeitlich arbeiten könne. Zusätzliche Pausen und gesundheitsbedingte Minderleistungen seien dadurch bereits berücksichtigt, dass die dabei erbrachte Leistung lediglich auf 60 % geschätzt worden sei. Allenfalls lasse sich ein leidensbedingter Abzug von höchstens 10 % rechtfertigen, was in jedem Fall nur Anspruch auf eine Viertelsrente ergebe.
Die Beschwerdegegnerin lässt hiegegen geltend machen, bei der Tätigkeit als Näherin sei nicht auf den Durchschnittsverdienst aller Berufssparten, sondern auf die vergleichsweise niedrigeren Löhne für den Bekleidungssektor abzustellen. Diesfalls ergebe sich bereits mit einem Abzug von 10 % Anspruch auf eine halbe Rente. Zudem sei bei allen in Frage kommenden Tätigkeiten zu beachten, dass die Beschwerdegegnerin früher oft im Akkord gearbeitet habe, was heute nicht mehr möglich sei. Die Einschätzung der MEDAS sei an der oberen Grenze des Vertretbaren, hätten doch andere Ärzte die Arbeitsfähigkeit geringer eingeschätzt. Es rechtfertige sich deshalb, einen leidensbedingten Abzug von 20 % von den Tabellenlöhnen zu gewähren. Der von der Vorinstanz gewährte Abzug für Teilzeitarbeit hingegen sei irrtümlich erfolgt.
cc) Die Versicherten sind gehalten, sich auf dem gesamten für sie in Frage kommenden Arbeitsmarkt nach einer ihren gesundheitlichen Einschränkungen angepassten Stelle umzusehen. Dies gilt im vorliegenden Fall umso mehr, als die Versicherte die Stelle als Näherin bei der bisherigen Arbeitgeberfirma, der W._ AG, Herrenhemdenfabrik, gemäss Bericht der Berufsberatung vom 23. Oktober 1996 auf Januar 1997 aus wirtschaftlichen Gründen verloren hat.
Daher rechtfertigt es sich nicht, einzig auf die Löhne des Bekleidungsgewerbes abzustellen. Vielmehr sind die Durchschnittslöhne des gesamten Arbeitsmarktes beizuziehen, wie es die Vorinstanz in ihrer zweiten Berechnungsvariante getan hat.
dd) Zur Frage, wann und in welchem Ausmass ein Abzug von den Tabellenlöhnen zu gewähren ist, hat sich das Eidgenössische Versicherungsgericht in <ref-ruling> grundsätzlich geäussert. Es hielt fest, dass der Umfang dieses Abzuges von sämtlichen persönlichen und beruflichen Umständen des konkreten Einzelfalles abhängt (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie sowie Beschäftigungsgrad) und nach pflichtgemässem Ermessen gesamthaft zu schätzen ist. Dabei erlaubt ein Abzug vom statistischen Lohn von insgesamt höchstens 25 %, den verschiedenen Merkmalen, die das Erwerbseinkommen zu beeinflussen vermögen, Rechnung zu tragen (<ref-ruling> f.
Erw. 5b/aa-cc). Bei der Überprüfung des gesamthaft vorzunehmenden Abzuges, der eine Schätzung darstellt und von der Verwaltung kurz zu begründen ist, darf das Sozialversicherungsgericht sein Ermessen nicht ohne triftigen Grund an die Stelle desjenigen der Verwaltung setzen (<ref-ruling> Erw. 6).
ee) Vorliegend kann die Versicherte gemäss Gutachten der MEDAS noch ganztags arbeiten (dabei allerdings nur eine Leistung von 60 % erbringen). Daher kann ihr nicht ein Abzug wegen Teilzeitarbeit gewährt werden, ist doch Tabelle 13* der LSE 1994 S. 30 nur auf Teilzeitpensen anwendbar.
Hingegen besteht aus gesundheitlichen Gründen in einer angepassten Tätigkeit eine Einschränkung. Laut Expertise der MEDAS sollte die Beschwerdegegnerin ihr Arbeitspensum von 60 % auf den ganzen Tag aufteilen und längere Pausen einlegen können. Zudem vermag sie die Leistung von 60 % nur zu erbringen, wenn sie genügend Bewegungsmöglichkeiten und keine stereotypen Bewegungsabläufe hat. Soweit die MEDAS eine Restarbeitsfähigkeit von 60 % annimmt, gilt dies nach dem Gesagten nur mit bestimmten Einschränkungen. Daher erfordert eine Anstellung der Beschwerdegegnerin von einem Arbeitgeber selbst bei einer Leistung von nur 60 % eine besondere Rücksichtnahme, die bei einer voll einsatzfähigen, mit einem Pensum von 60 % angestellten Person nicht nötig wäre. Dies ist in Form eines zusätzlichen Abzugs von der bereits um 40 % verminderten Leistungsfähigkeit zu berücksichtigen.
Angesichts der gesamten Umstände des vorliegenden Falles scheint ein solcher von mehr als den von der IV-Stelle zugestandenen 10 % angemessen. Die Berechnung des Invaliditätsgrades gemäss der zweiten vorinstanzlichen Variante ergibt bereits bei einem Abzug von 15 % Anspruch auf eine halbe Rente (Durchschnittslohn gemäss Tabelle A1 LSE 1996 für Frauen in einfachen und repetitiven Tätigkeiten = Fr. 3455.- x 12 x 41,9/40 Arbeitsstunden = Fr. 43'429.-; davon 60 % = Fr. 26'057.-; abzüglich 15 % = Fr. 22'149.-; Invaliditätsgrad etwas über 50 %). Damit kann offen bleiben, ob der umstrittene Abzug 15 % oder 20 % betragen sollte. Im Ergebnis vermag der kantonale Entscheid so oder so standzuhalten.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons St. Gallen hat der Beschwerdegegnerin für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung
von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu
bezahlen.
IV. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 24. Januar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber:+