A.- M._ (geb. 1970) zog sich am 11. August 1986 bei einem Verkehrsunfall eine Schädel-Hirn-Verletzung mit akut aufgetretener Einblutung in motorisch bedeutsame Hirnstrukturen zu. Als Unfallfolgen blieben eine Behinderung durch ein leichtes, linksseitiges, armbetontes Hemisyndrom, eine neurogene Schulterinstabilität links sowie eine organisch-affektive Störung bestehen (Bericht des Instituts X._ vom 27. April 1992). Die Invalidenversicherung kam für verschiedene medizinische und berufliche Massnahmen auf. Nachdem M._ eine im April 1988 begonnene Ausbildung zur Technischen Zeichnerin bei der Firma Y._ im Juni 1988 bereits wieder abgebrochen hatte, beendete sie die anschliessende Ausbildung als Teleoperatrice Ende 1990 erfolgreich. Daraufhin wurde das Lehrverhältnis bei der Fernmeldekreisdirektion auf den 1. Januar 1991 in ein Arbeitsverhältnis umgewandelt, am 4. September 1991 jedoch per sofort aufgelöst. Am 9. August 1993 begann M._ die von der Invalidenversicherung übernommene Umschulung zur kaufmännischen Angestellten bei der S._. Infolge massiver Konzentrationsstörungen und der zu grossen Belastung im schulischen Bereich erfolgte nach einem Jahr der Wechsel zur Ausbildung als Büroangestellte. Mit Schreiben vom 10. August 1995 informierte der Rechtsvertreter von M._ die IV-Stelle des Kantons St. Gallen über den erfolgreichen Lehrabschluss und ersuchte um Prüfung der Rentenfrage. M._ blieb weiterhin mit einem bis Ende 1995 befristeten Arbeitsvertrag bei der S._ beschäftigt, wobei sich die Arbeitgeberin im November 1995 definitiv über den Abschluss eines unbefristeten Arbeitsverhältnisses entscheiden wollte. Mit Verfügung vom 4. Oktober 1995 wies die IV-Stelle das Rentengesuch ab, da M._ infolge der Umschulung ein rentenausschliessendes Einkommen erzielen könne und die invaliditätsbedingte Erwerbseinbusse lediglich 20 % betrage.
Am 27. November 1995 stellte der Rechtsvertreter von M._ erneut ein Rentengesuch, da eine dauerhafte berufliche Integration auf Grund der Behinderungen nicht möglich sei. Insbesondere habe die Firma S._ den bis Ende 1995 befristeten Arbeitsvertrag nicht verlängert. Nach Gewährung von Arbeitsvermittlung teilte die IV-Stelle der Versicherten mit Vorbescheid vom 19. August 1996 mit, dass auf ihr Leistungsbegehren nicht eingetreten werde, da nicht glaubhaft gemacht worden sei, dass sich die tatsächlichen Verhältnisse seit der Verfügung vom 4. Oktober 1995 in einer für den Anspruch erheblichen Weise verändert hätten. Daran hielt sie mit Verfügung vom 9. September 1996 fest.
B.- Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 27. April 1998 teilweise gut und wies die Streitsache zur materiellen Prüfung der Neuanmeldung an die IV-Stelle des Kantons St. Gallen zurück.
C.- Die IV-Stelle des Kantons St. Gallen führt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihre Verfügung vom 9. September 1996 zu bestätigen.
M._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen unter Gewährung der unentgeltlichen Verbeiständung. Das Bundesamt für Sozialversicherung beantragt die Gutheissung der Verwaltungsgerichtsbeschwerde.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Wurde eine Rente oder eine Hilflosenentschädigung wegen eines zu geringen Invaliditätsgrades oder wegen fehlender Hilflosigkeit verweigert, so wird eine neue Anmeldung nach <ref-law> nur geprüft, wenn die Voraussetzungen gemäss Abs. 3 erfüllt sind. Danach ist vom Versicherten im Gesuch glaubhaft zu machen, dass sich der Grad der Invalidität oder Hilflosigkeit in einer für den Anspruch erheblichen Weise geändert hat. Mit <ref-law> soll verhindert werden, dass sich die Verwaltung nach vorangegangener rechtskräftiger Leistungsverweigerung immer wieder mit gleich lautenden und nicht näher begründeten, d.h. keine Veränderung des Sachverhalts darlegenden Gesuchen befassen muss (<ref-ruling> Erw. 4b mit Hinweisen).
Nach Eingang einer Neuanmeldung ist die Verwaltung zunächst zur Prüfung verpflichtet, ob die Vorbringen des Versicherten überhaupt glaubhaft sind; verneint sie dies, so erledigt sie das Gesuch ohne weitere Abklärungen durch Nichteintreten. Dabei wird sie u.a. zu berücksichtigen haben, ob die frühere Verfügung nur kurze oder schon längere Zeit zurückliegt, und dementsprechend an die Glaubhaftmachung höhere oder weniger hohe Anforderungen stellen. Insofern steht ihr ein gewisser Beurteilungsspielraum zu, den der Richter grundsätzlich zu respektieren hat. Daher hat der Richter die Behandlung der Eintretensfrage durch die Verwaltung nur zu prüfen, wenn das Eintreten streitig ist, d.h. wenn die Verwaltung gestützt auf <ref-law> Nichteintreten beschlossen hat und der Versicherte deswegen Beschwerde führt; hingegen unterbleibt eine richterliche Beurteilung der Eintretensfrage, wenn die Verwaltung auf die Neuanmeldung eingetreten ist (<ref-ruling> Erw. 2b).
Nach der Rechtsprechung (unveröffentlichte Urteile B. vom 30. August 1999, I 439/98, und R. vom 31. Juli 1989, I 99/89) ist unter Glaubhaftmachen im Sinne von <ref-law> kein Beweis nach dem im Sozialversicherungsrecht allgemein massgebenden Grad der überwiegenden Wahrscheinlichkeit (<ref-ruling> Erw. 2a, 208 Erw. 6b) zu verstehen. Die Beweisanforderungen sind vielmehr herabgesetzt (Gygi, Bundesverwaltungsrechtspflege, 2. Aufl., S. 272), indem nicht im Sinne eines "vollen Beweises" (ZAK 1971 S. 525 Erw. 2) die Überzeugung der Verwaltung begründet zu werden braucht, dass seit der letzten, rechtskräftigen Entscheidung tatsächlich eine relevante Änderung eingetreten ist. Vielmehr genügt es, dass für den geltend gemachten rechtserheblichen Sachumstand wenigstens gewisse Anhaltspunkte bestehen, auch wenn durchaus noch mit der Möglichkeit zu rechnen ist, bei eingehender Abklärung werde sich die behauptete Sachverhaltsänderung nicht erstellen lassen. Grundsätzlich unterliegt das Glaubhaftmachen nach <ref-law> weniger strengen Anforderungen als im Zivilprozessrecht. Dort muss - im Gegensatz zum vollen Beweis - der Richter immerhin überzeugt werden, dass es so, wie behauptet, wahrscheinlich gegangen ist, nicht aber auch, dass es wirklich so gegangen sein muss, weil jede Möglichkeit des Gegenteils vernünftigerweise auszuschliessen ist (Kummer, Grundriss des Zivilprozessrechts, 4. Aufl., S. 135; Guldener, Schweizerisches Zivilprozessrecht, 3. Aufl., S. 323, Anmerkung 27).
2.- Mit der Verfügung vom 9. September 1996 ist die Beschwerdeführerin auf die Neuanmeldung vom 27. November 1995 nicht eingetreten mit der Begründung, eine erneute Prüfung sei möglich, wenn glaubhaft gemacht werde, dass sich die tatsächlichen Verhältnisse seit Erlass der rentenablehnenden Verfügung vom 4. Oktober 1995 in einer für den Anspruch erheblichen Weise verändert hätten. Eine andere Würdigung oder Beurteilung des unveränderten Sachverhaltes sei nicht möglich. Die frühere Arbeitgeberin, die Firma S._, habe das auf Ende Dezember 1995 befristete Arbeitsverhältnis nicht verlängert. Die anschliessende Stellensuche sei leider bis heute erfolglos geblieben; die Versicherte sei somit arbeitslos und beziehe Arbeitslosentaggelder.
Im vorliegenden Fall lautet das Dispositiv der Verfügung vom 9. September 1996 wohl auf Nichteintreten auf das Leistungsbegehren. Nach der in <ref-ruling> zusammengefassten Rechtsprechung sind indessen Verwaltungsverfügungen - unter Vorbehalt der Problematik des Vertrauensschutzes - nicht nach ihrem Wortlaut, sondern nach ihrem tatsächlichen rechtlichen Bedeutungsgehalt zu verstehen. Unter diesem Blickwinkel ist mit dem kantonalen Gericht festzustellen, dass die Beschwerdeführerin trotz anders lautendem Dispositiv auf die Neuanmeldung eingetreten ist. Mit dem Umstand, dass die frühere Arbeitgeberin das Arbeitsverhältnis nicht über Ende Dezember 1995 verlängert hat, hat die Beschwerdegegnerin glaubhaft gemacht, dass hinsichtlich des Invalideneinkommens eine Veränderung tatsächlich eingetreten ist. Die Beschwerdeführerin hat denn auch in der vorinstanzlichen Duplik eingeräumt, dass sie nach Eingang der Neuanmeldung Abklärungen vorgenommen hat und darauf eingetreten ist. Nichts anderes wird in der Verwaltungsgerichtsbeschwerde geltend gemacht.
3.- Zu prüfen ist, ob die Beschwerdegegnerin im Sinne der dargelegten Rechtsprechung glaubhaft gemacht hat, dass sich die tatsächlichen, insbesondere die erwerblichen Verhältnisse im massgeblichen Zeitraum zwischen dem Erlass der ursprünglichen rentenablehnenden Verfügung vom 4. Oktober 1995 und jener vom 9. September 1996 in rentenrelevanter Weise geändert haben.
a) Bei der Ablehnung einer Invalidenrente mit Verfügung vom 4. Oktober 1995 ging die Beschwerdeführerin von einem zumutbaren Valideneinkommen von Fr. 45'500.- und von einem Invalideneinkommen von Fr. 36'400.- aus, was einen Invaliditätsgrad von 20 % ergab. Sie stützte sich dabei auf eine Aktennotiz des Berufsberaters vom 8. August 1995 ab, wonach die Versicherte nach Abschluss ihrer Lehre bei der Firma S._ als Anfangslohn monatlich Fr. 2800.- (x 13) erziele, was der oberen Norm des Anfangslohnes nach einer zweijährigen Bürolehre entspreche. Ohne Behinderung könne sie heute bei der gleichen Firma Fr. 3500.- (x 13) verdienen. Dieser Lohn entspreche in etwa dem Niveau einer durchschnittlich leistungsfähigen KV-Absolventin im Alter der Versicherten mit entsprechender Berufserfahrung. Damit ging die Beschwerdeführerin für die Invaliditätsbemessung von ganz konkreten, betriebsbezogenen Erwerbsverhältnissen aus. Nachdem die definitive Anstellung bei der S._ gescheitert ist, verliert der vorgenommene Einkommensvergleich namentlich hinsichtlich des Invalidenlohnes seine Grundlage. Hat mithin die beschwerdeführende IV-Stelle als Invalidenlohn einen konkreten betrieblichen Verdienst herangezogen und hat sie nach Eingang der Neuanmeldung diesbezüglich keine weiteren Abklärungen getroffen, erweist sich die Sache in erwerblicher Hinsicht als abklärungsbedürftig, wie das kantonale Gericht zu Recht entschieden hat. Nicht gefolgt werden kann der Auffassung der Beschwerdeführerin, wonach das Nichtzustandekommen einer unbefristeten Anstellung bei der Lehrfirma im Zeitpunkt der rentenablehnenden Verfügung vom 4. Oktober 1995 habe vorausgesehen werden können, weshalb kein revisionsähnlicher Grund im Sinne von <ref-law> vorliege. Nachdem die Beschwerdeführerin den kurz bevorstehenden Entscheid über die definitive Anstellung im Herbst 1995 nicht abgewartet hat, geht es nicht an, dem Arbeitsplatzverlust im Rahmen einer Neuanmeldung rechtserhebliche Bedeutung abzusprechen.
b) Wie das kantonale Gericht des weitern zu Recht festhält, sind die Schwierigkeiten der Beschwerdegegnerin bei ihrer Erwerbstätigkeit zumindest teilweise auch auf die psychischen Folgen des Unfalls zurückzuführen. So hat die Beschwerdegegnerin zwar eine erste Ausbildung als Teleoperatrice Ende 1990 erfolgreich abgeschlossen, doch wurde bereits damals von der IV-Regionalstelle erwähnt, dass die Ausbildung nicht problemlos verlaufen und die Versicherte auch in Zukunft wegen ihres Verhaltens auf Verständnis und Wohlwollen am Arbeitsplatz angewiesen sei. Die im August 1993 begonnene Umschulung zur kaufmännischen Angestellten musste wegen massiver Konzentrationsstörungen und der zu grossen Belastung im schulischen Bereich nach einem Jahr in eine weniger anforderungsreiche Ausbildung als Büroangestellte umgewandelt werden. Im Schreiben vom 26. Juli 1996 schildert die frühere Lehrfirma die Probleme der Versicherten dahingehend, dass sie sich in unregelmässigen Leistungen, mangelndem Selbstvertrauen, oft aufsässigem Verhalten (unkontrolliert) sowie auch in Unselbständigkeit äusserten. Es sei ersichtlich gewesen, dass die Versicherte durch den Unfall nicht nur körperlich gezeichnet sei, sondern die Folgen sich auch in ihrem Verhalten zeigten. Nach der Lehre habe man versucht, die Versicherte trotzdem zu integrieren und ihr eine weitere Chance zu geben. Nach einigen Wochen Einführungszeit seien die Leistungen an der administrativen Stelle in der Qualitätssicherung als nicht befriedigend bewertet worden, sodass das Anstellungsverhältnis per 31. Dezember 1995 nicht verlängert werden konnte.
In welchem Ausmass sich die körperlichen und psychischen Unfallfolgen trotz erfolgreich abgeschlossener Umschulung auf die Arbeitsfähigkeit der Versicherten auswirken, wird daher auch durch zusätzliche Abklärungen in medizinischer Hinsicht festzustellen sein, zumal aussagekräftige medizinische Berichte seit längerer Zeit nicht mehr eingeholt worden sind.
4.- Dem Ausgang des letztinstanzlichen Verfahrens entsprechend steht der Versicherten eine Parteientschädigung zu (Art. 135 in Verbindung mit Art. 159 Abs. 1 OG); damit erweist sich ihr Antrag auf Gewährung der unentgeltlichen Verbeiständung als gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons St. Gallen hat der Beschwer-
degegnerin für das Verfahren vor dem Eidgenössischen
Versicherungsgericht eine Parteientschädigung von
Fr. 1755.10 (Honorar, Auslagenersatz und Mehrwert-
steuer) zu bezahlen.
IV. Dieses Urteil wird den Parteien, dem Versicherungs-
gericht des Kantons St. Gallen und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 3. Januar 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Vorsitzende der II. Kammer:
i.V.
Der Gerichtsschreiber: