Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze über den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und Abs. 1bis IVG) sowie die Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (Art. 28 Abs. 2 IVG), bei Nichterwerbstätigen, namentlich im Haushalt tätigen Versicherten, nach der spezifischen Methode (Art. 28 Abs. 3 IVG in Verbindung mit Art. 27 Abs. 1 und 2 IVV; vgl. <ref-ruling> Erw. 2a und ZAK 1982 S. 500 Erw. 1) sowie bei teilerwerbstätigen Versicherten nach der gemischten Methode (Art. 27bis Abs. 1 IVV; siehe ZAK 1992 S. 128 Erw. 1b) zutreffend dargelegt. Richtig sind auch die Erwägungen zum Beweiswert und zur richterlichen Würdigung von medizinischen Berichten und Gutachten (vgl. <ref-ruling> Erw. 3).
Darauf kann verwiesen werden.
2.- Es steht nicht in Frage, dass vorliegend zur Ermittlung des Invaliditätsgrades die gemischte Methode nach Art. 27bis Abs. 1 IVV zur Anwendung gelangt. Ebenfalls unbestritten ist die Aufteilung der Tätigkeit als Erwerbstätige und im Haushalt im Verhältnis von 80 % zu 20 %. Streitig ist demgegenüber die Höhe des Invaliditätsgrades und insbesondere - als dessen Teilelement - das Mass der Arbeitsfähigkeit im Erwerbsbereich.
3.- a) Die Vorinstanz gelangte mit der IV-Stelle gestützt auf das Gutachten des ZMB zum Schluss, der Versicherten sei die Ausübung ihrer angestammten Tätigkeit als Serviceangestellte zu 70 % zumutbar, limitierend wirke sich dabei in erster Linie die psychogene Überlagerung aus.
Demgegenüber bringt die Versicherte vor, es sei nicht auf das Gutachten des ZMB abzustellen. Seit der Verfügung vom 28. Oktober 1993, anlässlich welcher ein Invaliditätsgrad (richtigerweise nur im Haushaltbereich) festgestellt worden sei, habe sich der Gesundheitszustand sowohl in orthopädischer wie auch in psychiatrischer Hinsicht verschlechtert.
Die vom ZMB attestierte Arbeitsfähigkeit von 70 % widerspreche den Berichten verschiedener Fachärzte, welche die Versicherte seit Jahren betreuten. Sie verweist dazu auf die Berichte des Dr. med. F._ vom 24. März 1998, der Dres. med. V._ und W._ vom 24. April 1998 und des Dr. med. A._ vom 16. Juli 1998. Das ZMB habe zu diesen Berichten nicht Stellung genommen, weshalb das Gutachten nicht auf der medizinischen Gesamtsituation beruhe. Es sei deshalb eine Ergänzung oder ein Obergutachten notwendig.
b) Dieser Auffassung kann nicht beigepflichtet werden.
Das Gutachten des ZMB ist umfassend, beruht auf allseitigen Untersuchungen, berücksichtigt die geklagten Beschwerden, ist in Kenntnis der Vorakten (Anamnese) abgegeben worden und leuchtet in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation ein; die Schlussfolgerungen sind zudem begründet (<ref-ruling> Erw. 3a).
Insbesondere würdigt es entgegen der Auffassung der Beschwerdeführerin die medizinische Gesamtsituation in hinreichender Weise.
Bei den von der Versicherten als nicht berücksichtigt erwähnten Arztberichten handelt es sich zunächst um das Attest von Dr. med. A._ vom 16. Juli 1998, welcher ihr eine volle Arbeitsunfähigkeit attestiert. Er begründet diese Einschätzung indessen nicht näher, sondern gibt lediglich an, leider hätten die Rückenschmerzen nicht beseitigt werden können. Auch Dr. med. F._ legt in seinem Bericht vom 24. März 1998 nicht weiter dar, wie er zur von ihm attestierten Arbeitsunfähigkeit von 100 % kommt. Die Dres. med. V._ und W._, deren Beurteilung offenbar auf Vorschlag des Dr. med. F._ erfolgte, äussern sich zur Arbeitsfähigkeit nicht, geben indessen an, die subjektiven Beschwerden und Einschränkungen seien erheblich; das Ausmass der Beschwerden sei auf Grund der nachgewiesenen Pathologie etwas schwierig nachvollziehbar.
Demgegenüber begründet das ZMB auch in seiner Stellungnahme vom 8. Juli 1998 nachvollziehbar, dass die Versicherte durch die somatischen Befunde (Diagnose mit Einschränkung der Arbeitsfähigkeit: Status nach Exstirpation eines Mammakarzinoms und nach Lymphödem des rechten Armes, chronisches Lumbovertebralsyndrom bei Chondrose L4/5 und kleiner medialer Diskushernie L4/5 sowie diskreter dorsolumbaler Skoliose) nur sehr wenig eingeschränkt sei. Die Diskrepanz zwischen den subjektiv beklagten Beschwerden und den objektiven Befunden sei indes mit dem Verdacht auf eine psychogene Überlagerung im Sinne einer somatoformen Schmerzstörung erklärt worden, was dann zur eingeschränkten Arbeitsfähigkeit von 70 % führe. Es erübrigt sich somit, ein weiteres Gutachten einzuholen.
4.- a) Zur Bemessung der Invalidität ist zunächst der Invaliditätsgrad im Erwerbsanteil von 80 % nach der Einkommensvergleichsmethode zu ermitteln.
aa) Für die Ermittlung des Einkommens, welches die versicherte Person ohne Invalidität erzielen könnte (Valideneinkommen), ist entscheidend, was sie im massgebenden Zeitpunkt nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdienen würde (RKUV 1993 Nr. U 168 S. 100 Erw. 3b mit Hinweis). Die Einkommensermittlung hat so konkret wie möglich zu erfolgen. Es ist daher in der Regel vom letzten Lohn vor Eintritt der Gesundheitsschädigung auszugehen (ZAK 1980 S. 593 mit Hinweisen).
Die Verwaltung ging gestützt auf den Hinweis im Arbeitgeberbericht der I._ AG, wonach die Versicherte ohne Gesundheitsschaden Fr. 3000.- verdienen würde, von einem Valideneinkommen von rund Fr. 39'000.- aus. Demgegenüber stützte sich die Vorinstanz auf den 1995 tatsächlich erzielten Verdienst (Fr. 3250.-, auf ein Jahr umgerechnet entsprechend Fr. 42'250.-). Beim Invalideneinkommen ging sie vom Tabellenlohn der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) 1994 für Frauen in einfachen und repetitiven Tätigkeiten im privaten Sektor aus (Zentralwert von Fr. 3325.- x 12, umgerechnet von 40 auf 41.9 Wochenstunden und aufgewertet auf das Jahr 1995 = Fr. 42'338.-, davon 70 % = Fr. 29'636.-) und führte aus, im einen wie im andern Fall ergebe sich kein rentenbegründender Ausfall.
Beim Hinweis im Arbeitgeberbericht, wonach die Versicherte ohne Gesundheitsschaden Fr. 3000.- verdienen würde, handelt es sich offenbar um einen Verschrieb, hat doch die Versicherte bereits 1995 monatlich Fr. 3250.- verdient und wurde ihr 1996 für die Tätigkeit von 2 Tagen pro Woche ein monatlicher Lohn von Fr. 1750.- ausbezahlt (dabei erscheint eine jährlich erfolgte Lohnerhöhung von Fr. 250.- plausibel).
Es ist deshalb von einem Monatslohn von Fr. 3500.- auszugehen, wie sich dies auch aus der Vereinbarung vom 23. April 1996 ergibt. Gestützt darauf ergibt sich unter Berücksichtigung eines 13. Monatslohnes sowie der Nominallohnentwicklung bis 1998 (1997: 0,5 %, 1998: 0,7 %; Die Volkswirtschaft 2001, Heft 4, S. 85 Tabelle B 10.2) ein Valideneinkommen von Fr. 46'048.-.
bb) Für die Bestimmung des Invalideneinkommens (hypothetisches Einkommen nach Eintritt der Invalidität) ist primär von der beruflich-erwerblichen Situation auszugehen, in welcher die versicherte Person konkret steht. Ist - wie vorliegend - kein solches tatsächlich erzieltes Erwerbseinkommen gegeben, namentlich weil die Versicherte nach Eintritt des Gesundheitsschadens keine neue Erwerbstätigkeit mehr aufgenommen hat, so können rechtsprechungsgemäss Tabellenlöhne beigezogen werden (<ref-ruling> f. Erw. 3b/aa und bb mit Hinweisen). Indessen ist das der Verfügung vom 9. September 1998 zu Grunde liegende Vorgehen der IV-Stelle, das Invalideneinkommen nach Massgabe der ärztlich attestierten Arbeitsunfähigkeit in Prozenten des Einkommens ohne Invalidität zu bestimmen und insofern von der Arbeitsunfähigkeit auf den Invaliditätsgrad zu schliessen, bundesrechtswidrig (vgl. <ref-ruling> Erw. 3, RKUV 1991 Nr. U 130 S. 272 Erw. 3b, Urteil T. vom 5. Mai 2000, I 195/99).
Ausgehend vom monatlichen Bruttolohn (Zentralwert) für einfache und repetitive Tätigkeiten weiblicher Arbeitnehmer (Anforderungsniveau 4; privater Sektor) gemäss Tabelle TA1 der vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebung (LSE) 1996 von Fr. 3455.-, unter Hochrechnung von 40 auf 41.9 Wochenstunden (<ref-ruling> Erw. 3b/aa mit Hinweis auf LSE 1996 S. 42) und unter Berücksichtigung der relevanten Nominallohnerhöhung in den Jahren 1997 (0,5%) und 1998 (0,7%) ergibt sich ein durchschnittliches Monatseinkommen von Fr. 3663.- bzw. - in Anbetracht der lediglich 70 %igen Arbeitsfähigkeit - von Fr. 2564. 10 oder Fr. 30'769. 20 jährlich. Da vom niedrigsten Anforderungsniveau 4 ausgegangen wird, obwohl die Versicherte als Inhaberin des Wirtepatents mit ihrer langjährigen Berufserfahrung auch an der Grenze zu Anforderungsniveau 3 (Berufs- und Fachkenntnisse vorausgesetzt) mit einem Grundlohn von Fr. 4202.- angesiedelt werden kann, besteht kein Anlass, zusätzlich einen leidensbedingten Abzug vorzunehmen.
Aus der Gegenüberstellung mit dem Valideneinkommen von Fr. 46'048.- ergibt sich damit ein Invaliditätsgrad im erwerblichen Bereich von 33,2 %.
b) Da die Invalidität im Erwerbsbereich 33,2 % beträgt, dieser aber nur 80 % ausmacht, resultiert ein erwerblicher Invaliditätsanteil von 26,56 %. Die unbestrittene Beeinträchtigung von 40 % im Haushaltbereich (20 %) ergibt 8 %. Dies führt zu einer Gesamtinvalidität von rund 34 % und damit zur Verneinung eines Anspruchs auf eine Invalidenrente, weshalb der angefochtene Entscheid im Ergebnis nicht zu beanstanden ist.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ostschweizerischen AHV-Ausgleichskasse für Handel und Industrie und dem
Bundesamt für Sozialversicherung zugestellt.
Luzern, 6. November 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: