Firmenschutz; UWG, hat sich ergeben:
A.- Die Klägerin hat ihren Sitz in der Stadt Zürich und ist seit 1928 unter der Firma "Wache AG" im Handelsregister eingetragen. Ihr Zweck besteht im Wesentlichen in der "Erbringung von Sicherheitsdienstleistungen jeglicher Art, namentlich (in der) Bewachung von unbeweglichem und beweglichem Eigentum ...". Ihre Tätigkeit erstreckt sich auf den Kanton Zürich und die angrenzenden Kantone.
Die Beklagte ist eine aus einem 1956 gegründeten Familienunternehmen hervorgegangene Gesellschaft nach liechtensteinischem Recht mit Sitz in Vaduz. Ihr Zweck besteht in der Durchführung von Bewachungsaufträgen verschiedener Art, der Errichtung und Führung von Werkschutzorganisationen für die Industrie und der Führung eines Detektivbüros. Ihre Tätigkeit erstreckt sich auf das Fürstentum Liechtenstein und seit 1992 auch auf den Kanton St. Gallen. Seit 1996 ist sie im Handelsregister des Kantons St. Gallen eingetragen, unter der Firma
""Die Wache" Wach- und Schliess-Aktiengesellschaft,
Vaduz (FL), Zweigniederlassung Altstätten".
Die Beklagte trat Ende 1999 in Zürich an der Messe "Sicherheit 99" auf und verteilte Werbematerial. Auf dem Deckel der Kartonmappe und an den Seitenrändern der Prospektblätter treten fettgedruckt die Wörter "Die Wache" in Erscheinung. Darüber figuriert ein Signet mit Schlüssel und Hundekopf, der kreisförmig von einem Band mit der Inschrift "Wach- und Schliessgesellschaft" bzw. "Wach- und Schliessgesellschaft in Liechtenstein" umrahmt wird.
B.- Am 18. Februar 2000 stellte die Klägerin beim Handelsgericht des Kantons St. Gallen das folgende Rechtsbegehren:
"1. Es sei gerichtlich festzustellen, dass die Beklagte
mit der Verwendung der vom Handelsregistereintrag
in der Schweiz abweichenden Firmenbezeichnung
"Die Wache" bzw. "Wache" widerrechtlich
gehandelt hat.
2. Der Beklagten sei zu verbieten, ihre Firma im
Geschäftsverkehr in der Schweiz in anderer Form
zu gebrauchen als diese im Handelsregister des
Kantons St. Gallen eingetragen ist. Insbesondere
seien ihr die Verwendung der verkürzten Bezeichnung
"Die Wache" sowie Darstellungen der im Handelsregister
eingetragenen Firma, welche einzelne
Firmenbestandteile ungleich gestalten, zu
verbieten.
3. Die Verbote gemäss Ziff. 1 und 2 seien mit der
Androhung der Bestrafung der Organe der Beklagten
bei Widerhandlung mit Haft oder Busse wegen
Ungehorsams gegen eine amtliche Verfügung nach
<ref-law> zu verbinden.
4. Das Urteilsdispositiv sei zusammen mit der Bezeichnung
der Parteien und einer kurzen Schilderung
des Sachverhaltes auf Kosten der Beklagten
je zweimalig im Ostschweizer Tagblatt sowie in
der Neuen Zürcher Zeitung zu publizieren.. "
Das Handelsgericht hiess die Klage am 10. September 2001 im Wesentlichen gut und entsprach den gestellten Begehren.
Es erwog, die Beklagte habe mit der isolierten Verwendung ihres Firmenbestandteils "Die Wache" eine Verwechslungsgefahr mit der klägerischen Firma geschaffen und sowohl gegen Lauterkeitsrecht als auch gegen Firmenrecht verstossen.
C.- Die Beklagte führt Berufung mit dem Antrag, das Urteil des Handelsgerichts sei aufzuheben und die Klage abzuweisen.
Die Klägerin beantragt die Abweisung der Berufung, soweit darauf eingetreten werden kann.

Das Bundesgericht zieht in Erwägung:
1.- Das Handelsgericht erwog, die Beklagte habe mit der Verwendung ihres Firmenbestandteils "Die Wache", der nur einen Teil der eingetragenen Firma darstellt, beim Publikum den falschen Eindruck erweckt, sie stehe mit der Klägerin in einer wirtschaftlichen Beziehung oder ihre Dienstleistungen seien sogar der Klägerin zuzuordnen. Dadurch handle sie unlauter im Sinne von <ref-law>. Die Verwendung nur eines Firmenbestandteils der Beklagten führe dazu, dass ihre Firma nicht mehr eindeutig identifizierbar sei und im geschäftlichen Verkehr Verwechslungen aufträten. Unter diesen Umständen wäre die Beklagte auch firmenrechtlich verpflichtet gewesen, ihre Firma so wie im Handelsregister eingetragen zu gebrauchen (<ref-law>).
2.- a) Die Beklagte rügt, die Vorinstanz habe <ref-law> sowie Art. 3 lit. d und Art. 9 UWG verletzt. Sie habe verkannt, dass für die Beurteilung der Verwechselbarkeit im Sinne von <ref-law> die Kriterien für die Verwechselbarkeit von Wortmarken heranzuziehen seien und dass die Marke "Wache" nicht schutzfähig sei. "Wache" sei eine Sach- oder Dienstleistungsbezeichnung mit geringer Kennzeichnungskraft, die zum Gemeingut gehöre und nicht allein aufgrund der Alterspriorität monopolisiert werden dürfe.
Die Beklagte verweist dazu auf <ref-ruling>, wo das Bundesgericht erkannt habe, es sei nicht statthaft, dass eine beschreibende Angabe durch ein Unternehmen monopolisiert werde. Eine Verwechslungsgefahr sei bei Verwendung der kennzeichnungsschwachen Bezeichnung "Wache" auszuschliessen.
b) Zunächst kann der Beklagten nicht beigepflichtet werden, soweit sie geltend machen will, die Klägerin könne nach Lauterkeitsrecht für ihre im Wesentlichen aus einer gemeinfreien Sachbezeichnung bestehende Firma keinen weitergehenden Schutz beanspruchen als er sich aus markenrechtlichen Grundsätzen ergäbe. Es trifft zwar zu, dass Sachbegriffe des Gemeingebrauchs seit der vom Bundesgericht in <ref-ruling> E. 5d/e bestätigten Praxisänderung des Eidgenössischen Amts für das Handelsregister nicht mehr als alleiniger Inhalt einer Firma anerkannt werden. Dies im Wesentlichen mit der gleichen Begründung, mit der reinen Sachbezeichnungen der Markenschutz verwehrt wird. Indessen können die unter der alten Praxis zugelassenen und ins Handelsregister eingetragenen reinen Sachfirmen nach wie vor firmenrechtliche Exklusivität beanspruchen (Art. 951 Abs. 2 und Art. 956 OR). Zudem kann gegenüber einer aus einer reinen Sachbezeichnung bestehenden alten Firma - anders als bei Marken - die Nichtigkeit auch nicht einredeweise oder widerklageweise geltend gemacht werden (vgl. <ref-ruling> E. 4b; <ref-ruling> E. 4a S. 364; Hilti, Firmenrecht in: Schweizerisches Immaterialgüter- und Wettbewerbsrecht, Band III Kennzeichenrecht, S. 247; Altenpohl, Basler Kommentar, N. 16 zu <ref-law> und N. 3 zu <ref-law>). Die Beklagte kann daher im vorliegenden Streit um den Gebrauch ihrer Firma aus dem angerufenen <ref-ruling>, wonach ein Geschäftsmann, der an einer Sachbezeichnung keine Markenschutzrechte zu erlangen vermag, seinen Konkurrenten deren Verwendung auch nach Wettbewerbsrecht nicht verwehren kann, nichts für sich ableiten. Die Klägerin als nach alter Praxis rechtmässig im Handelsregister eingetragene Aktiengesellschaft kann sich auf das Recht auf Ausschliesslichkeit ihrer Firma für das ganze Gebiet der Schweiz berufen (Altenpohl, a.a.O., N. 4 zu <ref-law>).
Die Firma der Beklagten muss sich demnach von derjenigen der Klägerin deutlich unterscheiden (<ref-law>). Der von der Beklagten erhobene Einwand, sie sei nach <ref-law> verpflichtet, für ihre schweizerische Zweigniederlassung die gleiche Firma wie die Hauptniederlassung zu führen, stösst ins Leere: Der angefochtene Entscheid verlangt von der Beklagten nichts anderes, als dass sie in der Schweiz die vollständige, für ihre Zweigniederlassung in Altstätten im Handelsregister eingetragene Firma verwendet.
c) Soweit die Vorinstanz der Beklagten Darstellungen der im Handelsregister eingetragenen Firma verbot, in denen einzelne Firmenbestandteile ungleich gestaltet sind, hat sie ihren Entscheid zu Recht auch auf Lauterkeitsrecht gestützt. Auch die Verwendung derjenigen Firma, welche den Bestimmungen des Obligationenrechts über die Bildung von Geschäftsfirmen nicht widerspricht, untersteht dem Lauterkeitsgebot des Wettbewerbsrechts (<ref-ruling> E. 5c; <ref-ruling> E. 3, je mit Hinweisen; Patry, in: SPR VIII/1, S. 164 f.).
d) Die Vorinstanz hielt fest, die Beklagte habe ihre Firma nicht so verwendet, wie sie sie angenommen habe und wie sie im Handelsregister eingetragen sei. Damit habe sie eine Verwechslungsgefahr begründet und ihre Firmengebrauchspflicht sowie Lauterkeitsrecht verletzt. Dies ist bundesrechtlich nicht zu beanstanden.
Die von der Vorinstanz angesprochene Firmengebrauchspflicht besteht darin, die Firma unverändert, so wie der Inhaber sie angenommen hat, zu gebrauchen, soweit dies zur Vermeidung der Gefahr einer Täuschung des Publikums über erhebliche Tatsachen erforderlich ist (vgl. <ref-law>; <ref-ruling> E. 4c; <ref-ruling> E. 1; Hilti, a.a.O., S. 280 ff.). Dass zwischen dem blossen beklagtischen Firmenbestandteil "Die Wache" und der klägerischen Firma "Wache AG" eine Verwechslungsgefahr (vgl. <ref-ruling> E. 2a) besteht, ist offensichtlich und wurde von der Vorinstanz zutreffend bejaht. Dies gilt auch, wenn berücksichtigt wird, dass die Firma der Klägerin im Wesentlichen aus einer Sachbezeichnung aufgebaut ist und daher als kennzeichnungsschwach zu gelten hat (vgl. <ref-ruling> E. 2b/cc S. 168 mit Hinweis). Die Beklagte vermag die Verwechslungsgefahr ihrer Kurzbezeichnung "Die Wache" mit der klägerischen Firma "Wache AG" insbesondere nicht zu bannen, indem sie über bzw.
neben dem fettgedruckten Firmenbestandteil "Die Wache" ein Signet verwendet und dem Substantiv Wache den Artikel ("Die") voranstellt. Soweit die Beklagte unter Hinweis auf ihre Prospekte geltend macht, die Annahme der Verwechslungsgefahr durch die Vorinstanz beruhe auf aktenwidrigen tatsächlichen Feststellungen bzw. einem Versehen, ohne darzulegen, inwiefern dies der Fall sein soll, ist auf ihre Rüge nicht einzutreten (Art. 55 Abs. 1 lit. d OG; <ref-ruling> E. 2a S. 485 f.). Solange die Beklagte die fettgedruckte Bezeichnung "Die Wache" auf ihren in der Schweiz verteilten Prospekten isoliert verwendet, verletzt sie ihre Pflicht zum Gebrauch der Firma ""Die Wache" Wach- und Schliess-Aktiengesellschaft, Vaduz (FL), Zweigniederlassung Altstätten", und vor allem ihre Pflicht, für eine deutliche Unterscheidung von der Firma der Klägerin zu sorgen.
3.- a) Die Beklagte macht geltend, sie bestehe in der Schweiz seit 1992 und sei seit 1996 mit ihrem Handelsnamen im Handelsregister des Kantons St. Gallen eingetragen. Die Klägerin habe die Zeit - bis zur Klageeinreichung am 18. Februar 2000 - untätig verstreichen lassen habe, "um dann je nach Opportunität einzuschreiten". Damit habe sie den Beseitigungsanspruch verwirkt. Indem die Vorinstanz den Klageanspruch dennoch geschützt habe, habe sie <ref-law> verletzt.
b) Eine Verwirkung von Abwehransprüchen aus Firmen- oder Wettbewerbsrecht setzt voraus, dass der Berechtigte von der Rechtsverletzung, vorliegend also vom Gebrauch der Firma der Beklagten in der beanstandeten Form, weiss und die Verletzung während längerer Zeit unwidersprochen duldet (vgl.
BGE 127 III 357 E. 4c/bb; <ref-ruling> E. 4). Entsprechende Sachverhaltselemente sind dem angefochtenen Urteil keine zu entnehmen und werden von der Beklagten nicht ausdrücklich, und vor allem nicht in Form einer substanziierten Sachverhaltsrüge im Sinne von Art. 63 Abs. 2 und Art. 64 OG, geltend gemacht. Auf die Rüge kann aufgrund der Bindung des Bundesgerichts an den von der Vorinstanz festgestellten Sachverhalt nicht eingetreten werden (<ref-ruling> E. 2c; <ref-ruling> E. 2a, je mit Hinweisen).
4.- a) Die Beklagte macht weiter geltend, die Klägerin versuche immer wieder heimlich, sich selbst als "Die Wache AG" hinzustellen, statt klarzustellen, dass es sich bei ihr um "die Firma Wache AG" handle. Sie unternehme alles, um beim Publikum den Eindruck zu erwecken, die Firma "Die Wache" sei sie selbst, in der Hoffnung vom Bekanntheitsgrad der Beklagten in der Ostschweiz zu profitieren und Kunden der Beklagten zu sich hinüberziehen zu können. Indem sie selber Verwechslungen fördere und gleichzeitig der Beklagten die Verwendung des Firmenbestandteils "Die Wache" verbieten lassen wolle, handle sie rechtsmissbräuchlich. Die Vorinstanz habe dies verkannt und die von der Beklagten angebotenen Beweismittel betreffend die klägerischen Versuche, sich als "Die Wache AG" hinzustellen, nicht abgenommen. Damit habe sie Art. 2 Abs. 2 und <ref-law> verletzt.
b) Auf die Rüge der Verletzung des Rechtsmissbrauchsverbots ist nicht einzutreten: Die von der Beklagten zu deren Begründung vorgebrachten tatsächlichen Behauptungen, die Klägerin verwende ihre Firma systematisch mit einem Artikel davor und dies mit der Absicht, Verwechslungen herbeizuführen, finden im angefochtenen Entscheid keine Stütze (Art. 63 Abs. 2 OG). Die Vorinstanz hat auch <ref-law> nicht verletzt, indem sie die von der Beklagten dazu angebotenen Beweise nicht abgenommen hat: Die Klägerin stellte vor Handelsgericht das Begehren, der Beklagten sei zu verbieten, ihre Firma in anderer Weise zu verwenden, als sie im Handelsregister eingetragen ist. Die Vorinstanz schloss daraus ohne Abnahme weiterer Beweise, es gehe der Klägerin darum, Verwechslungen der beiden Firmen zu vermeiden, was es ausschliesse, dass sie zugleich bewusst Verwechslungen herbeiführen wolle. Darin liegt keine Verletzung von <ref-law>.
Diese Bestimmung schliesst eine antizipierte Beweiswürdigung nicht aus, wenn der Richter schon nach deren Ergebnis von der Sachdarstellung einer Partei überzeugt ist, gegenteilige Behauptungen also für unbewiesen hält (<ref-ruling> E. 3c S. 223; <ref-ruling> E. 4b S. 397, je mit Hinweisen).
Unter diesen Umständen ist der behauptete Umstand, dass die Klägerin ihrer Firma immer wieder einen Artikel voranstelle, nicht geeignet, die Geltendmachung ihres Rechts auf Ausschliesslichkeit ihrer Firma als rechtsmissbräuchlich erscheinen zu lassen. Die Behauptungen der Beklagten, die Klägerin stelle ihrer Firma immer wieder einen Artikel voran, erweist sich damit als nicht rechtserheblich. Die Vorinstanz durfte von der Abnahme der dazu angebotenen Beweise absehen, ohne <ref-law> zu verletzen (<ref-ruling> E. 3c S. 223).
5.- Nach dem Gesagten ist die Berufung abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang wird die Beklagte Kosten- und Entschädigungspflichtig (Art. 156 Abs. 1 und Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil des Handelsgerichts des Kantons St. Gallen vom 10. September 2001 wird bestätigt.
2.- Die Beklagte wird verpflichtet, die Gerichtsgebühr von Fr. 5'000.-- zu bezahlen.
3.- Die Beklagte wird verpflichtet, der Klägerin eine Parteientschädigung von Fr. 6'000.-- zu entrichten.
4.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons St. Gallen schriftlich mitgeteilt.
_
Lausanne, 3. April 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: