Arbeitsvertrag; fristlose Kündigung, hat sich ergeben:
A.- A._ (Klägerin) war Teilzeitangestellte der X._ AG (Beklagte) im Stundenlohn. Sie und drei weitere Mitarbeiterinnen der Beklagten gerieten am 24. Dezember 1998 mit dem damaligen Inhaber der Beklagten, B._, in eine heftige verbale Auseinandersetzung über die Frage, wann Arbeitsschluss sei. Nachdem B._ den Raum verlassen hatte, setzten die Arbeitnehmerinnen ihre Arbeit während 15 bis 20 Minuten fort, um eine ihnen am Vortag zugewiesene Aufgabe zu vollenden. Eine fristlose Entlassung wurde an jenem Tage nicht ausgesprochen.
Als die Klägerin nach den Feiertagen nicht am Arbeitsplatz erschien, wurde sie von der Beklagten mit eingeschriebenem Expressschreiben vom 28. Dezember 1998 aufgefordert, die Arbeit unverzüglich wieder aufzunehmen; andernfalls würde sofort die fristlose Kündigung ausgesprochen.
Der Eingangspassus dieses Schreibens lautet:
"Am 24. Dezember 1998 haben Sie Ihren Arbeitsplatz
um 09.53 Uhr verlassen, obwohl Ihre Arbeitszeit bis
11.00 Uhr dauert. Den Auftrag (MMV) haben Sie erledigt.
In der Folge habe ich Ihnen eine andere Arbeit
zugewiesen. Diese Arbeit haben Sie nicht ausgeführt,
sondern erklärt, dass Sie jetzt (mit 3
übrigen Arbeitnehmerinnen) nach Hause gehen würden.
Ich habe Ihnen unmissverständlich erklärt, (unter
Zeugen), das (sic) ich das nicht akzeptiere. Trotzdem
sind Sie gegangen.. "
Die Klägerin erhielt diesen Brief noch am selben Tag und liess ihn umgehend, das heisst ebenfalls am 28. Dezember 1998, durch ihre Rechtsschutzversicherung wie folgt beantworten:
"Gemäss Schilderung unserer Klientin haben Sie diese
am 24. Dezember 1998 vormittags von der Arbeit
weggeschickt, nachdem Sie dieser wie auch anderen
Ihrer Mitarbeiterinnen bereits während mehreren
Wochen eine fristlose Kündigung in Aussicht gestellt
hatten. Dabei haben Sie sich mit klaren Worten
ausgedrückt, welche hier nicht wiederholt werden
müssen.
Indem Sie heute Ihre ehemalige Mitarbeiterin
schriftlich und per Eilsendung zur Wiederaufnahme
der Arbeit anhalten, handeln Sie rechtsmissbräuchlich
und wir bitten Sie um eine konkrete Stellungnahme.
Wir können Ihr Vorgehen nicht akzeptieren und behalten
uns weitere rechtliche Schritte ausdrücklich
vor.. "
Am 29. Dezember 1998 erschien die Klägerin nicht zur Arbeit, worauf die Beklagte sie androhungsgemäss noch am selben Tag fristlos entliess.
B.- Am 22. April 1999 belangte die Klägerin die Beklagte vor dem Einzelrichter des Bezirks Höfe. Sie verlangte, die Beklagte sei zu verpflichten, ihr Fr. 5'895. 40 Nettolohn für die Monate Dezember 1998 bis Februar 1999 und weitere Fr. 9'200.-- als Entschädigung, je nebst Zins, zu bezahlen.
Der Einzelrichter erwog, die Beklagte hätte aus dem Antwortschreiben der Klägerin vom 28. Dezember 1998 ersehen müssen, dass sich diese irrtümlich als fristlos gekündigt betrachtete.
Damit hätte sie deren Ausbleiben vom Arbeitsplatz nicht als Arbeitsverweigerung werten dürfen. Die fristlose Kündigung sei ungerechtfertigt erfolgt. Er verpflichtete die Beklagte mit Urteil vom 10. Oktober 2000, das er am 13. Oktober 2000 berichtigte, der Klägerin Fr. 5'895. 40 Nettolohn sowie eine Entschädigung von Fr. 4'600.-- zu bezahlen.
Das Kantonsgericht des Kantons Schwyz hiess eine dagegen erhobene Berufung der Beklagten teilweise gut und wies die Anschlussberufung der Klägerin ab. Es entschied, die Beklagte habe die Klägerin aus wichtigem Grund im Sinne von Art. 337 OR fristlos entlassen dürfen. Demgemäss verpflichtete es die Beklagte, der Klägerin Fr. 1'983. 40 Nettolohn für den Monat Dezember nebst Zins zu bezahlen.
C.- Die Klägerin beantragt dem Bundesgericht mit Berufung, dieses Urteil aufzuheben und die Angelegenheit zur neuen Beurteilung an das Kantonsgericht zurückzuweisen.
Die Beklagte und das Kantonsgericht schliessen auf Abweisung der Berufung, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1.- Die Berufungsschrift enthält keinen materiellen Antrag, wie er nach Art. 55 Abs. 1 lit. b OG erforderlich ist.
Der blosse Rückweisungsantrag genügt indessen, weil das Bundesgericht, sollte es die Rechtsauffassung der Klägerin für begründet erachten, kein Sachurteil fällen kann, sondern die Streitsache zur weiteren Abklärung des Sachverhalts an die Vorinstanz zurückweisen muss (<ref-ruling> E. 1b S. 414).
2.- a) Gemäss Art. 337 OR kann der Arbeitgeber wie der Arbeitnehmer das Arbeitsverhältnis aus wichtigen Gründen jederzeit fristlos auflösen (Abs. 1). Als wichtiger Grund gilt namentlich jeder Umstand, bei dessen Vorhandensein dem Kündigenden nach Treu und Glauben die Fortsetzung des Arbeitsverhältnisses nicht mehr zugemutet werden darf (Abs. 2).
Über das Vorhandensein solcher Umstände entscheidet der Richter nach seinem Ermessen (Abs. 3).
Ermessensentscheide überprüft das Bundesgericht an sich frei. Es übt dabei aber Zurückhaltung und schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die hätten beachtet werden müssen. Es greift ausserdem in Ermessensentscheide ein, wenn sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 1a S. 155, 351 E. 4a S. 354; <ref-ruling> E. 1a/cc, je mit Hinweisen).
Nach der Rechtsprechung zu Art. 337 OR ist eine fristlose Entlassung nur bei besonders schweren Verfehlungen des Arbeitnehmers gerechtfertigt. Diese müssen einerseits objektiv geeignet sein, die für das Arbeitsverhältnis wesentliche Vertrauensgrundlage zu zerstören oder zumindest so tiefgreifend zu erschüttern, dass dem Arbeitgeber die Fortsetzung des Vertrags nicht mehr zuzumuten ist, und anderseits auch tatsächlich zu einer derartigen Zerstörung oder Erschütterung des gegenseitigen Vertrauens geführt haben.
Sind die Verfehlungen weniger schwerwiegend, so müssen sie trotz Verwarnung wiederholt vorgekommen sein. Ob die dem Arbeitnehmer vorgeworfene Pflichtverletzung die erforderliche Schwere erreicht, lässt sich nicht allgemein sagen, sondern hängt von den konkreten Umständen des Einzelfalles ab (<ref-ruling> E. 3, 351 E. 4a S. 353 f.; <ref-ruling> E. 3b S. 562; <ref-ruling> E. 6a S. 150, je mit Hinweisen).
b) Die Vorinstanz erachtete es als entscheidend, dass die Beklagte der Klägerin im Expressschreiben vom 28. Dezember 1998 vorwarf, von ihrem Arbeitsplatz ferngeblieben zu sein, und sie unter Androhung einer fristlosen Kündigung aufforderte, die Arbeit unverzüglich wieder aufzunehmen.
Damit habe die Beklagte einen allfälligen Irrtum der Klägerin hinsichtlich der Frage, ob ihr bereits am 24. Dezember 1998 gekündigt worden war, beseitigt. Wenn die Klägerin unter diesen Umständen am 29. Dezember 1998 dennoch der Arbeit fernblieb, ohne ihre Abwesenheit begründet zu entschuldigen, sei ihr Verhalten als bewusste Arbeitsverweigerung zu würdigen. Nachdem die Beklagte ihre Einschätzung der Vorfälle vom 24. Dezember 1998 im genannten Schreiben kundgetan und die Klägerin in ihrem Antwortschreiben dazu keine Stellung bezogen habe, hätte diese nicht mit einer weiteren Klarstellung seitens der Beklagten rechnen dürfen. Indem die Klägerin trotz Androhung der fristlosen Entlassung der Arbeit ferngeblieben sei, habe sie einen Grund für die fristlose Entlassung gesetzt. Sie habe daher weder Anspruch auf Lohnersatz nach Art. 337c Abs. 1 OR noch auf eine Entschädigung nach Art. 337c Abs. 3 OR.
c) Die Klägerin rügt, die Vorinstanz habe die fristlose Kündigung zu Unrecht als gerechtfertigt betrachtet.
Diese sei vielmehr unverhältnismässig und treuwidrig gewesen. Wie auch die Vorinstanz erkannt habe, sei die Klägerin, als sie am 28. Dezember 1998 die Arbeit nicht wieder aufgenommen habe, im Ungewissen darüber gewesen, ob das Arbeitsverhältnis noch bestanden habe. Da im Schreiben der Beklagten vom 28. Dezember 1998 der Vorfall vom 24. Dezember 1998 mit keinem Wort erwähnt worden sei, habe die Klägerin diesbezüglich eine Klarstellung erwarten dürfen, wie sie sie mit der Bitte um konkrete Stellungnahme im Schreiben ihrer Rechtsschutzversicherung auch verlangt habe.
d) Dabei übersieht die Klägerin zunächst, dass die Beklagte die Klägerin in ihrem Schreiben vom 28. Dezember 1998 nicht nur zur Wiederaufnahme der Arbeit unter Kündigungsandrohung aufforderte, sondern auch ihre Sicht des am 24. Dezember 1998 Geschehenen ausführlich schilderte. Die Vorinstanz schloss, dass die Beklagte damit einen allfälligen Irrtum der Klägerin über den Fortbestand des Arbeitsverhältnisses beseitigt hatte. Darin liegt eine für das Bundesgericht verbindliche Feststellung über das Wissen der Klägerin (Art. 63 Abs. 2 OG; <ref-ruling> E. 3a mit Hinweisen).
Die Klägerin zeigt nicht auf, inwiefern der angefochtene Entscheid auf dieser Grundlage bundesrechtswidrig sein soll (Art. 55 Abs. 1 lit. c OG; <ref-ruling> E. 2a; <ref-ruling> E. 3 S. 748 f.). Ihre Behauptung, sie sei über sechs Jahre lang klaglos für die Beklagte tätig gewesen, findet im angefochtenen Urteil keine Stütze. Insoweit ist auf ihre Rüge nicht einzutreten (Art. 55 Abs. 1 lit. c und Art. 63 Abs. 2 OG). Weshalb die Beklagte nicht zur sofortigen Auflösung des Arbeitsverhältnisses nach Art. 337 OR berechtigt gewesen sein soll, als die Klägerin am 29. Dezember 1998 trotz angedrohter fristloser Kündigung die Arbeit nicht wieder aufnahm, obwohl sie wusste, dass sie am 24. Dezember 1998 nicht entlassen worden war, legt die Klägerin nicht dar und ist nicht ersichtlich. Wenn ihr an der Fortsetzung des Arbeitsverhältnisses gelegen war, ist umso weniger einfühlbar, dass sie der Aufforderung vom 28. Dezember 1998, sich am nächsten Tag am Arbeitsplatz einzufinden, keine Folge leistete. Ihr Verhalten war geeignet, bei der Beklagten nach Treu und Glauben die Meinung aufkommen zu lassen, sie - die Klägerin - gedenke ihr erteilte Weisungen auch in Zukunft nicht ernst zu nehmen. Im vorinstanzlichen Schluss, der Beklagten sei die Fortsetzung des Arbeitsverhältnisses nicht mehr zuzumuten und die fristlose Entlassung sei gerechtfertigt, ist ein Verstoss gegen Art. 337 OR nicht auszumachen.
4.- Die Berufung erweist sich als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Da der Streitwert Fr. 30'000.-- nicht erreicht, sind keine Gerichtskosten zu erheben (Art. 343 Abs. 3 OR). Hingegen hat die unterliegende Klägerin der Beklagten eine Parteientschädigung zu entrichten (<ref-ruling> E. 5c S. 42).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil der Zivilkammer des Kantonsgerichts des Kantons Schwyz vom 6. November 2001 wird bestätigt.
2.- Es werden keine Kosten erhoben.
3.- Die Klägerin hat die Beklagte für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und der Zivilkammer des Kantonsgerichts des Kantons Schwyz schriftlich mitgeteilt.
_
Lausanne, 21. März 2002
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: