Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben:
A.- Am 21. Dezember 2001 hielten zwei Beamte der Kantonspolizei Bern die aus Kamerun stammende, 1959 geborene A._ in Schönbühl an. A._ wies sich mit einem auf den Namen B._, geb. 1952, lautenden französischen Reisepass aus. Gleichentags nahm der Migrationsdienst des Kantons Bern sie in Ausschaffungshaft. Am 22. Dezember 2001 gab A._ der Kantonspolizei gegenüber ihre richtige Identität bekannt. Sie erklärte, sie sei anfangs Dezember 2001 von Frankreich her kommend in die Schweiz eingereist mit dem Ziel, um Asyl zu ersuchen, denn sie sei in ihrem Land bedroht und geschlagen worden.
Anlässlich der Verhandlung vom 24. Dezember 2001 vor dem Haftrichter 4 des Haftgerichts III Bern-Mittelland (im Folgenden: Haftrichter) erklärte A._, sie möchte in der Schweiz politisches Asyl erhalten. Mit Entscheid vom 24. Dezember (schriftliche Urteilsbegründung: 27. Dezember) 2001 prüfte und genehmigte der Haftrichter die Ausschaffungshaft.
Mit Schreiben vom 25. Dezember 2001 wandte sich A._ an den "procureur du tribunal du district de Montbenon, Lausanne" und ersuchte darum, dass ihr Dossier noch einmal behandelt werde; sie erwähnte, ein Asylgesuch gestellt zu haben. Mit Eingabe vom 7. Januar 2002 ersuchte A._ beim Bundesamt für Flüchtlinge schriftlich um Asyl.
B.- Mit Eingabe vom 16. Januar (Postaufgabe: 18. Januar) 2002 hat A._ beim Bundesgericht gegen den Haftentscheid Beschwerde erhoben. Sie beantragt, aus der Haft entlassen zu werden.
Der Migrationsdienst des Kantons Bern und der Haftrichter beantragen die Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen.
Die Beschwerdeführerin hat sich nicht mehr zur Sache geäussert.
Das Bundesgericht zieht in Erwägung:
1.- Die Verwaltungsgerichtsbeschwerde hat die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten (Art. 108 Abs. 2 OG). Sie muss sich sachbezogen mit dem angefochtenen Entscheid auseinandersetzen (BGE 118 Ib 134 ff.). Bei Laienbeschwerden gegen die Genehmigung der Ausschaffungshaft stellt das Bundesgericht indessen keine hohen Anforderungen an die Beschwerdebegründung (vgl. BGE 122 I 275 E. 3b S. 277). Ist daraus ersichtlich, dass sich der Betroffene - wie hier - (zumindest auch) gegen seine Haft wendet, nimmt es entsprechende Eingaben als Verwaltungsgerichtsbeschwerden entgegen.
2.- Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen, wenn die Voraussetzungen von Art. 13b ANAG erfüllt sind. Danach ist erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger, Weg- oder Ausweisungsentscheid vorliegt (vgl. BGE 121 II 59 E. 2a S. 61), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist. Zudem muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (BGE 124 II 1 E. 1 S. 3), die Ausschaffung rechtlich und tatsächlich möglich sein (Art. 13c Abs. 5 lit. a ANAG; vgl. BGE 122 II 148 E. 3 S. 152 ff.) und die Papierbeschaffung mit dem nötigen Nachdruck verfolgt werden (Art. 13b Abs. 3 ANAG; Beschleunigungsgebot; BGE 124 II 49 ff.).
3.- a) Der Migrationsdienst des Kantons Bern hat die Beschwerdeführerin am 21. Dezember 2001 formlos aus der Schweiz weggewiesen. Der Vollzug der Wegweisung ist mangels gültiger Reisepapiere zur Zeit noch nicht vollziehbar. Er ist jedoch absehbar, sind doch in den persönlichen Effekten der Beschwerdeführerin ein auf ihren Namen lautender Führerausweis und ein Bankbüchlein gefunden worden, was den Erhalt von Reisepapieren bei den Behörden von Kamerun erleichtern sollte. Nachdem die Beschwerdeführerin sich der Polizei gegenüber mit einem nicht auf ihren Namen lautenden Pass ausgewiesen hat, liegt die Untertauchensgefahr auf der Hand (vgl. BGE 122 II 49 E. 2a S. 51).
b) Die Beschwerdeführerin hat schon bei der Befragung vom 22. Dezember 2001, einen Tag nach ihrer Inhaftnahme, gegenüber der Kantonspolizei geäussert, sie habe in der Schweiz ein Asylgesuch stellen wollen; vor dem Haftrichter erklärte sie am 24. Dezember 2001 ausdrücklich, sie möchte in der Schweiz politisches Asyl erhalten. Der Haftrichter hat daher in der Urteilsbegründung zu Unrecht ausgeführt, die Beschwerdeführerin habe zwar in der Schweiz um Asyl ersuchen wollen, dies aber "bis heute noch nicht getan": Wohl schon die Aussage der Beschwerdeführerin vom 22. Dezember 2001 vor der Kantonspolizei, sicher aber die Aussage anlässlich der Haftrichterverhandlung muss als Asylgesuch gelten, das der Haftrichter umgehend an das Bundesamt für Flüchtlinge hätte weiterleiten müssen, was - soweit aus den Akten ersichtlich - nicht geschehen ist.
Diese Unterlassung beeinflusst aber den Ausgang des vorliegenden Verfahrens nicht, denn die Beschwerdeführerin hat alle auf Asylgründe hindeutenden Aussagen erst gemacht, nachdem der Migrationsdienst sie schon in Ausschaffungshaft genommen hatte:
Wird - wie hier - während der Ausschaffungshaft ein Asylgesuch gestellt, so ist die Fortsetzung der Ausschaffungshaft nach der Rechtsprechung unter der Voraussetzung zulässig, dass mit dem Abschluss des Asylverfahrens und dem Vollzug der Wegweisung in absehbarer Zeit zu rechnen ist (BGE 125 II 377 E. 2b S. 380; vgl. Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in RDAF 53/1997, S. 329).
Diese Voraussetzungen waren hier erfüllt, gab es doch im Zeitpunkt der Haftrichterverhandlung keine Hinweise darauf, dass mit dem Abschluss des Asylverfahrens und dem Vollzug der Wegweisung nicht in absehbarer Zeit zu rechnen wäre.
c) Die Anordnung der Ausschaffungshaft erweist sich nach dem Gesagten als bundesrechtskonform.
4.- Die Verwaltungsgerichtsbeschwerde ist daher abzuweisen.
Bei diesem Verfahrensausgang würde die Beschwerdeführerin an sich kostenpflichtig (Art. 156 Abs. 1 OG). Es rechtfertigt sich jedoch mit Blick auf ihre finanziellen Verhältnisse, von der Erhebung einer Gerichtsgebühr abzusehen (Art. 153a Abs. 1 OG).
Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird der Beschwerdeführerin, dem Migrationsdienst des Kantons Bern, dem Haftgericht III Bern-Mittelland, Haftrichter 4, und dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 30. Januar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: