Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben: A.- Am 21. Dezember 2001 hielten zwei Beamte der Kantonspolizei Bern die aus Kamerun stammende, 1959 geborene A._ in Schönbühl an. A._ wies sich mit einem auf den Namen B._, geb. 1952, lautenden französischen Reisepass aus. Gleichentags nahm der Migrationsdienst des Kantons Bern sie in Ausschaffungshaft. Am 22. Dezember 2001 gab A._ der Kantonspolizei gegenüber ihre richtige Identität bekannt. Sie erklärte, sie sei anfangs Dezember 2001 von Frankreich her kommend in die Schweiz eingereist mit dem Ziel, um Asyl zu ersuchen, denn sie sei in ihrem Land bedroht und geschlagen worden. Anlässlich der Verhandlung vom 24. Dezember 2001 vor dem Haftrichter 4 des Haftgerichts III Bern-Mittelland (im Folgenden: Haftrichter) erklärte A._, sie möchte in der Schweiz politisches Asyl erhalten. Mit Entscheid vom 24. Dezember (schriftliche Urteilsbegründung: 27. Dezember) 2001 prüfte und genehmigte der Haftrichter die Ausschaffungshaft. Mit Schreiben vom 25. Dezember 2001 wandte sich A._ an den "procureur du tribunal du district de Montbenon, Lausanne" und ersuchte darum, dass ihr Dossier noch einmal behandelt werde; sie erwähnte, ein Asylgesuch gestellt zu haben. Mit Eingabe vom 7. Januar 2002 ersuchte A._ beim Bundesamt für Flüchtlinge schriftlich um Asyl. B.- Mit Eingabe vom 16. Januar (Postaufgabe: 18. Januar) 2002 hat A._ beim Bundesgericht gegen den Haftentscheid Beschwerde erhoben. Sie beantragt, aus der Haft entlassen zu werden. Der Migrationsdienst des Kantons Bern und der Haftrichter beantragen die Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Die Beschwerdeführerin hat sich nicht mehr zur Sache geäussert.