Haftentlassung gemäss Art. 13c Abs. 4 ANAG, hat sich ergeben:
A.- Die peruanische Staatsangehörige X._ reiste im Oktober 1989 in die Schweiz ein und verfügte bis zum 30. Juni 1994 über eine Aufenthaltsbewilligung zu Studienzwecken.
Danach reiste sie nicht aus, sondern blieb hier.
Nachdem sie im Februar 2000 polizeilich angehalten worden war, stellte sie am 22. Februar 2000 ein Asylgesuch. Das Bundesamt für Flüchtlinge trat darauf am 4. Mai 2000 nicht ein und wies X._ aus der Schweiz weg. Am 8. Juni 2001 wies die Schweizerische Asylrekurskommission eine dagegen erhobene Beschwerde ab und setzte X._ eine Ausreisefrist bis zum 14. August 2001. Mehrere weitere Eingaben - wie ein Wiedererwägungsgesuch und ein erneutes Asylbegehren - blieben ebenfalls erfolglos.
Am 1. Oktober 2001 ordnete der Migrationsdienst des Kantons Bern gegenüber X._ die Ausschaffungshaft im Hinblick auf die bevorstehende Ausschaffung an. Am 22. Oktober 2001 wurde X._ angehalten und ins Regionalgefängnis Bern verbracht. Die am 24. Oktober 2001 vorgesehene Ausschaffung scheiterte jedoch daran, dass sich X._ weigerte, das Flugzeug zu besteigen. Am 25. Oktober 2001 prüfte und bestätigte der Haftrichter 4 am Haftgericht III Bern-Mittelland die Ausschaffungshaft.
B.- Mit Gesuch vom 26. November 2001 beantragte X._ die Entlassung aus der Haft, wobei sie im Wesentlichen die Haftbedingungen im Regionalgefängnis Bern beanstandete. Am 5. Dezember 2001 führte der Haftrichter 4 des Haftgerichts III Bern-Mittelland die richterliche Verhandlung durch. Mit Urteil vom 5. Dezember 2001, schriftlich begründet am 10. Dezember 2001, wies er das Haftentlassungsgesuch im Sinne der Erwägungen ab. In der Begründung führte er im Wesentlichen aus, für sich allein müssten die Platzverhältnisse im Ausschaffungstrakt für Frauen des Regionalgefängnisses Bern als ungenügend gewürdigt werden, im Rahmen einer Gesamtbeurteilung seien sie jedoch als knapp genügend zu beurteilen; die zuständige Behörde werde ersucht, für den Vollzug von länger dauernder Ausschaffungshaft die auszuschaffende Person in ein anderes ausserkantonales Ausschaffungsgefängnis zu verlegen, sofern keine zusätzlichen Räumlichkeiten im Regionalgefängnis Bern zur Verfügung gestellt werden könnten. Weiter erachtete der Haftrichter die sozialen Kontaktmöglichkeiten im Falle von X._ als gerade noch genügend. Als ungenügend beurteilte er indessen die ihr gewährten Möglichkeiten zum Telefonieren, was aber nicht eine Haftentlassung rechtfertige, sondern unverzüglich zu verbessern sei. Unwesentlich sei sodann das Fehlen von Arbeitsmöglichkeiten.
Schliesslich verletzten die Haftbedingungen auch nicht das Gleichbehandlungsgebot; das Haftregime für Männer im Ausschaffungstrakt des Gefängnisses Witzwil sei zwar unbestrittenermassen liberaler, die Minimalanforderungen seien aber auch im Ausschaffungstrakt für Frauen des Regionalgefängnisses Bern erfüllt.
C.- Gegen diesen Entscheid hat X._ am 11. Dezember 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragt, den Entscheid des Haftrichters 4 am Haftgericht III Bern-Mittelland vom 5./10. Dezember 2001 aufzuheben und sie aus der Ausschaffungshaft zu entlassen; eventuell sei festzustellen, dass sie unter Verletzung der durch Verfassungs- und Gesetzesrecht garantierten Minimalanforderungen an die Haftbedingungen inhaftiert wurde.
Schliesslich ersucht sie um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Der Haftrichter 4 am Haftgericht III Bern-Mittelland schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Migrationsdienst des Kantons Bern beantragt Abweisung. Die Beschwerdeführerin hat sich mit Eingabe vom 19. Dezember 2001 nochmals zur Sache vernehmen lassen. Das Bundesamt für Ausländerfragen hat innert Frist keine Stellungnahme eingereicht.
D.- Am 16. Dezember 2001 scheiterte eine weitere, diesmal begleitete Rückführung von X._ nach Peru, nachdem diese sich erneut geweigert hatte, ins Flugzeug einzusteigen.
E.- Mit Eingabe vom 19. Dezember 2001 reichte der Migrationsdienst des Kantons Bern dem Bundesgericht die Kopie eines Schriftstückes gleichen Datums ein, in welchem X._ schriftlich bestätigte, nicht in das Ausschaffungsgefängnis (am Flughafen) Zürich überführt werden, sondern im Regionalgefängnis Bern bleiben zu wollen (act. 11).
Der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts gab dem Rechtsvertreter von X._ daraufhin die Gelegenheit, zu diesem Schriftstück Stellung zu nehmen. Mit Eingabe vom 21. Dezember 2001 legte dieser dar, seine Klientin habe angenommen, bei der Verlegung ins Flughafengefängnis Zürich handle es sich um eine Finte für einen neuen Ausschaffungsversuch der Behörden; sie akzeptiere die Haftbedingungen im Regionalgefängnis Bern weiterhin nicht; im Übrigen gehöre die Einhaltung der Minimalbedingungen für die Ausgestaltung der Ausschaffungshaft zu den unverzichtbaren Rechten (act. 13 bzw. 14).

Das Bundesgericht zieht in Erwägung:
1.- a) Strittig sind einzig die Haftbedingungen im Ausschaffungstrakt für Frauen des Regionalgefängnisses Bern.
Dass die übrigen Voraussetzungen für eine Ausschaffungshaft erfüllt sind, wird von der Beschwerdeführerin nicht bestritten.
Ein entsprechendes Hindernis ist denn auch nicht ersichtlich.
b) Nachdem die Beschwerdeführerin sich noch immer in Haft befindet, ist sie zur Beschwerdeführung legitimiert.
Ob ein Feststellungsinteresse bestünde und auf die Beschwerde auch einzutreten wäre, wenn sie inzwischen ausgeschafft worden wäre, wie sie geltend macht, kann daher offen bleiben.
2.- a) Angefochten ist ein Entscheid, mit dem der Haftrichter ein Gesuch der Beschwerdeführerin um Haftentlassung im Sinne der Erwägungen abgewiesen hat. Die Beschwerdeführerin beantragt beim Bundesgericht die Haftentlassung wegen unzulässiger Haftbedingungen. Da der Richter bei der Überprüfung der Rechtmässigkeit und der Angemessenheit der Haft die Umstände des Haftvollzugs berücksichtigen muss, können ungenügende Haftbedingungen zur Haftentlassung führen.
b) Nach der gesetzlichen Regelung ist die ausländerrechtlich begründete Administrativhaft in geeigneten Räumlichkeiten zu vollziehen. Die Zusammenlegung mit Personen in Untersuchungshaft oder im Strafvollzug ist dabei zu vermeiden (so genanntes Trennungsgebot). Den Inhaftierten ist, soweit möglich, geeignete Beschäftigung anzubieten (Art. 13d Abs. 2 ANAG).
Gemäss der Praxis des Bundesgerichtes wird der besonderen Situation der ausländerrechtlichen Administrativhäftlinge zwar am besten in spezifisch auf die Bedürfnisse dieser Haft eingerichteten Gebäulichkeiten Rechnung getragen.
Der Vollzug von Vorbereitungs- und Ausschaffungshaft in anderen Anstalten ist jedoch nicht zum vornherein ausgeschlossen (<ref-ruling> E. II.1b S. 231; <ref-ruling> E. 5a S. 53, 299 E. 3c S. 304). Dabei muss allerdings dem Trennungsgebot von Art. 13d Abs. 2 ANAG Nachachtung verschafft werden, und es muss für die fremdenpolizeilich Inhaftierten grundsätzlich ein liberaleres Haftregime als für Untersuchungs- oder Strafgefangene gelten (<ref-ruling> E. II.1b S. 231; <ref-ruling> E. 2a/bb S. 226 f.). Von grundlegender Bedeutung ist namentlich der Anspruch der Häftlinge auf soziale Kontakte. Das bedeutet, dass nicht nur hinreichende Besuche durch auswärtige Personen erlaubt sein müssen, sondern dass auch die Möglichkeit sozialer Kontakte mit anderen ausländerrechtlich Inhaftierten besteht. Dies setzt die regelmässige - aber nicht unbedingt dauernde - Benützung eines Gemeinschaftsraums oder zumindest die Möglichkeit gemeinschaftlicher Aktivitäten - Sport im Gefängnishof, weitere Tätigkeiten in anderen Räumen usw. - über den obligatorischen einstündigen Spaziergang hinaus voraus (<ref-ruling> E. 5a S. 308; unveröffentlichtes Urteil des Bundesgerichts vom 6. November 1996 i.S. Lukuikilu, 2A.514/1996).
c) Strittig waren vor dem Haftrichter im Wesentlichen drei Punkte: die engen räumlichen Verhältnisse, die fehlenden sozialen Kontakte sowie die eingeschränkten Möglichkeiten zum Telefonieren. In Bezug auf diesen letzten Punkt hat der Haftrichter die Haftbedingungen als ungenügend gewürdigt, dazu aber festgestellt, dies rechtfertige nicht eine Haftentlassung, sondern die Behörden hätten künftig bezüglich des Telefonierens eine grosszügigere Praxis anzuwenden.
Hinsichtlich der beiden ersten Punkte hat der Haftrichter die Verhältnisse als gerade noch zulässig beurteilt, jedoch festgehalten, dass eine Verlegung in ein anderes Ausschaffungsgefängnis mit Gruppenvollzug anzuordnen sei, sollte die Beschwerdeführerin über mehrere Tage allein bleiben.
d) Die Gefängnisverwaltung hat diese Anregung in der Folge - wenn auch erst nach Einreichung der Verwaltungsgerichtsbeschwerde beim Bundesgericht - aufgenommen. Sie hat der Beschwerdeführerin im Hinblick darauf, dass offenbar die Aussicht bestand, sie werde für längere Zeit die einzige Gefängnisinsassin sein, angeboten, sie ins Ausschaffungsgefängnis Zürich - am Flughafen Zürich-Kloten - zu verlegen.
Die Beschwerdeführerin hat sich, anscheinend aus Furcht davor, es sei ein weiterer Ausschaffungsversuch geplant, unterschriftlich gegen eine solche Verlegung ausgesprochen und bestätigt, sie ziehe es vor, im Regionalgefängnis Bern zu verbleiben. Damit setzt sie sich in Widerspruch zu ihrer eigenen Beschwerde an das Bundesgericht, mit der sie gerade die Haftbedingungen in diesem Regionalgefängnis Bern als unzulässig anficht. Daran vermögen auch die über ihren Rechtsvertreter nachgereichten Erläuterungen nichts zu ändern, aus denen immerhin hervorgeht, dass sie die Haftbedingungen im Regionalgefängnis Bern weiterhin als unzulässig erachtet; auf ihren Widerstand gegen eine Verlegung ins Ausschaffungsgefängnis Zürich ist die Beschwerdeführerin aber nicht zurückgekommen.
Die Beschwerdeführerin unterliegt weiterhin der Pflicht zur - gegebenenfalls erzwungenen - Ausreise. Sie hat auch kein Recht, selber die ihr genehme Vollzugsanstalt für die Ausschaffungshaft zu wählen. Immerhin ist festzuhalten, dass sie auf ihren Anspruch auf minimal zulässige Haftbedingungen nicht verzichtet; damit muss nicht geprüft werden, ob ein allfälliger Verzicht als gültig ergangen gelten könnte und wieweit der fragliche Anspruch überhaupt verzichtbar wäre. Die Beschwerdeführerin verhält sich jedoch widersprüchlich. Sie kann nicht einerseits die Haftbedingungen im Regionalgefängnis Bern anfechten und gleichzeitig ein Verbleiben in eben diesem Gefängnis einer Verlegung in eine andere Anstalt vorziehen, bezüglich welcher sie nicht geltend macht, die dortigen Verhältnisse seien unzulässig.
Schon aus diesem Grund kommt eine Haftentlassung - jedenfalls zurzeit - nicht in Frage.
3.- a) Im angefochtenen Entscheid hat sich der Haftrichter mit den Haftbedingungen im Regionalgefängnis Bern auseinander gesetzt und diese kritisch gewürdigt. Als ungenügend hat er die Möglichkeiten zum Telefonieren beurteilt.
Insoweit ist die Beschwerdeführerin denn auch nicht mehr beschwert, so dass es hier bei der Feststellung sein Bewenden haben kann, dass die entsprechenden Möglichkeiten so oder so im Sinne des angefochtenen Entscheides unverzüglich den Anforderungen der bundesgerichtlichen Rechtsprechung anzupassen sein werden (vgl. BGE <ref-ruling> E. 5b/bb S. 55, 299 E. 6b S. 311). Im Übrigen erscheint die Begründung des angefochtenen Urteils jedoch als unpräzis und teilweise zu unbestimmt und unklar.
b) Nach der Rechtsprechung darf die Beschränkung der Freiheitsrechte von Gefangenen nicht über das hinausgehen, was zur Gewährleistung des Haftzwecks und zur Aufrechterhaltung eines ordnungsgemässen Anstaltsbetriebs erforderlich ist. Dabei kann unter dem Gesichtspunkt der Verhältnismässigkeit insbesondere die Dauer der Ausschaffungshaft entscheidend sein. Je länger eine solche dauert, desto schonender haben - dem Grundsatz nach - die Freiheitsbeschränkungen auszufallen; bei lediglich kurzer Haft können hingegen weitergehende Restriktionen zulässig sein (<ref-ruling> E. 3b; Urteil des Bundesgerichts vom 6. November 1996 i.S. Lukuikilu; 2A.514/1996).
c) Beim Regionalgefängnis Bern handelt es sich um die einzige Anstalt im Kanton Bern zum Vollzug der Ausschaffungshaft von Frauen. Seit August 2000 wird die Ausschaffungshaft von anderen Haftarten getrennt durchgeführt. Der Ausschaffungstrakt für Frauen des Regionalgefängnisses Bern ist den weiblichen Administrativgefangenen vorbehalten und stellt damit im Hinblick auf das Trennungsgebot keine Probleme.
Fragwürdig ist jedoch die räumliche Anordnung. Insbesondere gibt es keinen gemeinsamen Aufenthaltsraum. Die Insassinnen sind mit Ausnahme des rund einstündigen Spazierganges, d.h. täglich rund 23 von 24 Stunden, in ihrem Zellenraum eingesperrt. Dies wird auch nicht dadurch kompensiert, dass der Durchgang zwischen den beiden vorhandenen Dreierzellen ständig offen steht. Hinzu kommt, dass die tatsächliche Belegung durch mehrere Gefangene nicht gesichert ist. Angesichts der behördlich bestätigten geringen Belegungsdichte besteht generell die Gefahr eines Mangels an Sozialkontakten; im vorliegenden Fall wird auf Seiten der Behörden auch konkret damit gerechnet, dass die Beschwerdeführerin in nächster Zeit die einzige Insassin des Ausschaffungstrakts für Frauen sein wird (vgl. act. 11).
Die fraglichen Haftbedingungen schränken die Freiheitsrechte der Beschwerdeführerin erheblich ein. Dass eine Mehrheit der weiblichen Ausschaffungsgefangenen des Regionalgefängnisses Bern lediglich kurze Zeit dort inhaftiert ist, wie die bernischen Behörden mit Hinweis auf die entsprechende Statistik geltend machen, ändert nichts daran, dass die Haftbedingungen für die Minderheit, die längere Zeit eingesperrt bleibt, zu einschränkend sind. Ein derart restriktives Regime ist im Hinblick auf den Haftzweck, nämlich die Sicherung der Ausschaffung, auf die Dauer nicht erforderlich und daher unverhältnismässig. Die Beschwerdeführerin ist nunmehr bereits seit über zwei Monaten im Regionalgefängnis Bern inhaftiert. Unter diesen Umständen müssen geeignete Gegenmassnahmen ergriffen werden, namentlich solche, die eine Vereinsamung der Beschwerdeführerin verhindern und die damit verbundene psychische Belastung verringern (nicht in der amtlichen Sammlung veröffentlichtes Urteil des Bundesgerichts vom 10. Dezember 2001 i.S. L., 2A.506/2001). Dabei erscheint insbesondere die Verlegung in eine andere Vollzugsanstalt nicht ausgeschlossen.
d) Die Haftbedingungen im Ausschaffungstrakt für Frauen des Regionalgefängnisses Bern erfüllen damit die bundesrechtlichen Minimalanforderungen im Falle der Beschwerdeführerin angesichts der langen Haftdauer nicht. Bereits der angefochtene Entscheid äussert entsprechende Zweifel, ohne daraus jedoch klare Konsequenzen zu ziehen. Im Übrigen lässt das nachträgliche Bestreben der Gefängnisverwaltung, die Beschwerdeführerin ins Ausschaffungsgefängnis Zürich zu verlegen, erkennen, dass auch sie die Haftbedingungen im Regionalgefängnis Bern für längerfristige Inhaftierungen als problematisch erachtet. Damit kann offen bleiben, ob der Kanton Bern darüber hinaus die weiblichen Ausschaffungsgefangenen im Vergleich zu den männlichen - für die der Kanton Bern in der Vollzugsanstalt Witzwil bei längerer Inhaftierung ein liberaleres Haftregime eingerichtet hat - geschlechtsbedingt benachteiligt bzw. ungleich behandelt und damit Art. 8 Abs. 2 oder 3 BV verletzt, wie die Beschwerdeführerin auch noch rügt.
4.- a) Genügen die Haftbedingungen den verfassungsrechtlichen und gesetzlichen Anforderungen nicht, stellt sich die Frage, welche Rechtsfolgen hieran zu knüpfen sind.
Im vorliegenden Fall kommt eine Haftentlassung bereits aufgrund des widersprüchlichen Verhaltens der Beschwerdeführerin nicht in Frage (vgl. E. 2d). Aus dem gleichen Grund rechtfertigt sich auch nicht die Ansetzung einer Frist zur Verbesserung der Haftbedingungen (wie im von der Beschwerdeführerin mehrmals angerufenen Fall 2A.514/1996 i.S.
Lukuikilu). Damit ist die Verwaltungsgerichtsbeschwerde grundsätzlich abzuweisen. Das festgestellte Ungenügen der Haftbedingungen im Regionalgefängnis Bern im vorliegenden Fall kann jedoch nicht ohne Wirkung bleiben. Die baulichen Bedingungen im Regionalgefängnis Bern lassen sich zwar nicht ohne weiteres kurzfristig verändern, und es dürfte nicht einfach sein, vor Ort das Manko an Sozialkontakten zu kompensieren.
Die bernischen Behörden prüfen aber offenbar ernsthaft die Verlegung der Beschwerdeführerin in das Ausschaffungsgefängnis des Kantons Zürich. Der Wunsch der Beschwerdeführerin, lieber im Regionalgefängnis Bern zu bleiben, vermag den Kanton Bern nicht vom Gewähren der zulässigen Haftbedingungen zu dispensieren. Es ist hier nochmals zu unterstreichen, dass die Beschwerdeführerin weiterhin der Pflicht zur - gegebenenfalls erzwungenen - Ausreise unterliegt, weshalb auch ihre allfällige Furcht vor einer vereinfachten Ausschaffung vom Flughafengefängnis Zürich aus eine Verlegung dorthin nicht verhindern kann.
Die Verwaltungsgerichtsbeschwerde ist im Sinne dieser Erwägungen abzuweisen.
b) Die Beschwerdeführerin unterliegt weitgehend.
Im Zeitpunkt der Beschwerdeerhebung hatte sie freilich in nachvollziehbarer Weise Anlass, die vorliegende Beschwerde einzureichen. Der angefochtene Entscheid ist unklar, und einzelne für den Verfahrensausgang wesentliche Umstände haben sich erst nachträglich ergeben. Dies rechtfertigt, der Beschwerdeführerin für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zulasten des Kantons Bern zuzusprechen (Art. 159 Abs. 1 und 3 OG). Im Übrigen ist der mittellosen Beschwerdeführerin, deren Begehren nicht von vornherein aussichtslos waren, antragsgemäss die unentgeltliche Rechtspflege und Verbeiständung zu bewilligen (Art. 152 OG). Damit sind keine Kosten zu erheben, und die Beschwerdeführerin ist für das bundesgerichtliche Verfahren insoweit, als der Aufwand ihres Rechtsvertreters nicht bereits vom Kanton Bern gedeckt werden muss, aus der Bundesgerichtskasse zu entschädigen.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird im Sinne der Erwägungen abgewiesen.
2.- Der Beschwerdeführerin wird die unentgeltliche Rechtspflege bewilligt, und es wird ihr Fürsprecher Peter Weibel als unentgeltlicher Rechtsbeistand beigegeben.
3.- Es werden keine Kosten erhoben.
4.- a) Der Kanton Bern hat der Beschwerdeführerin für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung von Fr. 1'000.-- zu bezahlen.
b) Im Übrigen wird dem Vertreter der Beschwerdeführerin, Fürsprecher Peter Weibel, für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 1'000.-- aus der Bundesgerichtskasse ausgerichtet.
5.- a) Dieses Urteil wird der Beschwerdeführerin, dem Migrationsdienst des Kantons Bern, dem Haftgericht III Bern-Mittelland sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
b) Gleichzeitig mit dem Urteil wird dem Migrationsdienst des Kantons Bern, dem Haftgericht III Bern-Mittelland sowie dem Bundesamt für Ausländerfragen die Eingabe der Beschwerdeführerin vom 21. Dezember 2001 (act. 14) in Kopie zur Kenntnisnahme zugestellt.
_
Lausanne, 4. Januar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: