Haftentlassung gemäss Art. 13c Abs. 4 ANAG, hat sich ergeben: A.- Die peruanische Staatsangehörige X._ reiste im Oktober 1989 in die Schweiz ein und verfügte bis zum 30. Juni 1994 über eine Aufenthaltsbewilligung zu Studienzwecken. Danach reiste sie nicht aus, sondern blieb hier. Nachdem sie im Februar 2000 polizeilich angehalten worden war, stellte sie am 22. Februar 2000 ein Asylgesuch. Das Bundesamt für Flüchtlinge trat darauf am 4. Mai 2000 nicht ein und wies X._ aus der Schweiz weg. Am 8. Juni 2001 wies die Schweizerische Asylrekurskommission eine dagegen erhobene Beschwerde ab und setzte X._ eine Ausreisefrist bis zum 14. August 2001. Mehrere weitere Eingaben - wie ein Wiedererwägungsgesuch und ein erneutes Asylbegehren - blieben ebenfalls erfolglos. Am 1. Oktober 2001 ordnete der Migrationsdienst des Kantons Bern gegenüber X._ die Ausschaffungshaft im Hinblick auf die bevorstehende Ausschaffung an. Am 22. Oktober 2001 wurde X._ angehalten und ins Regionalgefängnis Bern verbracht. Die am 24. Oktober 2001 vorgesehene Ausschaffung scheiterte jedoch daran, dass sich X._ weigerte, das Flugzeug zu besteigen. Am 25. Oktober 2001 prüfte und bestätigte der Haftrichter 4 am Haftgericht III Bern-Mittelland die Ausschaffungshaft. B.- Mit Gesuch vom 26. November 2001 beantragte X._ die Entlassung aus der Haft, wobei sie im Wesentlichen die Haftbedingungen im Regionalgefängnis Bern beanstandete. Am 5. Dezember 2001 führte der Haftrichter 4 des Haftgerichts III Bern-Mittelland die richterliche Verhandlung durch. Mit Urteil vom 5. Dezember 2001, schriftlich begründet am 10. Dezember 2001, wies er das Haftentlassungsgesuch im Sinne der Erwägungen ab. In der Begründung führte er im Wesentlichen aus, für sich allein müssten die Platzverhältnisse im Ausschaffungstrakt für Frauen des Regionalgefängnisses Bern als ungenügend gewürdigt werden, im Rahmen einer Gesamtbeurteilung seien sie jedoch als knapp genügend zu beurteilen; die zuständige Behörde werde ersucht, für den Vollzug von länger dauernder Ausschaffungshaft die auszuschaffende Person in ein anderes ausserkantonales Ausschaffungsgefängnis zu verlegen, sofern keine zusätzlichen Räumlichkeiten im Regionalgefängnis Bern zur Verfügung gestellt werden könnten. Weiter erachtete der Haftrichter die sozialen Kontaktmöglichkeiten im Falle von X._ als gerade noch genügend. Als ungenügend beurteilte er indessen die ihr gewährten Möglichkeiten zum Telefonieren, was aber nicht eine Haftentlassung rechtfertige, sondern unverzüglich zu verbessern sei. Unwesentlich sei sodann das Fehlen von Arbeitsmöglichkeiten. Schliesslich verletzten die Haftbedingungen auch nicht das Gleichbehandlungsgebot; das Haftregime für Männer im Ausschaffungstrakt des Gefängnisses Witzwil sei zwar unbestrittenermassen liberaler, die Minimalanforderungen seien aber auch im Ausschaffungstrakt für Frauen des Regionalgefängnisses Bern erfüllt. C.- Gegen diesen Entscheid hat X._ am 11. Dezember 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragt, den Entscheid des Haftrichters 4 am Haftgericht III Bern-Mittelland vom 5./10. Dezember 2001 aufzuheben und sie aus der Ausschaffungshaft zu entlassen; eventuell sei festzustellen, dass sie unter Verletzung der durch Verfassungs- und Gesetzesrecht garantierten Minimalanforderungen an die Haftbedingungen inhaftiert wurde. Schliesslich ersucht sie um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Der Haftrichter 4 am Haftgericht III Bern-Mittelland schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Migrationsdienst des Kantons Bern beantragt Abweisung. Die Beschwerdeführerin hat sich mit Eingabe vom 19. Dezember 2001 nochmals zur Sache vernehmen lassen. Das Bundesamt für Ausländerfragen hat innert Frist keine Stellungnahme eingereicht. D.- Am 16. Dezember 2001 scheiterte eine weitere, diesmal begleitete Rückführung von X._ nach Peru, nachdem diese sich erneut geweigert hatte, ins Flugzeug einzusteigen. E.- Mit Eingabe vom 19. Dezember 2001 reichte der Migrationsdienst des Kantons Bern dem Bundesgericht die Kopie eines Schriftstückes gleichen Datums ein, in welchem X._ schriftlich bestätigte, nicht in das Ausschaffungsgefängnis (am Flughafen) Zürich überführt werden, sondern im Regionalgefängnis Bern bleiben zu wollen (act. 11). Der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts gab dem Rechtsvertreter von X._ daraufhin die Gelegenheit, zu diesem Schriftstück Stellung zu nehmen. Mit Eingabe vom 21. Dezember 2001 legte dieser dar, seine Klientin habe angenommen, bei der Verlegung ins Flughafengefängnis Zürich handle es sich um eine Finte für einen neuen Ausschaffungsversuch der Behörden; sie akzeptiere die Haftbedingungen im Regionalgefängnis Bern weiterhin nicht; im Übrigen gehöre die Einhaltung der Minimalbedingungen für die Ausgestaltung der Ausschaffungshaft zu den unverzichtbaren Rechten (act. 13 bzw. 14).