gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben:
A.- L._ stellte unter dem Namen K._ am 3. August 1999 ein erstes Asylgesuch in der Schweiz, wobei er angab, aus Sierra Leone zu stammen. Am 25. Januar 2000 trat das Bundesamt für Flüchtlinge darauf nicht ein und wies den Gesuchsteller aus der Schweiz weg. Während des Asylverfahrens verfügte die Fremdenpolizei des Kantons Zürich die Ausgrenzung des Asylbewerbers aus dem gesamten zürcherischen Stadtgebiet. Am 17. Februar 2000 erteilte die Jugendanwaltschaft Zürich dem Gesuchsteller wegen Widerhandlungen gegen das Betäubungsmittelgesetz einen Verweis.
Am 9. Oktober 2000 reichte L._ unter der gleichen falschen Identität ein zweites Asylgesuch ein. Eine während des Asylverfahrens durchgeführte Herkunftsanalyse ergab, dass er nicht aus Sierra Leone stammt. In der Folge wurde gegen den Gesuchsteller mehrfach wegen Widerhandlungen gegen das Betäubungsmittelgesetz ermittelt. Am 19. September 2001 wurde er polizeilich festgenommen und am 21. September 2001 in Untersuchungshaft gesetzt. Mit Entscheid vom 3. Oktober 2001 trat das Bundesamt für Flüchtlinge auch auf das zweite Asylgesuch nicht ein und wies den Asylbewerber erneut aus der Schweiz weg.
Nach seiner Entlassung aus der Untersuchungshaft und Zuführung an das Amt für Polizeiwesen Graubünden, Asyl- und Massnahmevollzug, wurde L._ von diesem in Ausschaffungshaft genommen. Zum bei ihm gefundenen gambischen Pass, der auf den Namen L._ lautet, sagte er aus, der Pass sei nicht echt; eine kriminaltechnische Prüfung ergab jedoch, dass dieser keine objektiven Fälschungsmerkmale aufweist.
L._ berief sich sodann auf eine Beziehung zu einer Schweizerin und machte geltend, er wolle diese demnächst heiraten; nach Afrika kehre er nicht zurück.
Bei einem Ausschaffungsversuch am 11. Oktober 2001 verweigerte er denn auch den Einstieg ins Flugzeug.
Mit Urteil vom 12. Oktober 2001 genehmigte das Bezirksgerichtspräsidium Plessur als Haftgericht die Ausschaffungshaft bis zum 22. November 2001.
B.- Am 25. Oktober 2001 stellte L._ ein Gesuch um Erteilung einer fremdenpolizeilichen Aufenthaltsbewilligung zwecks Vorbereitung der Heirat mit seiner Schweizer Freundin. Das Amt für Polizeiwesen Graubünden, Abteilung Fremdenpolizei, trat darauf am 31. Oktober 2001 nicht ein.
Diese Verfügung wurde rechtskräftig.
Am 12. November 2001 reichte L._ ein Haftentlassungsgesuch ein, wobei er sich unter anderem auf die bevorstehende Eheschliessung mit einer Schweizerin berief.
Am 16. November 2001 ersuchte das Amt für Polizeiwesen Graubünden, Asyl- und Massnahmevollzug, das zuständige Bezirksgerichtspräsidium Plessur um Haftverlängerung. Bei der Haftrichterverhandlung am 21. November 2001 gab L._ zu, bisher unter falscher Identität aufgetreten und in Tat und Wahrheit L._ zu sein. Er berief sich nicht nur auf die angeblich bevorstehende Heirat, sondern kritisierte auch die Haftbedingungen, insbesondere die eingeschränkten Besuchsmöglichkeiten. Am 21. November 2001 verlängerte der Haftrichter die Ausschaffungshaft bis zum 31. Januar 2002.
In der Folge gestattete das Amt für Polizeiwesen Graubünden, Asyl- und Massnahmevollzug, dass L._ zwei Mal pro Woche von seiner Freundin besucht werden kann.
C.- Mit Verwaltungsgerichtsbeschwerde vom 23. November 2001 an das Bundesgericht stellt L._ den Antrag, das Urteil des Bezirksgerichtspräsidenten Plessur vom 21. November 2001 aufzuheben und ihn selber sofort aus der Ausschaffungshaft zu entlassen.
Das Bezirksgericht Plessur hat auf eine Vernehmlassung verzichtet. Das Amt für Polizeiwesen Graubünden schliesst in seiner Vernehmlassung vom 30. November 2001 auf Abweisung der Beschwerde. L._ hat sich mit Eingabe vom 4. Dezember 2001 nochmals zur Sache geäussert. Das Bundesamt für Ausländerfragen hat innert Frist keine Stellungnahme eingereicht.

Das Bundesgericht zieht in Erwägung:
1.- a) Nach Art. 13b Abs. 1 lit. c ANAG kann die zuständige kantonale Behörde einen Ausländer zur Sicherstellung des Vollzugs eines erstinstanzlich eröffneten Weg- oder Ausweisungsentscheides in Ausschaffungshaft nehmen, wenn konkrete Anzeichen befürchten lassen, dass er sich der Ausschaffung entziehen will (so genannte Untertauchensgefahr).
Das trifft namentlich zu, wenn der Ausländer bereits einmal untergetaucht ist, behördlichen Anordnungen keine Folge leistet oder durch erkennbar unglaubwürdige und widersprüchliche Angaben die Vollzugsbemühungen der Behörden erschwert; auch Straffälligkeit kann einen Anhaltspunkt für Untertauchensgefahr darstellen (dazu <ref-ruling> E. 3b/aa S. 375; <ref-ruling> E. 2a, 148 E. 2b/aa S. 152; <ref-ruling> E. 2b S. 198). Den der Ausschaffungshaft zugrunde liegenden Wegweisungsentscheid kann das Bundesgericht im Übrigen nur dann überprüfen, wenn er offensichtlich rechtswidrig ist (vgl. Art. 100 Abs. 1 lit. b Ziff. 4 OG sowie <ref-ruling> E. 2c).
b) Der Beschwerdeführer wurde aus der Schweiz weggewiesen, und die Ausschaffung konnte bisher nicht vollzogen werden. Die Identität des Beschwerdeführers steht noch immer nicht fest. Seine bisherigen Angaben sind widersprüchlich und wenig glaubwürdig. Während längerer Zeit ist er unter einer falschen Identität und Herkunft aufgetreten, wie er inzwischen selber zugegeben hat. Sodann hat er einen Ausschaffungsversuch vereitelt, mit dem er gerade in das Land hätte reisen sollen, das er nunmehr als seine Heimat angibt; seine Behauptung, er würde sich einer weiteren Ausschaffung dorthin nicht widersetzen, erscheint daher wenig glaubwürdig.
Überdies steht der Beschwerdeführer unter dem Verdacht der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz, wobei immerhin zu berücksichtigen ist, dass er bisher lediglich einmal mit einem Verweis bestraft worden und es im Übrigen noch nicht zu strafrechtlichen Verurteilungen gekommen ist.
Aufgrund dieser Tatsachen bestehen offensichtliche Anhaltspunkte dafür, dass sich der Beschwerdeführer bei einer allfälligen Haftentlassung der behördlichen Ausschaffung entziehen würde. Daran ändert auch seine Beziehung zu einer Schweizerin nichts. So bestehen gewisse Anhaltspunkte, welche an der Ernsthaftigkeit der Heiratsabsichten zweifeln lassen; insbesondere haben der Beschwerdeführer und seine Freundin sich vor den Behörden gegenseitig auf eine Art angeschuldigt, wie dies unter Heiratswilligen nicht gerade üblich ist. Darauf braucht aber mangels Massgeblichkeit nicht näher eingegangen zu werden. Weder lassen Heiratsabsichten nämlich die ergangene Wegweisung als offensichtlich unzulässig erscheinen, noch ist es dem Beschwerdeführer unzumutbar, die Vorbereitungen zur Eheschliessung im Ausland abzuwarten. Er wird dort zu gegebener Zeit bei einer schweizerischen Vertretung um Bewilligung der Einreise zwecks Heirat nachsuchen können (vgl. <ref-ruling> E. 2 S. 220; nicht in der amtlichen Sammlung veröffentlichtes Urteil vom 6. Januar 2000, E. 3a [2A. 613/1999]). Ob er auch eine Aufenthaltsbewilligung zum Verweilen in der Schweiz erhalten wird, ist indessen nicht sicher, hängt doch der Anspruch des ausländischen Ehegatten einer Schweizerin nach Art. 7 ANAG bzw. Art. 13 BV sowie Art. 8 EMRK unter anderem auch davon ab, dass gegen diesen kein Ausweisungsgrund vorliegt, was angesichts der gegen den Beschwerdeführer laufenden Strafverfahren nicht eindeutig erscheint (vgl. Art. 10 Abs. 1 lit. a ANAG).
c) Damit kann offen bleiben, ob noch ein weiterer Haftgrund, namentlich derjenige der Widerhandlung gegen eine Ausgrenzung (Art. 13b Abs. 1 lit. b i.V.m. Art. 13a lit. b ANAG), erfüllt wäre.
d) Nach Art. 13b Abs. 2 ANAG darf die Ausschaffungshaft höchstens drei Monate dauern; sie kann um höchstens sechs Monate verlängert werden, wenn dem Vollzug der Weg- oder Ausweisung besondere Hindernisse entgegenstehen.
Da mit der ergangenen Haftverlängerung die erste Haftphase mit einer Dauer von maximal drei Monaten überschritten wird, ist zu prüfen, ob die entsprechende Voraussetzung einer Haftverlängerung gemäss Art. 13b Abs. 2 ANAG erfüllt ist (unveröffentlichtes Urteil des Bundesgerichts vom 6. Januar 1998 i.S. Keita).
Der Beschwerdeführer hat sich die Haftverlängerung selber zuzuschreiben, hat er doch eine frühere Ausschaffung durch sein täuschendes Verhalten sowie durch die bereits erwähnte Vereitelung eines Ausschaffungsversuchs selber verhindert.
Damit erweist sich eine Haftverlängerung als zulässig.
2.- a) Der Beschwerdeführer rügt die Haftbedingungen.
Soweit er allerdings in allgemeiner Weise die Verletzung gewisser Minimalstandards beanstandet, ohne näher darzutun, inwiefern diese im konkreten Fall verletzt sein sollten, kommt er seiner Begründungspflicht gemäss Art. 108 OG nicht nach. Es liegt nicht am Bundesgericht, nach allenfalls noch unzulässigen Gesichtspunkten des Haftregimes zu suchen.
Andererseits hat der Beschwerdeführer die Haftbedingungen schon vor dem Haftrichter gerügt, und dieser hat sich damit auch befasst. Da aus den Akten, insbesondere dem Protokoll der Haftrichterverhandlung, nicht hervorgeht, welche konkreten Rügen der Beschwerdeführer damals vorgetragen hat, kann ihm nicht eine entsprechende Unterlassung vor der Vorinstanz vorgehalten werden. Auf die Frage der Rechtmässigkeit der Haftbedingungen ist demnach einzugehen, soweit diese vor dem Bundesgericht mit genügender Bestimmtheit beanstandet werden, wobei sich ein paar ergänzende allgemeine Bemerkungen rechtfertigen.
b) Der Beschwerdeführer beantragt die Durchführung eines Augenscheins. Das Amt für Polizeiwesen Graubünden wendet dagegen nichts ein, sondern schliesst sich diesem Antrag sogar ausdrücklich an. Dennoch kann darauf im vorliegenden Fall verzichtet werden. Soweit die erhobenen Rügen genügend konkret sind, gehen die tatsächlichen Verhältnisse vor Ort aus den teilweise umfassenden Rechtsschriften und weiteren aktenkundigen Unterlagen zumeist mit genügender Deutlichkeit hervor. Soweit Unklarheiten bestehen bleiben, beziehen sich diese auf solche tatsächlichen Umstände, die selbst dann, wenn sie sich zugunsten des Beschwerdeführers auswirkten, nicht zu einer Haftentlassung, sondern lediglich zu organisatorischen Anpassungen führen würden, welche die Behörden unverzüglich durch geeignete Vorkehren umzusetzen hätten.
c) Wie das Bundesgericht bereits in <ref-ruling> E. 5c S. 309 festgehalten hat, muss sich ein Ausschaffungshäftling nicht entgegenhalten lassen, die Haftbedingungen in einem geplanten künftigen Ausschaffungsgefängnis erlaubten später einmal bessere Bedingungen. Selbst bei der Überprüfung einer generell-abstrakten Haftordnung muss deren verfassungskonforme Umsetzung beim konkreten Haftvollzug in einem Provisorium bis zum Eintreten der neuen Situation gewährleistet sein (vgl. <ref-ruling>, insbes. E. II.1c/cc S. 234). Der Hinweis des Amts für Polizeiwesen Graubünden auf einen neuen getrennten Zellentrakt in der Haftanstalt Realta für Ausschaffungshäftlinge, der im Jahre 2003 bezugsbereit sein soll, ist daher für den vorliegenden Fall nicht wesentlich.
d) Nach der gesetzlichen Regelung ist die ausländerrechtlich begründete Aministrativhaft in geeigneten Räumlichkeiten zu vollziehen. Die Zusammenlegung mit Personen in Untersuchungshaft oder im Strafvollzug ist dabei zu vermeiden (so genanntes Trennungsgebot). Den Inhaftierten ist, soweit möglich, geeignete Beschäftigung anzubieten (Art. 13d Abs. 2 ANAG).
Gemäss der Praxis des Bundesgerichtes wird der besonderen Situation der ausländerrechtlichen Administrativhäftlinge zwar am besten in spezifisch auf die Bedürfnisse dieser Haft eingerichteten Gebäulichkeiten Rechnung getragen.
Der Vollzug von Vorbereitungs- und Ausschaffungshaft in anderen Anstalten ist jedoch nicht zum vornherein ausgeschlossen (<ref-ruling> E. II.1b S. 231; <ref-ruling> E. 5a S. 53, 299 E. 3c S. 304). Dabei muss allerdings dem Trennungsgebot von Art. 13d Abs. 2 ANAG Nachachtung verschafft werden, und es muss für die fremdenpolizeilich Inhaftierten grundsätzlich ein liberaleres Haftregime als für Untersuchungs- oder Strafgefangene gelten (<ref-ruling> E. II.1b S. 231; <ref-ruling> E. 2a/bb S. 226 f.). Sodann ist den Gefangenen täglich mindestens eine Stunde Spaziergang oder geeignete Bewegung im Freien zu gestatten (BGE <ref-ruling> E. 4b S. 230). Von grundlegender Bedeutung ist auch der Anspruch der Häftlinge auf soziale Kontakte. Das bedeutet, dass nicht nur hinreichende Besuche durch auswärtige Personen erlaubt sein müssen, sondern dass auch die Möglichkeit sozialer Kontakte mit anderen ausländerrechtlich Inhaftierten besteht.
Dies setzt die regelmässige - aber nicht unbedingt dauernde - Benützung eines Gemeinschaftsraums oder zumindest die Möglichkeit gemeinschaftlicher Aktivitäten - Sport im Gefängnishof, weitere Tätigkeiten in anderen Räumen usw. - über den obligatorischen einstündigen Spaziergang hinaus voraus (<ref-ruling> E. 5a S. 308).
e) Das in den Kantonspolizeiposten Davos integrierte Vorbereitungs- und Ausschaffungshaftgefängnis Davos ist ein seinem neuen Zweck entsprechend umgebautes Untersuchungsgefängnis, das im Jahre 1999 in baulicher Hinsicht auf die Bedürfnisse ausländerrechtlicher Administrativhaft angepasst wurde. Die Zellen haben eine Grösse zwischen 8,5 m2 und 11,4 m2 und sind alle mit Fernsehgeräten ausgestattet.
Im Zellenstock steht ein gemeinsamer Duschraum zur Verfügung.
Im gleichen Stock befindet sich ein Aufenthaltsraum von 16 m2, der ebenfalls mit einem Fernsehgerät versehen ist. Empfangen werden können mit den Fernsehern auch etliche ausländische Sender verschiedenster Herkunft. Das zweite Obergeschoss verfügt über einen Spazierhof von 25 m2 mit einer Tischtennisanlage. Der Besuchsraum befindet sich ausserhalb des eigentlichen Gefängnistrakts, jedoch im gleichen Gebäude. Das Vorbereitungs- und Ausschaffungsgefängnis Davos steht mitunter leer und ist in der Regel nur sehr schwach - mit offenbar maximal drei Insassen - belegt. Die Benutzung des Gefängnisses ist in einer eigenen Hausordnung, welche am 7. August 1998 in Kraft getreten ist, reglementiert.
3.- a) Das Vorbereitungs- und Ausschaffungsgefängnis Davos ist den ausländerrechtlichen Administrativhäftlingen vorbehalten und stellt damit im Hinblick auf das Trennungsgebot und die grundsätzliche Geeignetheit keine Probleme.
Der Beschwerdeführer macht dies auch nicht geltend. Er rügt indessen den Mangel an Sozialkontakten, namentlich eine ungenügende Besuchsregelung für seine Freundin, die Grösse der Zelle und des Spazierhofes, das Fehlen von Beschäftigungsmöglichkeiten sowie angebliche Behinderungen bzw. ein organisatorisch bedingtes Ungenügen beim Verkehr mit seinem Rechtsvertreter. Der Beschwerdeführer sieht auch darin ein administratives Manko, dass das Gefängnis nicht über geschultes Aufsichtspersonal verfüge, sondern die Betreuung durch die Kantonspolizisten des Polizeipostens übernommen werde; nachts sei der Posten überdies überhaupt nicht besetzt.
b) Es ist nicht bekannt, ob die Zellen auf einen oder mehrere Insassen ausgelegt sind, welche Grösse die Zelle des Beschwerdeführers aufweist und ob er sich allein oder in Gesellschaft darin befindet. Das Bundesgericht hat in seiner Rechtsprechung Einerzellen von 9,2 m2 (einschliesslich Nassbereich) bzw. Zweierzellen von 10,2 m2 (mit zusätzlichem Nassbereich) als zulässig beurteilt, wenn gewährleistet ist, dass die Häftlinge nicht den weitaus grössten Teil des Tages darin verbringen müssen, sondern wenigstens tagsüber die Möglichkeit haben, die Zelle nicht nur zur Arbeit und für den Spaziergang zu verlassen (vgl. <ref-ruling> E. II.1a/bb S. 230 und II.1c/cc S. 233 f.; <ref-ruling>, vgl. insbes. E. 4b/bb S. 306 f.). Aus der Hausordnung des Vorbereitungs- und Ausschaffungsgefängnisses Davos geht hervor, dass die Häftlinge lediglich von 18.00 Uhr bis 07.00 Uhr in ihren Zellen eingeschlossen werden.
Im Übrigen stehen ihnen die gemeinsamen Räumlichkeiten, insbesondere der Aufenthaltsraum, offen. Unter diesen Umständen erweisen sich die Zellengrössen des Vorbereitungs- und Ausschaffungsgefängnisses Davos nicht als unzulässig.
Die Vollzugsbehörden werden jedoch angehalten, bei der Zuteilung einer Zelle im Sinne des Verhältnismässigkeitsprinzips die Grösse der verfügbaren Zellen mitzuberücksichtigen, wofür grundsätzlich Spielraum bestehen sollte, da das Gefängnis anscheinend ja selten über viele Insassen verfügt.
c) Die Hausordnung erlaubt tagsüber grundsätzlich Sozialkontakte mit anderen Häftlingen. Darüber hinaus wurde dem Beschwerdeführer inzwischen zugestanden, seine Freundin zwei Mal pro Woche zu Besuch empfangen zu dürfen. Ein solches Haftregime wäre an sich nicht zu beanstanden, wenn auch die tatsächliche Belegung durch mehrere Häftlinge gesichert wäre. Angesichts der behördlich bestätigten geringen Belegungsdichte ist ein Mangel an Sozialkontakten nicht völlig auszuschliessen, namentlich in Zeiten, in denen das Gefängnis tatsächlich nur durch einen einzigen Häftling belegt wäre. Unter solchen Umständen müssten geeignete, allenfalls auch aussergewöhnliche Massnahmen ergriffen werden, um eine Vereinsamung zu verhindern und die damit verbundene psychische Belastung zu verringern (ähnlich schon ein unveröffentlichtes Urteil vom 15. April 1996 i.S. Doukali). In Frage kämen etwa eine liberalere Besuchsregelung oder erweiterte Beschäftigungsmöglichkeiten sowie andere ablenkende Vorkehren, die der Gefahr der Vereinsamung entgegenwirken können, wie längere Spazierzeiten. Da die gegenwärtige Anzahl von Häftlingen nicht bekannt ist und der Beschwerdeführer hierzu keine konkreteren Rügen vorträgt, kann aber im vorliegenden Fall nicht von unzulässigen Haftbedingungen ausgegangen werden. Die Vollzugsbehörden werden ihr Augenmerk freilich darauf zu richten haben.
d) Was die Grösse des Spazierhofs betrifft, so erscheinen 25 m2, was etwa dem Mass eines durchschnittlichen Wohnzimmers entspricht, tatsächlich als wenig. Diese Grösse erlaubt keine ausgedehnteren körperlichen Betätigungen.
Ein Tischtennistisch ist zwar vorhanden, dessen Benutzung setzt aber auch mindestens das Vorhandensein zweier Gefangener voraus, was, wie dargelegt, nicht immer gewährleistet zu sein scheint. Die geringe Grösse des Spazierhofes muss wenigstens bei längerer Inhaftierung, wie sie dem Beschwerdeführer nunmehr grundsätzlich droht, oder wenn ein Häftling einziger Gefängnisinsasse ist, kompensiert werden. In Frage kommen dafür etwa erweiterte andere, insbesondere mit körperlicher Aktivität verbundene Beschäftigungsmöglichkeiten oder nicht zuletzt auch begleitete Spaziergänge ausserhalb des Gefängnisbaus, wie sie dem Bundesgericht wenigstens aus einem anderen Fall bekannt sind (vgl. EuGRZ 1995 609). Auch dies wird von den Vollzugsbehörden künftig zu beachten sein.
Aus den Akten geht hingegen nicht hervor, dass sich der Beschwerdeführer bereits bisher gegenüber dem Vollzugspersonal eindringlich über ungenügende Möglichkeiten zu körperlicher Aktivität beklagt hat.
e) Der Beschwerdeführer rügt, keine Arbeit bzw.
Beschäftigungsmöglichkeit zu erhalten. Er vermag jedoch nicht darzutun, dass er das Personal um entsprechende Zuteilung ersucht hat, wie dies erforderlich wäre (unveröffentlichtes Urteil vom 6. September 1995 i.S. Kalab). Im Übrigen verweist das Amt für Polizeiwesen Graubünden darauf, nicht über genügend Beschäftigungsmöglichkeiten zu verfügen.
Immerhin ist hier (nochmals) festzuhalten, dass von einem gesteigerten Bedürfnis nach Zuteilung von Arbeit auszugehen ist, je länger die Haft andauert (vgl. BGE <ref-ruling> E. 7 S. 234 f.) sowie wenn ein Mangel an sozialen Kontakten bestünde oder die ungenügenden Bewegungsmöglichkeiten durch Beschäftigung kompensiert werden müssten. Auch diesfalls darf jedoch vorausgesetzt werden, dass der Häftling mit der nötigen Eindringlichkeit um entsprechende Beschäftigungsmöglichkeiten nachsucht.
f) Problematisch erscheint die Organisation des Aufsichts- und Betreuungspersonals. Das Amt für Polizeiwesen Graubünden räumt ein, dass im Vorbereitungs- und Ausschaffungsgefängnis Davos kein speziell zur Gefangenenbetreuung ausgebildetes Personal eingesetzt wird. Es hält jedoch die dafür eingesetzten Polizeibeamten dank ihrer langen Ausbildung für geeignet. Ob dies so zutrifft, ist fraglich.
Da der Beschwerdeführer indessen keine Hinweise auf entsprechende konkrete Unzulänglichkeiten vorzulegen vermag, sondern lediglich in allgemeiner Weise die Eignung der Polizeibeamten in Frage stellt, lässt sich vorliegend noch nicht schliessen, Bundesrecht sei verletzt. Es ist immerhin zu erwarten, dass die für die Aufsicht und Betreuung beigezogenen Personen künftig für den entsprechenden Einsatz genügend vorbereitet und geschult werden. Der Kanton wird in diesem Sinne unverzüglich die nötigen Massnahmen zu ergreifen haben.
Ebenfalls als heikel erweist sich, dass der Kantonspolizeiposten Davos nachts nicht besetzt ist und die Ausschaffungshäftlinge, konkret auch der Beschwerdeführer, ohne Überwachungs- und Betreuungspersonal vor Ort in ihren Gefängniszellen eingesperrt sind. Wie der Beschwerdeführer zu Recht geltend macht, können sich daraus bei Suizid- oder Brandgefahr erhebliche Risiken ergeben. Das Amt für Polizeiwesen Graubünden verweist insofern auf den vorhandenen elektronischen Alarm mit Sprechmöglichkeit zur Einsatzzentrale der Kantonspolizei, was in jedem Fall eine verzugslose Reaktion und Betreuung der Insassen gewährleiste. Der Beschwerdeführer wendet dagegen wiederum ein, die Einsatzzentrale befinde sich in Chur und es sei unklar, wie lange es dauere, bis Hilfe eintreffen könnte.
Sollte tatsächlich vor Ort kein unmittelbarer Einsatz- oder wenigstens Pikettdienst vorhanden sein, so wäre dies problematisch. Die vorhandene Alarmierungsmöglichkeit kann nur dann als (knapp) genügend erachtet werden, wenn vor Ort wenigstens ein ständiger Pikettdienst garantiert ist, der bei Alarm unverzüglich eingreifen könnte. Ob dies zutrifft, ist nicht bekannt. Falls ein Pikettdienst in nächster Nähe fehlen würde, müsste dies unverzüglich korrigiert werden. Eine durchgehende personelle Minimalbesetzung im Gebäude, in dem sich das Vorbereitungs- und Ausschaffungsgefängnis befindet, wäre aber ohnehin vorzuziehen.
g) Weiter stellt es keinen Verstoss gegen Bundesrecht dar, dass die Freundin des Beschwerdeführers ihr Besuchsrecht einmal aufgrund besonderer Umstände nicht ausüben konnte. Ein solcher Fehler kann vorkommen; er wurde im Übrigen von den Behörden eingeräumt, analysiert und korrigiert.
Sollte sich die Freundin des Beschwerdeführers hingegen bei jedem Besuch einer Leibesvisitation unterziehen müssen, wie er ebenfalls vorträgt, könnte dies gegen Bundesrecht verstossen. Entsprechende Kontrollmassnahmen sind bei Administrativhäftlingen nur dann zulässig, wenn konkret besondere Sicherheitsbedürfnisse bestehen (vgl. etwa <ref-ruling> E. 6 S. 310 f.). Dass solche im vorliegenden Fall gegeben sind, ist nach der Aktenlage nicht ersichtlich; insbesondere sind keine Anhaltspunkte dafür bekannt, dass die Freundin in die allfälligen Drogendelikte des Beschwerdeführers, deren er angeschuldigt ist, involviert wäre. Die Behörden werden sich künftig hieran zu halten bzw. konkret zu begründen haben, weshalb Kontrollmassnahmen nötig sein sollten, falls sie solche weiterhin durchführen wollten.
h) Schliesslich trägt der Beschwerdeführer vor, unverhältnismässig lange auf die für seinen Rechtsvertreter erforderlichen Besuchsbewilligungen warten zu müssen, und verweist insofern auf einen angeblichen entsprechenden Vorfall.
Soweit dem Rechtsvertreter des Beschwerdeführers die Besuchsbewilligungen tatsächlich erst mit erheblicher Verspätung ausgestellt werden sollten und es sich dabei nicht erneut um ein einmaliges Versehen handelte, wäre dies schliesslich ebenfalls nicht zulässig, was die zuständigen Behörden künftig ebenfalls zu beachten hätten.
4.- Zusammenfassend ist festzuhalten, dass die angefochtene Haftverlängerung vor Bundesrecht standhält. Was die Haftbedingungen betrifft, stellen sich freilich mehrere heikle Fragen. Im vorliegenden Fall kann noch davon ausgegangen werden, sie verletzten Bundesrecht nicht. Einerseits vermag der Beschwerdeführer nämlich nicht in genügendem Masse aufzuzeigen, dass er konkret von massgeblichen Mängeln betroffen ist; andererseits handelt es sich bei den festgestellten Unzulänglichkeiten ausschliesslich um organisatorische Mängel, welche sich ohne Verzug korrigieren lassen.
Die zuständigen kantonalen Behörden werden im Sinne der Erwägungen mehrere Gesichtspunkte des Haftregimes im Vorbereitungs- und Ausschaffungsgefängnis Davos zu überprüfen und allenfalls unverzüglich anzupassen haben. Es kann davon ausgegangen werden, dass die Behörden dies auch tun werden. Damit wäre der Beschwerdeführer selbst dann, wenn konkret eine Verletzung von Bundesrecht anzunehmen wäre, nicht aus der Haft zu entlassen (vgl. <ref-ruling> E. 8 S. 313 f.). Bei einer allfälligen nächsten Haftverlängerung oder bei der Behandlung eines Haftentlassungsgesuchs des Beschwerdeführers, allenfalls auch im Zusammenhang mit der Haft einer anderen Person, werden die Haftbedingungen vom Haftrichter, gegebenenfalls vom Bundesgericht, freilich erneut zu kontrollieren sein.
5.- Damit ist die Verwaltungsgerichtsbeschwerde im Sinne der Erwägungen abzuweisen.
Dem mittellosen Beschwerdeführer, dessen Begehren nicht als von vornherein aussichtslos erscheinen, ist antragsgemäss die unentgeltliche Rechtspflege und Verbeiständung zu bewilligen (Art. 152 OG). Damit sind keine Kosten zu erheben, und der Rechtsvertreter des Beschwerdeführers ist aus der Bundesgerichtskasse angemessen zu entschädigen.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird im Sinne der Erwägungen abgewiesen.
2.- Dem Beschwerdeführer wird die unentgeltliche Rechtspflege bewilligt, und es wird ihm Rechtsanwalt Dr. Jean-Pierre Menge als unentgeltlicher Rechtsbeistand beigegeben.
3.- Es werden keine Kosten erhoben.
4.- Dem Vertreter des Beschwerdeführers, Rechtsanwalt Dr. Jean-Pierre Menge, wird für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 1'500.-- aus der Bundesgerichtskasse ausgerichtet.
5.- Dieses Urteil wird dem Beschwerdeführer, dem Amt für Polizeiwesen Graubünden, Asyl- und Massnahmevollzug, dem Bezirksgerichtspräsidium Plessur und dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 10. Dezember 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: