wird festgestellt und in Erwägung gezogen:
1.- Der nach eigenen Angaben aus Guinea stammende A._ (geb. 1977) wurde am 2. Februar 2001 in Ausschaffungshaft genommen, welche der Haftrichter am Bezirksgericht Zürich tags darauf prüfte und bis zum 1. Mai 2001 bestätigte. Hiergegen hat A._ am 6. Februar 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht mit dem Antrag, den angefochtenen Entscheid aufzuheben und ihn aus der Haft zu entlassen. Die Fremdenpolizei des Kantons Zürich beantragt, die Beschwerde abzuweisen; der Haftrichter hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Ausländerfragen liess sich nicht vernehmen. A._ hat am 14. Februar 2001 an seinen Ausführungen festgehalten.
2.- Die Verwaltungsgerichtsbeschwerde erweist sich als offensichtlich unbegründet und kann im vereinfachten Verfahren nach Art. 36a OG mit summarischer Begründung und unter Hinweis auf die zutreffenden Ausführungen in der Haftverfügung erledigt werden:
a) aa) Nach Art. 13b Abs. 1 lit. b in Verbindung mit Art. 13a lit. b des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) kann der Ausländer zur Sicherung des Vollzugs seiner Wegweisung in Ausschaffungshaft genommen werden, wenn er ein ihm nach Art. 13e ANAG untersagtes Gebiet betritt. Der Beschwerdeführer ist rechtskräftig aus der Schweiz weggewiesen (vgl. die Nichteintretensentscheide des Bundesamts für Flüchtlinge vom 1. Februar 2000 und der Schweizerischen
Asylrekurskommission vom 10. März 2000). Am 14. September 2000 grenzte ihn die Fremdenpolizei des Kantons Zürich aus dem Gebiet der Stadt Winterthur aus, nachdem er wiederholt in der dortigen Drogenszene beobachtet worden war. Am 2. und
18. November 2000 sowie am 8. Januar und 17. Januar 2001 wurde er indessen wieder in dem ihm untersagten Gebiet angehalten.
Der Beschwerdeführer erfüllt damit den genannten Haftgrund. Mögen für einzelne Missachtungen - wie er einwendet - auch mehr oder weniger gute Gründe bestanden haben (Anwaltsbesuch am 17. Januar 2001), war dies zumindest weder am 2. November (Ende des Deutschkurses in Winterthur um 16.30 Uhr; Anhaltung um 22.00 Uhr) noch am 18. November 2000 (Anhaltung um 19.45 Uhr im Restaurant "Hardy's") bzw. 8. Januar 2001 (Anhaltung um 22.05 Uhr) der Fall.
bb) Die Ausgrenzungsverfügung kann im Haftprüfungsverfahren bloss in Frage gestellt werden, soweit sie sich als offensichtlich rechtswidrig, missbräuchlich oder nichtig erweist (<ref-ruling> E. 3b S. 382). Dies ist nicht der Fall, nachdem der Beschwerdeführer wiederholt an bekannten Drogenumschlagplätzen beobachtet und erstinstanzlich am 4. Dezember 2000 wegen Verletzung des Betäubungsmittelgesetzes (angeblich am 13. September 2000 begangen) zu einer bedingten Gefängnisstrafe von 21 Tagen verurteilt worden ist. Dass er nach wie vor jegliche Verwicklung in den Drogenhandel bestreitet, lässt die Ausgrenzung nicht als offensichtlich unzulässig erscheinen, kann diese doch "zur Bekämpfung des widerrechtlichen Betäubungsmittelhandels" bereits angeordnet werden, wenn bloss konkrete Anhaltspunkte für eine Verbindung zu diesem bestehen (vgl. BBl 1994 I 327). Das gestützt auf Art. 23a ANAG hängige Strafverfahren wegen der Missachtung der Ausgrenzung ändert an der Zulässigkeit der Ausschaffungshaft nichts, da weder das bisherige
renitente Verhalten des Beschwerdeführers noch das Fehlen der nötigen Reisepapiere den Vollzug der Wegweisung als im Sinne von Art. 13c Abs. 5 lit. a ANAG undurchführbar erscheinen lassen; die Ausschaffungshaft dient vielmehr gerade dazu, solche Hindernisse zu überwinden (vgl. <ref-ruling> E. 2). In seiner Einvernahme vom 2. Februar 2001 hat der Beschwerdeführer die angebliche Adresse seines Vaters bekannt gegeben; weitere Abklärungen sind hierauf über das Schweizer Honorarkonsulat in Conakry eingeleitet worden. Einem Ausschaffungsvollzug stehen damit ausländerrechtlich keine Hindernisse entgegen. Welche Auswirkungen dieser Umstand auf das hängige Strafverfahren hat (vgl. <ref-ruling> ff.; <ref-ruling> ff.), bildet nicht Gegenstand der Haftprüfung.
b) Das bisherige Verhalten des Beschwerdeführers lässt - entgegen seinen Vorbringen - auch darauf schliessen, dass er sich bei Vorliegen der nötigen Reisepapiere für den Vollzug der Wegweisung nicht zur Verfügung halten wird, weshalb "Untertauchensgefahr" besteht (Art. 13b Abs. 1 lit. c ANAG; vgl. <ref-ruling> E. 2): Der Beschwerdeführer hat wiederholt erklärt, auf keinen Fall in seinen Heimatstaat zurückzukehren; gegen eine Rückschaffung werde er sich mit "Händen und Füssen wehren"; es sei ihm "völlig egal", während zehn Jahren im Gefängnis zu bleiben; er finde es dort schön, habe gutes Essen und könne fernsehen (Einvernahme vom 2. Februar 2001, S. 3). Alle bisherigen behördlichen Bemühungen, die Ausreise zu organisieren, scheiterten an seinem renitenten Verhalten. So konnte im Oktober 2000 seine Identität nicht geprüft werden, da er im Gespräch mit dem Adjunkten des guineischen Konsuls in Paris alle Angaben über sein Heimatland verweigerte. In der polizeilichen Einvernahme vom 17. Januar 2001 erklärte er auf die Frage, wie denn seine Papiere beschafft werden könnten: "Sie sind der
Chef, beschaffen Sie die Papiere und bringen Sie mich zu-rück nach Afrika". Unter diesen Umständen verliert der Einwand, er habe sich im Asylheim immer zur Verfügung der Behörden gehalten, an Bedeutung, tat er dies doch in erster Linie, um von den damit verbundenen Vorteilen zu profitieren, und in der Annahme, seine Ausschaffung werde nicht gegen seinen Willen organisiert werden können. Nachdem nun über die schweizerische Vertretung in Conakry weitere Abklärungen eingeleitet sind, die ohne sein Mitwirken zur Beschaffung der nötigen Papiere führen können, besteht erhöhte Gefahr, dass er hier oder anderswo untertaucht. Die Ausschaffungshaft ist deshalb auch gestützt auf Art. 13b Abs. 1 lit. c ANAG zulässig und verhältnismässig.
3.- Für den Fall des Unterliegens beantragt der Beschwerdeführer, ihm sei die unentgeltliche Rechtspflege und Verbeiständung zu gewähren. Dem Gesuch ist nicht zu entsprechen, da die Beschwerde zum Vornherein aussichtslos im Sinne von Art. 152 OG war. Angesichts der Mittellosigkeit des Beschwerdeführers kann von der Erhebung einer Gerichtsgebühr jedoch abgesehen werden (vgl. Art. 153a Abs. 1 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.- Es werden keine Kosten erhoben.
4.- Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei des Kantons Zürich, dem Bezirksgericht Zürich (Haftrichter), dem Bundesamt für Ausländerfragen sowie (zur Information) der Bezirksanwaltschaft Winterthur schriftlich mitgeteilt.
_
Lausanne, 16. Februar 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: