gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben:
A.- Am 17. Oktober 2001 hielt die Stadtpolizei Zürich in Zürich einen Mann an, der sich als Y._ ausgab und behauptete, aus Sierra Leone zu stammen, jedoch einen auf den Namen X._, geb. 1974, lautenden nigerianischen Reisepass auf sich trug. Anlässlich der Befragung durch die Stadtpolizei vom 18. Oktober 2001 gab er an, er sei am 13. Oktober 2001 mit dem Flugzeug direkt von Nigeria nach Zürich gekommen. Am 19. Oktober 2001 wies das Migrationsamt des Kantons Zürich X._ aus dem Gebiet der Schweiz weg, nahm ihn in Ausschaffungshaft und verfügte, er habe bis zum 18. Januar 2002 in Haft zu bleiben. An der Haftrichterverhandlung vom 20. Oktober 2001 erklärte X._, er ersuche um Asyl. Mit Verfügung vom 20. Oktober 2001 genehmigte der Haftrichter des Bezirksgerichts Zürich die Ausschaffungshaft bis zum 18. Januar 2002.
B.- Mit Verfügung vom 31. Oktober 2001 trat das Bundesamt für Flüchtlinge auf das Asylgesuch nicht ein, forderte X._ auf, die Schweiz sofort zu verlassen, und entzog einer allfälligen Beschwerde gegen diese Verfügung die aufschiebende Wirkung.
Am 22. November 2001 verlegte der psychiatrisch-psychologische Dienst des Justizvollzugs des Kantons Zürich X._ notfallmässig in die Psychiatrische Klinik Hard in Embrach. Mit Zwischenverfügung vom 5. Dezember 2001 wies die Schweizerische Asylrekurskommission das Gesuch von X._ um Wiederherstellung der aufschiebenden Wirkung seiner Beschwerde ab. Am 18. Dezember 2001 wurde er aus der Klinik entlassen. Mit Entscheid vom 10. Januar 2002 trat die Schweizerische Asylrekurskommission auf die Beschwerde von X._ gegen die Verfügung des Bundesamts für Flüchtlinge vom 31. Oktober 2001 nicht ein, da dieser den verlangten Kostenvorschuss nicht geleistet hatte.
Mit Verfügung vom 15. Januar 2002 genehmigte die Haftrichterin des Bezirksgerichts Zürich eine Verlängerung der Ausschaffungshaft bis zum 17. April 2002.
C.- Dagegen hat X._ mit Eingabe vom 7. Februar 2002 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben.
Er beantragt, den Entscheid des Haftrichters aufzuheben und ihn unverzüglich aus der Haft zu entlassen; er ersucht zudem um unentgeltliche Rechtspflege und Verbeiständung.
Das Migrationsamt des Kantons Zürich beantragt die Abweisung der Beschwerde. Die Haftrichterin hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Der Beschwerdeführer hat sich mit Schreiben vom 14. Februar 2002 noch einmal zur Sache geäussert.

Das Bundesgericht zieht in Erwägung:
1.- Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen, wenn die Voraussetzungen von Art. 13b ANAG erfüllt sind. Danach ist erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger, Weg- oder Ausweisungsentscheid vorliegt (vgl. <ref-ruling> E. 2a S. 61), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist. Zudem muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (<ref-ruling> E. 1 S. 3), die Ausschaffung rechtlich und tatsächlich möglich sein (Art. 13c Abs. 5 lit. a ANAG; vgl. <ref-ruling> E. 3 S. 152 ff.) und die Papierbeschaffung mit dem nötigen Nachdruck verfolgt werden (Art. 13b Abs. 3 ANAG; Beschleunigungsgebot; <ref-ruling> ff.). Die Haft darf höchstens drei Monate dauern; stehen dem Vollzug der Wegweisung besondere Hindernisse entgegen, so kann die Haft mit Zustimmung der kantonalen richterlichen Behörde um höchstens sechs Monate verlängert werden (Art. 13b Abs. 2 ANAG).
2.- a) Das Migrationsamt des Kantons Zürich hat den Beschwerdeführer mit Verfügung vom 19. Oktober 2001 aus dem Gebiet des Kantons Zürich weggewiesen. Der Beschwerdeführer behauptet, die Anordnung der Ausschaffungshaft könne sich nicht auf diesen Wegweisungsentscheid stützen, da er über ein gültiges Transitvisum verfügt und sich daher legal in der Schweiz aufgehalten habe.
Der Haftrichter hat die Haftgenehmigung zu verweigern, wenn sich der zu sichernde Wegweisungsentscheid als offensichtlich unzulässig erweist (<ref-ruling> E. 2 S. 220); d.h. wenn eine erstinstanzliche Wegweisungsverfügung oder eine formlose Wegweisung vorliegt, die einen augenfälligen Fehlentscheid darstellt (121 II 59 E. 2c S. 62).
Dies ist hier nicht der Fall: Trifft die Behauptung des Beschwerdeführers, wonach er aus Sierra Leone stamme und sich in Nigeria gestützt auf falsche Personalien einen Reisepass beschafft habe, zu, so war seine Einreise in die Schweiz auf jeden Fall illegal und die Wegweisung durch das Migrationsamt daher nicht zu beanstanden. Stammt er demgegenüber, wie die kantonalen Behörden annehmen, aus Nigeria und ist sein Reisepass echt, so ist er dank eines Transitvisums zwar legal in die Schweiz eingereist. Nachdem er aber sein Flugticket für den noch am gleichen Abend geplanten Weiterflug nach China hat verfallen lassen, hielt er sich jedenfalls am 17. Oktober 2001, als ihn die Stadtpolizei Zürich aufgriff, nicht mehr legal in der Schweiz auf. Daran ändert nichts, dass das Transitvisum eine Gültigkeit vom 3. Oktober bis zum 2. November 2001 hatte: Dies bedeutet nicht, dass sich der Beschwerdeführer so lange in der Schweiz aufhalten durfte, sondern dass er innerhalb dieses Zeitraumes den Zeitpunkt seiner transitmässigen Einreise selber bestimmen durfte.
Entsprechend ist aus dem Visum auf der Passkopie denn auch ersichtlich, dass die Rubrik "durée maximale du séjour" durchgestrichen ist; auch dies deutet darauf hin, dass das Transitvisum in Hinblick auf einen sofortigen Weiterflug ausgestellt worden war.
Der Haftverlängerungsentscheid basiert im Übrigen zusätzlich auf der - durch den Nichteintretensentscheid der Schweizerischen Asylrekurskommission vom 10. Januar 2002 bestätigten - Wegweisungsverfügung des Bundesamts für Ausländerfragen.
b) Die Untertauchensgefahr (vgl. dazu <ref-ruling> E. 2a S. 50 f.) ist ohne weiteres gegeben, da der Beschwerdeführer die Behörden über seine Identität getäuscht hat:
Es ist heute noch nicht mit aller Sicherheit ausgeschlossen, dass er doch aus Sierra Leone stammt und sich - möglicherweise bei einem korrupten Beamten der zuständigen Behörde in Nigeria - einen auf einen fremden Namen lautenden Pass beschafft hat. Sollte diese Version des Beschwerdeführers zutreffen, so hat er sich aufgrund eines Passes, der nicht auf seinen eigenen Namen ausgestellt war, auf dem Flughafen Kloten gegenüber den Grenzbeamten ausgewiesen und diese damit über seine Identität getäuscht. Stammt er hingegen aus Nigeria, so hat er den Behörden gegenüber zu Unrecht angegeben, er stamme aus Sierra Leone. Zudem hat er, nachdem das Asylverfahren rechtskräftig abgeschlossen war, am 15. Januar 2002 gegenüber der Haftrichterin erklärt, nach Sierra Leone gehe er nur zurück, wenn dort Frieden herrsche; aber auch in Nigeria sei sein Leben in Gefahr.
Damit bietet der Beschwerdeführer keine Gewähr dafür, dass er sich zu gegebener Zeit, wenn die Reisepapiere vorliegen, für den Vollzug der Ausschaffung zur Verfügung halten wird.
c) Der Beschwerdeführer wirft den Behörden eine Verletzung des Beschleunigungsgebotes vor.
Nachdem der Beschwerdeführer anlässlich der ersten Haftverhandlung ein Asylgesuch gestellt hatte, waren die Hände der Behörden, was Abklärungen bei den beiden in Frage kommenden Heimatländern anbelangt, vorerst gebunden (vgl.
Art. 97 Abs. 1 und 2 des Asylgesetzes vom 26. Juni 1998 [SR 142. 31]). Das Bundesamt für Flüchtlinge hatte in seiner Verfügung vom 31. Oktober 2001 einer allfälligen Beschwerde die aufschiebende Wirkung entzogen, womit der Wegweisungsentscheid an sich vollstreckbar wurde; nachdem der Beschwerdeführer aber bei der Asylrekurskommission am 29. November 2001 ein Gesuch um Wiederherstellung der aufschiebenen Wirkung gestellt hatte, kann den Behörden bis zum Entscheid darüber - konkret am 5. Dezember 2001 - kein Vorwurf gemacht werden, wenn sie sich während dieser Zeitspanne (ein paar Tage) mit Abklärungen bei den in Frage kommenden Heimatstaaten zurückhielten.
Der Beschwerdeführer ist immer bei seiner Aussage geblieben, wonach er aus Sierra Leone stamme und sich sei- nen nigerianischen Pass in Benin City verschafft habe. Am 13. November 2001 wandte sich das Migrationsamt an das Bundesamt für Flüchtlinge um Vollzugsunterstützung und wies darauf hin, dass es vielleicht im Zusammenhang mit dem nigerianischen Pass sinnvoll wäre, den Beschwerdeführer bei der nigerianischen Botschaft vorzuführen. Am 19. November 2001 ersuchte ein Mitarbeiter des Bundesamtes den Migrationsdienst telefonisch um Zustellung des Passes und stellte in Aussicht, er werde diesen Pass bei der nigerianischen Botschaft vorbeibringen und überprüfen lassen. Am 20. November 2001 konfrontierte die Kantonspolizei den Beschwerdeführer mit dem Verdacht auf eine Blankofälschung des Passes; dieser erklärte hierauf, er sei mit einer eventuellen Vorführung bei den nigerianischen Behörden einverstanden. Hierauf ersuchte die Kantonspolizei das Migrationsamt mit Schreiben vom 21. November 2001 darum, durch das Bundesamt bei den nigerianischen Behörden abklären zu lassen, ob es sich beim vorliegenden Reisepass möglicherweise um eine Blankofälschung handle, und ob die erwähnte Passnummer möglicherweise in Nigeria als gestohlen gemeldet worden sei.
Aus den Akten gehen für den Zeitraum bis zum 8. Januar 2002 keine weiteren Abklärungen der Behörden in Bezug auf die Identität des Beschwerdeführers hervor. Dass er selber den nigerianischen Behörden nicht vorgeführt wurde, solange er sich in psychiatrischer Behandlung befand (22. November bis 18. Dezember 2001), ist nicht zu beanstanden.
Demgegenüber hätte - spätestens nach dem 5. Dezember 2001 - nichts entgegengestanden, den Pass wie geplant bei den nigerianischen Behörden überprüfen zu lassen. Ebenso hätten die Behörden von Sierra Leone angefragt werden können, ob bei ihnen eine Person mit dem Namen, den der Beschwerdeführer angegeben hat, registriert ist.
Mit Schreiben vom 8. Januar 2002 wandte sich das Bundesamt für Flüchtlinge an die Schweizerische Botschaft in Lagos und bat sie darum, bei der ausstellenden nigerianischen Passkontrolle anzufragen, ob die entsprechende Passnummer als gestohlen gemeldet worden sei. Mit Schreiben vom 10. Januar 2002 an das Bundesamt für Flüchtlinge führte die Schweizerische Botschaft in Lagos aus, der Pass sei garantiert echt. Aus dem Schreiben geht jedoch nicht hervor, ob sie Abklärungen zur Frage getroffen hat, ob allenfalls eine Blankofälschung des Passes vorliegen könnte.
Es erstaunt, dass die kantonalen und eidgenössischen Behörden, obwohl der Verdacht auf eine Blankofälschung schon auf dem Tisch lag, erst am 8. Januar 2002 bei der Schweizer Botschaft in Nigeria vorstellig wurden; ebenfalls erstaunt, dass sie weder bei den nigerianischen Behörden direkt noch bei den Behörden von Sierra Leone Abklärungen darüber vorgenommen haben, ob der Beschwerdeführer in einem dieser beiden Länder registriert ist. Da aber seit dem
5. Dezember 2001 bis zum Haftrichtentscheid vom 15. Januar 2002 nicht mehr als ein Monat und zehn Tage vergangen sind, kann das Beschleunigungsgebot noch als eingehalten gelten.
Die entsprechenden Abklärungen sind aber umgehend nachzuholen.
d) Der Beschwerdeführer macht weiter geltend, eine Verlängerung der Ausschaffungshaft sei nicht zulässig, da einem Vollzug der Wegweisung keine besonderen Hindernisse entgegenstünden (Art. 13b Abs. 2 ANAG), denn die Behörden hätten ja den Pass des Beschwerdeführers für echt gehalten und damit die Wegweisung vollziehen können.
Damit widerspricht er sich aber, bestand er doch noch anlässlich der Haftrichterverhandlung vom 15. Januar 2002 ausdrücklich darauf, aus Sierra Leone zu stammen. Nachdem auch heute noch nicht mit aller Klarheit feststeht, ob es sich bei seinem nigerianischen Pass nicht doch um eine Blankofälschung handelt, ist die Identität des Beschwerdeführers nach wie vor nicht geklärt, was ein solches besonderes Hindernis darstellt. Bei dieser Sachlage kann im heutigen Zeitpunkt auch nicht geltend gemacht werden, eine Ausschaffung in seinen Heimatstaat sei nicht möglich oder nicht zulässig. Der Vollzug der Wegweisung ist daher absehbar.
e) Die Haftverlängerung um drei Monate erweist sich daher als bundesrechtskonform.
3.- Bei diesem Verfahrensausgang würde der Beschwerdeführer an sich kostenpflichtig (Art. 156 Abs. 1 OG). Da die Beschwerde aber nicht als von vornherein aussichtslos gelten kann und die Prozessarmut des Beschwerdeführers gegeben erscheint, ist das Gesuch um unentgeltliche Rechtspflege und Verbeiständung gutzuheissen (vgl. Art. 152 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird gutgeheissen:
a) Es werden keine Kosten erhoben.
b) Rechtsanwalt Dr. Markus Raess wird als amtlicher Vertreter des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse ein Honorar von Fr. 1'500.-- ausgerichtet.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Zürich sowie dem Bezirksgericht Zürich, Haftrichter, und dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 18. Februar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: