(Art. 13b Abs. 2 ANAG), hat sich ergeben:
A.-K._, Staatsangehöriger der Elfenbeinküste, wurde am 10. Dezember 2000 bei seiner Einreise in die Schweiz von der Genfer Polizei angehalten, wobei er 146g Kokain auf sich trug. Gestützt auf diesen Sachverhalt erkannte ihn das Tribunal de Police de la République et du Canton de Genève am 23. Februar 2001 der Widerhandlung gegen Art. 19 Abs. 1 und 2 des Betäubungsmittelgesetzes für schuldig und verurteilte ihn zu einer bedingten Gefängnisstrafe von 18 Monaten und einer unbedingten Landesverweisung für die Dauer von fünf Jahren. Gleichentags stellte K._ ein Asylgesuch; für die Dauer des Asylverfahrens wurde er dem Kanton Basel-Landschaft zugewiesen.
Am 14. März 2001 wurde K._ von der Kantonspolizei des Kantons Basel-Landschaft angehalten, und am 15. März 2001 ordnete die Fremdenpolizei (heute: Amt für Migration) des Kantons Basel-Landschaft gegen ihn Vorbereitungshaft an. Der Einzelrichter für Zwangsmassnahmen im Ausländerrecht des Verwaltungsgerichts des Kantons Basel-Landschaft stellte am 16. März 2001 nach mündlicher Verhandlung fest, dass die Anordnung der Haft für längstens drei Monate, d.h. bis zum 15. Juni 2001, rechtmässig und angemessen sei.
Mit schriftlicher Verfügung vom 19. Juni 2001 stellte das Bundesamt für Flüchtlinge fest, dass K._ die Flüchtlingseigenschaft nicht erfülle, lehnte das Asylgesuch ab und wies K._ aus der Schweiz weg. Einer allfälligen Beschwerde gegen diese Verfügung entzog es die aufschiebende Wirkung.
Das Bundesamt für Flüchtlinge hatte den negativen Asylentscheid bereits am 15. Juni 2001 angekündigt, und die Fremdenpolizei des Kantons Basel-Landschaft ordnete gestützt darauf am 15. Juni 2001 gegen K._ Ausschaffungshaft an. Der Einzelrichter für Zwangsmassnahmen im Ausländerrecht des Verwaltungsgerichts des Kantons Basel-Landschaft stellte am 19. Juni 2001 nach mündlicher Verhandlung fest, dass die Anordnung der Haft zur Sicherstellung des Wegweisungsvollzugs für längstens drei Monate, d.h. bis spätestens 18. September 2001, rechtmässig und angemessen sei.
Am 12. September 2001 stimmte der Einzelrichter für Zwangsmassnahmen im Ausländerrecht der Verlängerung der Ausschaffungshaft für längstens drei Monate, d.h. bis 15. Dezember 2001, zu. Einer weiteren Haftverlängerung bis 13. März 2002 stimmte der Einzelrichter nach mündlicher Verhandlung am 13. Dezember 2001 zu.
B.-Mit Verwaltungsgerichtsbeschwerde vom 9. Januar (Postaufgabe 10. Januar) 2002 beantragt K._ dem Bundesgericht, den Haftverlängerungsentscheid aufzuheben, die Unrechtmässigkeit der Haftverlängerung festzustellen und die kantonale Fremdenpolizei anzuweisen, ihn unverzüglich aus der Haft zu entlassen.
Das Migrationsamt des Kantons Basel-Landschaft beantragt vollumfängliche Abweisung der Verwaltungsgerichtsbeschwerde.
Der Einzelrichter für Zwangsmassnahmen im Ausländerrecht des Kantons Basel-Landschaft hat auf eine Vernehmlassung verzichtet.
Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Der Beschwerdeführer hat von der Möglichkeit, ergänzend Stellung zu nehmen, nicht Gebrauch gemacht.

Das Bundesgericht zieht in Erwägung:
1.-Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen, sofern die Voraussetzungen von Art. 13b des Bundesgesetzes über Aufenthalt und Niederlassung (ANAG, SR 142. 20; in der Fassung des Bundesgesetzes vom 18. März 1994 über Zwangsmassnahmen im Ausländerrecht [Zwangsmassnahmengesetz; AS 1995 146 ff.]) erfüllt sind.
Danach ist im Einzelnen erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger Weg- oder Ausweisungsentscheid vorliegt (vgl. <ref-ruling> E. 2 S. 61; <ref-ruling> E. 3a S. 374; <ref-ruling> E. 1 S. 150), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist (BGE <ref-ruling> E. 3a S. 374, 377 E. 2a S. 379). Sodann muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (BGE <ref-ruling> E. 3a S. 374, 377 E. 3a S. 381; <ref-ruling> E. 1 S. 3) und die Ausschaffung rechtlich und tatsächlich möglich sein (vgl.
Art. 13c Abs. 5 lit. a ANAG; dazu <ref-ruling> E. 2 S. 220, 377 E. 5 S. 384). Auf Seiten der Behörden sind die für den Vollzug der Wegweisung notwendigen Vorkehrungen (wie Identitäts- und Herkunftsabklärungen, Papierbeschaffung) umgehend zu treffen (Art. 13b Abs. 3 ANAG, Beschleunigungsgebot; vgl. <ref-ruling> ff.). Die Haft (bzw. deren Dauer) muss verhältnismässig sein (<ref-ruling> E. 4b S. 440 f.; <ref-ruling> E. 4 S. 383; <ref-ruling> E. 2c S. 198; vgl. auch BGE <ref-ruling> E. 3 S. 152 ff.). Zu beachten sind dabei die gesetzlichen Anforderungen an die Haftbedingungen (vgl. Art. 13c Abs. 3 sowie Art. 13d ANAG; dazu <ref-ruling>; <ref-ruling>; <ref-ruling>), wobei insbesondere zu prüfen ist, ob der Ausländer hafterstehungsfähig ist.
Die Haft darf höchstens drei Monate dauern; stehen dem Vollzug der Weg- oder Ausweisung besondere Hindernisse entgegen, so kann die Haft mit Zustimmung der kantonalen richterlichen Behörde um höchstens sechs Monate verlängert werden (Art. 13b Abs. 2 ANAG). Die Ausschaffungshaft kann somit insgesamt maximal neun Monate dauern.
2.-a) Der Beschwerdeführer ist im Asylverfahren aus der Schweiz weggewiesen worden; zudem besteht gegen ihn eine rechtskräftige, vollziehbare strafrechtliche Landesverweisung.
Die Ausschaffungshaft dient der Sicherstellung dieser Entfernungsmassnahmen und damit einem vom Gesetz vorgesehenen Zweck.
Nachdem der Beschwerdeführer wegen Widerhandlung gegen das Betäubungsmittelgesetz (wobei eine erhebliche Menge Kokain im Spiel war) strafrechtlich verurteilt worden ist, ist sodann der von den kantonalen Behörden angerufene Haftgrund von Art. 13b Abs. 1 lit. b in Verbindung mit Art. 13a lit. e ANAG offensichtlich erfüllt: Der Beschwerdeführer hat mit dem Betäubungsmitteldelikt Personen an Leib und Leben erheblich gefährdet und ist deshalb strafrechtlich verfolgt und verurteilt worden.
Ferner erweist sich die Organisation der Rückreise des Beschwerdeführers in sein Heimatland (Papierbeschaffung) erkennbar als kompliziert, nicht zuletzt deshalb, weil der Beschwerdeführer erst nach mehreren Monaten Haft konkretere Angaben über seine Verhältnisse (z.B. früherer Aufenthalt in Spanien) machte. Dem Vollzug der Wegweisung bzw. der Landesverweisung stehen damit besondere Hindernisse im Sinne von Art. 13b Abs. 2 zweiter Teilsatz ANAG entgegen.
Obwohl der Beschwerdeführer gesundheitliche Probleme hat, behauptet er nicht und ist auch aus den Akten nicht ersichtlich, dass dadurch seine Hafterstehungsfähigkeit in Frage gestellt sein könnte. Auch unter diesem Gesichtspunkt erscheint die Weiterführung der Haft nicht unzulässig.
b) Vorliegend ist die Verlängerung der Ausschaffungshaft von sechs auf neun Monate streitig, nachdem der Beschwerdeführer zuvor bereits drei Monate in Vorbereitungshaft war. Dabei kommen den Fragen nach der Verhältnismässigkeit der Haft (vgl. <ref-ruling>) bzw. nach der Wahrscheinlichkeit eines Wegweisungsvollzugs in absehbarer Zeit (Art. 13c Abs. 5 lit. a ANAG) und nach der Einhaltung des Beschleunigungsgebots (Art. 13b Abs. 3 ANAG) erhebliches Gewicht zu. Es ist nachfolgend zu prüfen, ob die Voraussetzungen für eine Haftverlängerung auch in dieser Hinsicht erfüllt sind.
3.-a) Wie sich aus der Begründung der abschlägigen Asylverfügung vom 19. Juni 2001 ergibt, steht einer Rückführung des Beschwerdeführers in sein Heimatland (Elfenbeinküste) vorerst in rechtlicher Hinsicht nichts entgegen.
Weniger klar ist, ob nach den tatsächlichen Umständen eine genügende Wahrscheinlichkeit dafür besteht, dass sich die Ausschaffung noch während der verbleibenden Haftdauer bewerkstelligen lässt. Diese Frage ist hier eng mit derjenigen verknüpft, ob dem Beschleunigungsgebot nachgelebt worden ist.
b/aa) Das Beschleunigungsgebot gemäss Art. 13b Abs. 3 ANAG gebietet es den kantonalen Behörden, zu versuchen, die Identität des Ausländers so schnell wie möglich festzustellen und die für seine Ausschaffung erforderlichen Papiere zu beschaffen. Alle zur Verfügung stehenden Massnahmen sind zu ergreifen, die geeignet erscheinen, den Vollzug der Ausschaffung zu beschleunigen. So kann es sich in vielen Fällen als zweckmässig erweisen, den Ausländer bei der Vertretung seines Landes vorzuführen, oder es kann bei den Bundesbehörden um Vollzugsunterstützung ersucht werden (vgl. Verordnung vom 11. August 1999 über den Vollzug der Weg- und Ausweisung von ausländischen Personen [VVWA; SR 142. 281]). Umgekehrt besteht keine Pflicht der Behörden, in jedem Fall schematisch bestimmte Handlungen vorzunehmen.
Das Beschleunigungsgebot gebietet bloss Vorkehrungen, die unter den konkreten Umständen des Einzelfalles die Ausschaffungsbemühungen überhaupt zu beschleunigen vermögen. Diesbezüglich steht den Vollzugsbehörden angesichts ihrer Erfahrungen z.B. in der Kontaktpflege mit ausländischen Stellen ein erheblicher Ermessensspielraum zu. Es ist eine Gesamtbetrachtung der durch die verantwortlichen Behörden geleisteten Arbeit, in Berücksichtigung der Umstände des Einzelfalles, vorzunehmen. Im Hinblick auf die Anforderungen an das Vorgehen der Behörde darf dem unkooperativen Verhalten des Ausländers Rechnung getragen werden. Solches Verhalten erlaubt es aber der Behörde nicht, einfach untätig zu bleiben; sie muss versuchen, die Identität des Ausländers festzustellen und die für seine Ausschaffung erforderlichen Papiere auch ohne seine Mitwirkung zu beschaffen. Zu berücksichtigen ist weiter der Umstand, dass die Hilfe ausländischer Behörden bisweilen schleppend vor sich geht; den Behörden lässt sich daher dann nicht vorhalten, sie lebten dem Beschleunigungsgebot nicht nach, wenn die Verzögerungen bei der Papierbeschaffung allein auf die ungenügende Kooperation einer ausländischen Botschaft zurückzuführen sind (zu den Kriterien für die Beurteilung des Beschleunigungsgebots bei ausländerrechtlichen Zwangsmassnahmen s. <ref-ruling> E. 3a S. 50 f.; vgl. aber auch <ref-ruling>).
Zu zielstrebigem Vorantreiben der Vollzugsbemühungen ist vorerst diejenige kantonale Behörde verpflichtet, die mit dem Wegweisungsvollzug betraut worden ist. Es liegt ferner auf der Hand, dass das Beschleunigungsgebot auch für das Bundesamt für Flüchtlinge bzw. für dessen Fachabteilung für Vollzugsunterstützung gilt, wobei die Behörden für eine Koordination ihrer jeweiligen Vollzugsbemühungen besorgt zu sein haben (nicht veröffentlichtes Urteil vom 4. Dezember 2001 i.S. D., E. 4a und b/aa, mit Hinweisen).
bb) Während der Dauer der Vorbereitungshaft, d.h.
während der Hängigkeit des Asylverfahrens, waren den Behörden die Hände im Hinblick auf eigentliche Ausschaffungsbemühungen bis zu einem gewissen Grad gebunden. Im Rahmen der Instruktion des Asylverfahrens wurden aber jedenfalls bereits Abklärungen zur Person des Beschwerdeführers getroffen.
Ob das Beschleunigungsgebot eingehalten wurde, ist aufgrund des Vorgehens der Behörden nach der Abweisung des Asylgesuchs, d.h. nach dem 19. Juni 2001, zu beurteilen.
Aus der vom Amt für Migration erstellten "Haftchronologie" ergibt sich diesbezüglich Folgendes:
Nach einem Haftbesuch am 25. Juni 2001 wurde am 2. Juli 2001 das Bundesamt für Flüchtlinge um Haftunterstützung ersucht. Dieses veranlasste um den 20. August 2001 Fingerabdruckvergleiche im Ausland, und Ende August anfangs September 2001 lag der entsprechende Bericht aus Spanien vor, welcher bestätigte, dass der Beschwerdeführer sich in jenem Land aufgehalten hatte, wofür sich übrigens schon im Strafverfahren klare Hinweise ergeben hatten; nach dem Bericht des spanischen Behörden verfügte der Beschwerdeführer schon seinerzeit über keine Identitätspapiere. Am 6. September 2001 leitete das Bundesamt für Flüchtlinge die notwendigen Schritte für ein Telefoninterview mit einem Sprachexperten aus Mali ein. Das Gespräch konnte stattfinden, und der Experte bestätigte am 13. September 2001, dass der Beschwerdeführer von der Elfenbeinküste stammt. In der Folge wurde der Beschwerdeführer, wie schon zuvor, regelmässig von der Fremdenpolizei in der Haft besucht und befragt, wobei dieser darauf beharrte, selber keine Möglichkeit für eine Papierbeschaffung zu haben. Am 6. Dezember 2001, als sich die Frage einer weiteren Haftverlängerung stellte, gelangte das Bundesamt für Flüchtlinge an die Schweizer Botschaft in Spanien mit der Bitte um weitere Abklärungen über den seinerzeitigen dortigen Aufenthalt des Beschwerdeführers. Am 11. Dezember 2001 wurde der Beschwerdeführer mit dem erwähnten Bericht aus Spanien von anfangs September 2001 konfrontiert und bestätigte, es handle sich bei der darin erwähnten Person um ihn. Nachdem der Haftrichter am 13. Dezember 2001 die Haftverlängerung bewilligt hatte, räumte der Beschwerdeführer der Fremdenpolizei gegenüber zusätzlich erstmals ein, zwischen 1995 und 2001 illegal in Spanien gelebt und gearbeitet zu haben.
Es bestätigt sich somit, dass der Beschwerdeführer während Monaten Informationen verschwiegen hat, die für die Organisation seiner Rückreise von Bedeutung hätten sein können. Es steht auch definitiv fest, dass er nicht nur Tatsachen verschwiegen, sondern offensichtlich falsche Angaben über den angeblichen Aufenthalt in seinem Heimatland bis kurz vor seiner Einreise in die Schweiz gemacht hat. Damit hat er die Arbeit der Behörden durchaus erschwert, was bei der Beurteilung von deren Bemühungen zu berücksichtigen ist.
Aus der vorstehenden Aufzählung ergibt sich aber umgekehrt auch, dass das behördliche Vorgehen kaum zielstrebig war.
Das anfangs Juli 2001 um Mitwirkung angegangene Bundesamt unternahm, soweit aus den Akten ersichtlich, erstmals rund 50 Tage später etwas, indem es nach dem 20. August 2001 ausländische Behörden um Fingerabdruckvergleiche ersuchte.
Nachdem anfangs September 2001 ein Bericht der spanischen Behörden ergeben hatte, dass der Beschwerdeführer sich dort aufgehalten haben könnte (Fotos lagen bei, eine Unstimmigkeit betraf einzig das genaue Geburtsdatum), wurde diesbezüglich nichts mehr unternommen, bis am 6. Dezember 2001, kurz vor dem letzten Haftverlängerungsentscheid, die Schweizer Botschaft in Madrid kontaktiert wurde. Der Beschwerdeführer selber, mit welchem immer wieder Gespräche geführt worden waren, wurde mit dem Material aus Spanien, soweit erkennbar, erst am 13. Dezember 2001, also nach mehr als drei Monaten, konfrontiert. Wenn man bedenkt, dass Bemühungen im Ausland sich bisher - soweit dem Bundesgericht bekannt - einzig auf Spanien beschränkten und dass eine Ungereimtheit bezüglich des Geburtsdatums bestand, ist dies nicht begreiflich.
Sodann konnten seit dem 13. September 2001 angesichts des Ergebnisses des Sprachtests keine derart ernsthaften Zweifel an der Nationalität des Beschwerdeführers mehr bestehen, dass von einer Kontaktaufnahme mit den zuständigen Stellen der Elfenbeinküste abzusehen gewesen wäre. Möglicherweise wäre dabei auch die im Dossier befindliche Carte d'électeur des Beschwerdeführers von Nutzen gewesen. Erwähnenswert ist jedenfalls, dass der Haftrichter in seinem Haftverlängerungsentscheid vom 13. Dezember 2001 betont, es müssten wenn möglich gleichzeitig zu den über die Schweizer Botschaft in Madrid laufenden Abklärungen "die für die Beschaffung der Reisepapiere nach der Elfenbeinküste notwendigen Vorkehrungen getroffen werden". Da sich in Bezug auf die Elfenbeinküste in den drei Monaten vom 13. September (Ergebnis Sprachtest) bis zum 13. Dezember 2001 nicht der geringste zusätzliche Hinweis ergab, ist nicht einzusehen, warum solche Vorkehrungen nicht bereits vorher möglich gewesen sein sollten. Den Akten lässt sich aber nichts darüber entnehmen, ob irgendwie geartete Kontakte zu Behörden des Heimatlandes des Beschwerdeführers bereits stattgefunden haben. Die kantonale Fremdenpolizei und das Bundesamt für Flüchtlinge müssen sich den Vorwurf gefallen lassen, dass während der ganzen Dauer zwischen dem ersten und zweiten Haftverlängerungsentscheid (12. September bis 13. Dezember 2001) ausser der mehrfachen Befragung des Beschwerdeführers praktisch kein zielgerichteter Schritt im Hinblick auf den Ausschaffungsvollzug unternommen worden ist. Unter diesen Umständen aber lässt sich nicht mehr sagen, das Beschleunigungsgebot sei eingehalten worden.
Sollte aus Gründen, die dem Bundesgericht aufgrund der Aktenlage nicht bekannt sind, auf ein Ersuchen an die Behörden der Elfenbeinküste bisher darum verzichtet worden sein, weil dies keinen Erfolg versprechen würde, müsste ohne weiteres angenommen werden, dass ein Wegweisungsvollzug nach der Elfenbeinküste bis spätestens 13. März 2002 aus tatsächlichen Gründen nicht möglich ist. Soweit die über Spanien laufenden Bemühungen eine Ausschaffung nach Spanien bezwecken sollen, so besteht nicht ernsthaft Aussicht für eine derartige "Rückschaffung", nachdem der Beschwerdeführer seit mehr als einem Jahr in der Schweiz weilt und hier ein Straf- und ein Asylverfahren durchlaufen hat.
4.-a) Ist das Beschleunigungsgebot verletzt oder erscheint der Wegweisungsvollzug aus tatsächlichen Gründen innert nützlicher Frist nicht möglich, führt dies grundsätzlich zur Beendigung der Haft. In der Tat lässt sich dann, wenn die zuständigen Behörden den Ausschaffungsvollzug nicht gehörig vorangetrieben haben, bzw. dann, wenn der Wegweisungsvollzug nicht möglich erscheint, nicht mehr von einem hängigen Ausweisungsverfahren im Sinne von Art. 5 Ziff. 1 lit. f EMRK sprechen (vgl. zur altrechtlichen Internierung <ref-ruling> E. 3 S. 206/207; 423 E. 4 S. 425 ff.). Die Haft dient dann nicht mehr dem einzigen vom Gesetz vorgesehenen Zweck, den Vollzug der Wegweisung sicherzustellen. Der Festhaltung des Beschwerdeführers in Ausschaffungshaft fehlt somit die gesetzliche Grundlage.
Die vorliegende Beschwerde ist daher vollumfänglich gutzuheissen, der angefochtene Entscheid aufzuheben und der Beschwerdeführer unverzüglich aus der Haft zu entlassen.
b) Den kantonalen Behörden, die weiterhin alles Nötige vorkehren können, um den Beschwerdeführer möglichst rasch auszuschaffen, steht es frei, allenfalls dessen Ein- oder Ausgrenzung gemäss Art. 13e ANAG in Betracht zu ziehen.
Der Ausländer, der entsprechende Anordnungen missachtet, wird mit Gefängnis bis zu einem Jahr oder mit Haft bestraft, falls sich der Vollzug der Weg- oder Ausweisung aus rechtlichen oder tatsächlichen Gründen als undurchführbar erweist (Art. 23a ANAG). Ist dies nicht der Fall, kann er möglicherweise gestützt auf Art. 13b Abs. 1 lit. b (in Verbindung mit Art. 13a lit. b ANAG) erneut in Ausschaffungshaft genommen werden.
5.-Entsprechend dem Verfahrensausgang ist keine Gerichtsgebühr zu erheben (Art. 156 Abs. 2 OG); das in der Beschwerdeschrift gestellte Gesuch um unentgeltliche Rechtspflege wird damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.-Die Verwaltungsgerichtsbeschwerde wird gutgeheissen und der Entscheid des Einzelrichters für Zwangsmassnahmen des Verwaltungsgerichts des Kantons Basel-Landschaft vom 13. Dezember 2001 aufgehoben.
2.- Der Beschwerdeführer ist ohne Verzug aus der Haft zu entlassen.
3.- Es werden keine Kosten erhoben.
4.-Das Gesuch um unentgeltliche Rechtspflege wird als gegenstandslos erklärt.
5.-Dieses Urteil wird dem Beschwerdeführer, dem Amt für Migration und dem Verwaltungsgericht (Einzelrichter für Zwangsmassnahmen im Ausländerrecht) des Kantons Basel-Landschaft sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 23. Januar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: