Faits:
A. X._, né en 1980, est un ressortissant ivoirien.
Le 27 mars 2010, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a placé X._ en détention pour trois mois au plus, celui-ci ayant alors donné une fausse identité et fourni un passeport français. Par arrêt du 30 mars 2010, le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Juge unique) a approuvé la mise en détention. Le recours interjeté par X._ auprès du Tribunal fédéral à l'encontre de l'arrêt du 30 mars 2010 a été déclaré irrecevable le 10 mai 2010 (cause 2C_350/2010).
Le Juge unique a donné suite aux demandes de prolongation de la détention de X._ formées par le Service cantonal. Ainsi, par arrêt du 25 juin 2010, la détention a été prolongée au 27 septembre 2010 et, par arrêt du 24 septembre 2010, au 27 décembre 2010. Il était reproché à l'intéressé de retarder l'exécution de la mesure d'éloignement.
B. La demande d'asile formée par X._, alors qu'il était placé en détention en vue de son renvoi, a été frappée d'une décision de non-entrée en matière prononcée le 27 août 2010 par l'Office fédéral des migrations (ci-après: l'Office fédéral).
C. Le 9 décembre 2010, le Service cantonal a requis une troisième prolongation d'un trimestre de la détention de X._. Il a fait état d'une information de l'Office fédéral des migrations du 18 novembre 2010 l'avisant que l'Ambassade de Côte d'Ivoire acceptait de recevoir X._, mais seulement à la fin du mois de janvier 2011.
Le 21 décembre 2010, l'Office fédéral a informé le Service cantonal qu'il prévoyait de présenter X._ à l'Ambassade de Côte d'Ivoire, mais ne pouvait indiquer quand celle-ci accepterait de le recevoir.
Par arrêt du 22 décembre 2010, le Juge unique a prolongé la détention de X._ au 27 mars 2011 et rejeté sa demande de libération. Il a constaté en substance, sur la base de l'information du 21 décembre 2010, que l'Office fédéral ne pensait pas qu'actuellement le renvoi de l'intéressé serait impossible et que la détention restait proportionnée. Par ailleurs, comme X._ a déclaré qu'il ne consentait pas à retourner en Côte d'Ivoire, une assignation à résidence ne suffirait pas à le dissuader de passer à la clandestinité.
D. A l'encontre de l'arrêt du 22 décembre 2010, X._ interjette un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il demande par ailleurs l'octroi de l'assistance judiciaire.
Le Tribunal cantonal a produit le dossier, mais a renoncé à se déterminer, à l'instar du Service cantonal.
Invité, par ordonnance présidentielle du 28 décembre 2010, à prendre position sur la question de la faisabilité d'un renvoi en Côte d'Ivoire du recourant au vu de la situation actuelle dans ce pays, l'Office fédéral n'a pas répondu.

Considérant en droit:
1. 1.1 La voie du recours en matière de droit public (<ref-law>) est en principe ouverte à l'encontre des décisions cantonales rendues en matière de mesures de contrainte (arrêts 2C_945/2010 du 5 janvier 2011 consid. 1; 2C_10/2009 du 5 février 2009, consid. 2 non publié à l'<ref-ruling>). Dirigé contre une telle décision émanant d'une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), le présent recours a été déposé par un ressortissant étranger encore en détention en application de la prolongation litigieuse, de sorte que sa qualité pour recourir doit être admise (<ref-law>). Interjeté dans le délai prévu par la loi (cf. <ref-law>) et dans les formes requises (<ref-law>), le recours est en principe recevable.
En revanche, il ne sera pas entré en matière sur la demande du recourant tendant à être mis au bénéfice d'une admission provisoire au sens de l'art. 83 LEtr. Une telle requête est irrecevable, dès lors qu'elle dépasse l'objet de la présente procédure, qui concerne uniquement la prolongation de la détention du recourant en vue de son renvoi.
2. La mise en détention initiale du recourant date du 27 mars 2010 et a été approuvée par arrêt du Juge unique le 30 mars 2010, sur la base de l'art. 76 al. 1 let. b ch. 3 et 4 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr, RS 142.20). L'arrêt attaqué, qui prolonge cette détention pour la troisième fois jusqu'au 27 mars 2011, rappelle les motifs pour lesquels le Juge unique avait déjà considéré que la privation de liberté était justifiée. Ainsi, le recourant essayait de retarder l'exécution de la mesure d'éloignement et persistait toujours à refuser de retourner dans son pays. On peut ajouter que le recourant a fait l'objet, le 27 août 2010, d'une décision de non-entrée en matière sur sa demande d'asile en application de l'art. 33 de la loi fédérale du 26 juin 1998 sur l'asile (LAsi; RS 142.31), ce qui constitue aussi un motif de détention en vertu de l'art. 76 al. 1 let. b ch. 2 LEtr (cf. <ref-ruling> consid. 3.2.2 p. 382). Sur la base de ces éléments, il convient d'admettre que le recourant remplit les exigences légales justifiant une détention en vue du renvoi, ce qu'il ne remet du reste pas en cause.
3. Encore faut-il examiner si les conditions pour que la détention se prolonge sont réunies, ce que conteste le recourant, qui invoque sur ce point une violation des art. 76 al. 3 et 80 al. 6 LEtr, ainsi que du principe de la proportionnalité et de l'art. 5 CEDH.
3.1 Selon l'art. 76 al. 3 1ère phrase LEtr, qui a été abrogé avec effet au 1er janvier 2011 (FF 2009 8043; RO 2010 5925), la durée de la détention visée notamment à l'al. 1 let. b ch. 1 à 4 ne peut excéder trois mois; si des obstacles particuliers s'opposent à l'exécution du renvoi ou de l'expulsion, la détention peut, avec l'accord de l'autorité judiciaire cantonale, être prolongée de quinze mois au plus. Depuis le 1er janvier 2011, selon l'art. 79 LEtr, la détention en vue du renvoi ne peut excéder six mois au total. La durée maximale peut être prolongée de 12 mois au plus, notamment si la personne concernée ne coopère pas avec l'autorité compétente; ceci est le cas du recourant. S'il s'avère en particulier que l'exécution du renvoi ou de l'expulsion est impossible pour des raisons juridiques ou matérielles, la détention doit être levée (cf. art. 80 al. 6 let. a LEtr), respectivement la prolongation refusée. La jurisprudence a récemment rappelé que ces raisons doivent être importantes ("triftige Gründe") et qu'il ne suffit pas que l'exécution du renvoi soit momentanément impossible (par exemple faute de papiers d'identité), tout en restant envisageable dans un délai prévisible; l'exécution du renvoi doit être qualifiée d'impossible lorsque le rapatriement est pratiquement exclu, même si l'identité et la nationalité de l'étranger sont connues et que les papiers voulus peuvent être obtenus (arrêts 2C_538/2010 du 19 juillet 2010 consid. 3.1; 2C_386/2010 du 1er juin 2010 consid. 4 et 2C_473/2010 du 25 juin 2010 consid. 4.1). Le Tribunal fédéral a ainsi considéré que la suppression des vols spéciaux par l'Office fédéral à destination du Nigéria à la suite d'un décès rendait l'exécution des renvois impossible en l'absence d'indication précise et concrète de l'Office fédéral sur la reprise de ces vols dans un délai prévisible (cf. arrêts précités 2C_386/2010 consid. 5 et 2C_473/2010 consid. 4.2).
Enfin, dans tous les cas, la durée de la détention, envisagée dans son ensemble, doit apparaître proportionnée (<ref-ruling> consid. 2.2 p. 100; <ref-ruling> consid. 1 p. 58). Il convient en particulier d'examiner, en fonction des circonstances concrètes, si la détention en vue d'assurer l'exécution d'un renvoi au sens de l'art. 5 par. 1 let. f CEDH est (encore) adaptée et nécessaire (cf. arrêt 2C_756/2009 du 15 décembre 2009 consid. 2.1; <ref-ruling> consid. 2.3.1 p. 96 s.).
3.2 En l'espèce, il est notoire que la Côte d'Ivoire traverse actuellement une grave crise politico-institutionnelle et aucun élément n'indique que la situation soit en passe de se normaliser. Au contraire, le site du Département fédéral des affaires étrangères, dans sa version du 6 janvier 2011, http://www.eda.admin.ch/eda/de/-home/reps/afri/vciv.html, mentionne que différents indices font redouter une nouvelle aggravation de la crise politique et une possible détérioration rapide de la situation sécuritaire. Il recommande d'ailleurs aux personnes dont la présence n'est pas indispensable sur place de quitter temporairement la Côte d'Ivoire.
Dans ces circonstances, il faut déterminer si le renvoi du recourant dans son pays reste envisageable dans un délai prévisible. Le Juge unique a écarté l'application de l'art. 80 al. 6 LEtr au motif que, comme l'Office fédéral prévoyait de présenter le détenu à l'Ambassade de Côte d'Ivoire, cela signifiait que cet office ne pensait pas que le renvoi du détenu était actuellement impossible.
Un tel raisonnement ne peut être suivi. Il appartient à l'autorité judiciaire chargée de prolonger la détention de se déterminer elle-même sur l'éventuel caractère impossible du renvoi et non à l'Office fédéral. Certes l'avis de l'Office fédéral sur la question est important, mais il n'en demeure pas moins que c'est au juge de trancher en fonction de l'ensemble des circonstances. En l'occurrence, il ressort des faits constatés dans l'arrêt attaqué que le Service cantonal a demandé, le 9 décembre 2010, que la détention du recourant soit prolongée pour la troisième fois en se fondant sur une information de l'Office fédéral l'avisant que l'Ambassade de Côte d'Ivoire acceptait de recevoir le recourant, mais seulement à la fin du mois de janvier 2011. Le 21 décembre 2010, cette même autorité a indiqué qu'elle prévoyait toujours une présentation du détenu à l'Ambassade, mais sans pouvoir indiquer quand celle-ci accepterait de le recevoir. Contrairement à ce que retient l'arrêt attaqué, on ne voit pas que cette information permette d'en déduire une opinion de l'Office fédéral sur le caractère exécutable du renvoi. Il ressort plutôt de ce document que l'entrevue à l'Ambassade est devenue plus incertaine, puisque le 9 décembre 2010, l'Office fédéral était en mesure d'indiquer qu'elle aurait lieu à la fin du mois de janvier 2011. Enfin, la Cour de céans a cherché en vain à obtenir des informations de la part de l'Office fédéral qui, bien que dûment invité à se prononcer sur la faisabilité d'un renvoi en Côte d'Ivoire, n'a pas répondu.
En résumé, on se trouve en présence d'un détenu emprisonné en vue de son renvoi dans un pays qui traverse une crise majeure et dont le gouvernement au pouvoir n'est plus reconnu. Avant d'envisager le retour, les autorités doivent présenter le recourant à son ambassade. Or, on a vu qu'initialement prévue à la fin du mois de janvier 2011, on ignore désormais à quelle date cette présentation pourra avoir lieu. Enfin, l'Office fédéral, questionné sur le caractère réalisable du renvoi du recourant, n'a donné aucune indication. La Cour de céans ne dispose ainsi d'aucune information précise et concrète, qui résulterait de l'arrêt attaqué ou de l'Office fédéral, permettant d'en déduire que le renvoi du recourant en Côte d'Ivoire resterait, malgré la situation de ce pays, envisageable dans un délai prévisible.
En outre, sous l'angle de la proportionnalité, il convient de tenir compte du fait que le recourant a déjà été détenu durant près d'une année et qu'il en est à sa troisième prolongation de détention, la durée maximale de 15 mois étant bientôt atteinte. Or, la seule justification avancée par le Service cantonal à l'appui de sa dernière demande de prolongation était de pouvoir présenter le recourant à l'Ambassade de Côte d'Ivoire à fin janvier 2011, délai qui, comme on vient de le voir, ne peut plus être confirmé.
Partant, sous l'angle de l'art. 80 al. 6 LEtr et du principe de la proportionnalité, le maintien en détention du recourant ne se justifie plus.
3.3 A titre subsidiaire, le recourant demande, comme il l'avait déjà sollicité sur le plan cantonal, à être assigné à résidence au sens de l'art. 74 LEtr. Selon l'art. 74 al. 1 let. b LEtr, l'autorité compétente peut enjoindre un étranger frappé d'une décision exécutoire de renvoi ou d'expulsion et qui n'a pas respecté le délai imparti pour s'en aller, à ne pas quitter le territoire qui lui est assigné. Une telle mesure est certes envisageable en l'espèce, mais elle incombe en premier lieu au canton qui exécute le renvoi ou l'expulsion (cf. art. 74 al. 2 LEtr). Dès lors que le recourant propose lui-même une telle mesure, il convient, en application de l'art. 107 al. 2, 2ème phrase LTF, de renvoyer la cause au Service cantonal, afin qu'il rende une décision d'assignation à résidence (cf. art. 3 let. c de la loi cantonale valaisanne d'application du 15 novembre 1996 de la loi fédérale sur les mesures de contrainte en matière de droit des étrangers; LALMC/VS; RS/VS 142.4).
4. Au vu de ce qui précède, le recours doit être admis dans la mesure où il est recevable, l'arrêt attaqué annulé, ce qui entraîne le prononcé de la libération immédiate du recourant. La cause sera renvoyée au Service cantonal pour qu'il prononce une assignation à résidence à l'encontre du recourant.
Bien qu'il succombe, le canton du Valais n'a pas à supporter de frais judiciaires (cf. <ref-law>); en revanche, il convient de mettre à sa charge les dépens alloués au recourant, qui obtient gain de cause (cf. <ref-law>). Dans ces circonstances, la demande d'assistance judiciaire devient sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans la mesure où il est recevable et l'arrêt attaqué annulé dans le sens des considérants.
2. La cause est transmise au Service cantonal pour qu'il assigne le recourant à résidence.
3. Il n'est pas perçu de frais.
4. La demande d'assistance judiciaire est sans objet.
5. Le canton du Valais versera au recourant une indemnité de 2'000 fr. à titre de dépens.
6. Le présent arrêt est communiqué aux mandataires du recourant, au Service de la population et des migrations et au Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 11 janvier 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Chatton