Faits: A. X._, né en 1980, est un ressortissant ivoirien. Le 27 mars 2010, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a placé X._ en détention pour trois mois au plus, celui-ci ayant alors donné une fausse identité et fourni un passeport français. Par arrêt du 30 mars 2010, le Juge unique de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Juge unique) a approuvé la mise en détention. Le recours interjeté par X._ auprès du Tribunal fédéral à l'encontre de l'arrêt du 30 mars 2010 a été déclaré irrecevable le 10 mai 2010 (cause 2C_350/2010). Le Juge unique a donné suite aux demandes de prolongation de la détention de X._ formées par le Service cantonal. Ainsi, par arrêt du 25 juin 2010, la détention a été prolongée au 27 septembre 2010 et, par arrêt du 24 septembre 2010, au 27 décembre 2010. Il était reproché à l'intéressé de retarder l'exécution de la mesure d'éloignement. B. La demande d'asile formée par X._, alors qu'il était placé en détention en vue de son renvoi, a été frappée d'une décision de non-entrée en matière prononcée le 27 août 2010 par l'Office fédéral des migrations (ci-après: l'Office fédéral). C. Le 9 décembre 2010, le Service cantonal a requis une troisième prolongation d'un trimestre de la détention de X._. Il a fait état d'une information de l'Office fédéral des migrations du 18 novembre 2010 l'avisant que l'Ambassade de Côte d'Ivoire acceptait de recevoir X._, mais seulement à la fin du mois de janvier 2011. Le 21 décembre 2010, l'Office fédéral a informé le Service cantonal qu'il prévoyait de présenter X._ à l'Ambassade de Côte d'Ivoire, mais ne pouvait indiquer quand celle-ci accepterait de le recevoir. Par arrêt du 22 décembre 2010, le Juge unique a prolongé la détention de X._ au 27 mars 2011 et rejeté sa demande de libération. Il a constaté en substance, sur la base de l'information du 21 décembre 2010, que l'Office fédéral ne pensait pas qu'actuellement le renvoi de l'intéressé serait impossible et que la détention restait proportionnée. Par ailleurs, comme X._ a déclaré qu'il ne consentait pas à retourner en Côte d'Ivoire, une assignation à résidence ne suffirait pas à le dissuader de passer à la clandestinité. D. A l'encontre de l'arrêt du 22 décembre 2010, X._ interjette un recours en matière de droit public au Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il demande par ailleurs l'octroi de l'assistance judiciaire. Le Tribunal cantonal a produit le dossier, mais a renoncé à se déterminer, à l'instar du Service cantonal. Invité, par ordonnance présidentielle du 28 décembre 2010, à prendre position sur la question de la faisabilité d'un renvoi en Côte d'Ivoire du recourant au vu de la situation actuelle dans ce pays, l'Office fédéral n'a pas répondu.