Faits :
A. X._, né en 1984, est un ressortissant algérien.
Le 15 novembre 2010, l'Office fédéral des migrations a refusé d'entrer en matière sur la requête d'asile formée par X._ le 1er septembre 2010. Cette décision prévoyait aussi le renvoi du requérant de Suisse en Italie, où celui-ci avait déjà déposé une demande d'asile le 12 juillet 2008, et lui enjoignait de quitter la Suisse, faute de quoi il s'exposerait à des moyens de contrainte. Il était prévu que l'exécution de la décision de renvoi incombait au canton du Valais.
B. Le 21 décembre 2010, le Service de la population et des migrations du canton du Valais (ci-après: le Service cantonal) a placé X._ en détention en vue de son renvoi avec effet immédiat pour trois mois au plus.
Par arrêt du 22 décembre 2010, le Juge unique de la Cour de droit public du Tribunal cantonal valaisan (ci-après: le Juge unique) a approuvé la décision précitée, en application de l'art. 76 al. 1 let. b ch. 3 et 4 LEtr.
C. A l'encontre de l'arrêt du 22 décembre 2010, X._ dépose un recours auprès du Tribunal fédéral. Il soutient que personne ne l'a averti qu'il devait quitter la Suisse. Par ailleurs, il invoque son état de santé (crises d'épilepsie notamment) et réitère son refus de se rendre en Italie.
Le Tribunal cantonal a produit le dossier, mais a renoncé à se déterminer, à l'instar du Service cantonal et de l'Office fédéral des migrations. Le recourant n'a pas fourni d'observations complémentaires dans le délai imparti.

Considérant en droit:
1. La voie du recours en matière de droit public (<ref-law>) est en principe ouverte à l'encontre des décisions cantonales en matière de mesures de contrainte (arrêt 2C_10/2009 du 5 février 2009 consid. 2, non publié aux <ref-ruling>). La décision attaquée, qui émane d'une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 lettre d et al. 2 LTF), peut donc faire l'objet d'un tel recours, à condition que l'écriture présentée remplisse les exigences de recevabilité propre à cette voie de droit.
S'agissant de la motivation, le mémoire doit notamment exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). En l'espèce, le recourant n'explique pas dans quelle mesure, à son avis, le Juge unique de la Cour de droit public du Tribunal cantonal aurait pris une décision contraire au droit, ni ne critique l'arrêt en tant que tel. Partant, on peut douter de la recevabilité du recours. Cette question peut toutefois demeurer indécise, la cause devant de toute façon être rejetée au fond.
2. La mise en détention du recourant se fonde sur l'art. 76 al. 1 let. b ch. 3 et 4 LEtr. Cette disposition prévoit notamment que, lorsqu'une décision de renvoi a été notifiée, l'autorité compétente peut, afin d'en assurer l'exécution, mettre en détention la personne concernée si des éléments concrets font craindre que celle-ci entende se soustraire au renvoi, en particulier parce qu'elle ne se soumet pas à son obligation de collaborer, ou si son comportement permet de conclure qu'elle se refuse à obtempérer aux instructions des autorités. D'après la jurisprudence, un risque de fuite existe notamment lorsque l'étranger tente d'entraver les démarches en vue de l'exécution du renvoi en donnant des indications manifestement inexactes ou contradictoires ou encore s'il laisse clairement apparaître, par ses déclarations ou son comportement, qu'il n'est pas disposé à retourner dans son pays d'origine (cf. <ref-ruling> consid. 3.1 p. 58 s.; arrêt 2C_206/2009 du 29 avril 2009 consid. 4.1) ou à se rendre dans un Etat tiers désigné dans la décision de renvoi.
En l'espèce, il ressort de l'arrêt attaqué que le recourant a donné de fausses indications concernant ses papiers d'identité. En outre, il a expressément indiqué qu'il refusait de se rendre en Italie, où il doit pourtant être renvoyé dès lors qu'il s'agit de l'Etat compétent pour mener la procédure d'asile (cf. Accord du 26 octobre 2004 entre la Confédération suisse et la Communauté européenne relatif aux critères et aux mécanismes permettant de déterminer l'Etat responsable de l'examen d'une demande d'asile introduite dans un Etat membre ou en Suisse, RS 0.142.392.68; Règlement n° 343/2003 du Conseil du 18 février 2003 établissant les critères et mécanismes de détermination de l'État membre responsable de l'examen d'une demande d'asile présentée dans l'un des États membres par un ressortissant d'un pays tiers, JO L 50 du 25/02/2003 - Règlement Dublin). Compte tenu de ces éléments, sa mise en détention en application de l'art. 76 al. 1 let. b ch. 3 et 4 LEtr s'avère justifiée.
3. Le recourant ne peut être suivi, lorsqu'il soutient que personne ne l'aurait averti qu'il devait quitter la Suisse. Il ressort en effet du dossier cantonal que le refus d'entrer en matière sur sa demande d'asile du 15 novembre 2010 lui a été notifié le 19 novembre suivant. Or, cette décision, rédigée dans la langue du recourant, lui ordonne expressément de quitter la Suisse.
4. Par ailleurs, l'exécution du renvoi n'apparaît pas en l'état impossible pour des raisons juridiques ou matérielles (cf. art. 80 al. 6 let. a LEtr a contrario). En effet, selon la décision de l'Office fédéral des migrations refusant d'entrer en matière sur la demande d'asile, l'Italie a accepté, le 3 novembre 2010, l'admission du recourant en vertu de l'art. 16 al. 1 let. e du Règlement Dublin, le transfert devant intervenir au plus tard le 29 avril 2011. Quant aux maladies dont fait état le recourant (épilepsie et problèmes aux yeux), elles ne constituent pas un obstacle à son transfert en Italie. Rien n'indique en outre que les autorités compétentes ne respecteront pas leur obligation de diligence, en procédant sans tarder aux démarches nécessaires (cf. art. 76 al. 4 LEtr). Enfin, la mise en détention pour une durée de trois mois apparaît nécessaire pour assurer l'exécution du renvoi, et conforme au principe de la proportionnalité.
5. Dans la présente procédure, il ne s'agit pas d'examiner le bien-fondé de la décision de renvoi du recourant, mais seulement sa détention (<ref-ruling> consid. 2 p. 58; arrêt 2C_575/2008 du 1er septembre 2008 consid. 4). Dans la mesure où l'intéressé entend remettre en cause son renvoi vers l'Italie tel que prévu dans la décision du 15 novembre 2010, ses critiques sont dès lors irrecevables.
6. S'agissant des problèmes de santé dont souffre le recourant, il convient de rappeler qu'en vertu de l'art. 25 de la loi cantonale valaisanne d'application du 15 novembre 1996 de la loi fédérale sur les mesures de contrainte en matière de droit des étrangers (LALMC; RS/VS 142.4), l'intéressé peut demander à être examiné par un médecin et, le cas échéant, bénéficier des traitements adéquats. Au demeurant, le recourant ne se plaint pas d'être privé en détention des soins nécessités par son état.
7. Dans ces circonstances, le recours doit être rejeté dans la mesure de sa recevabilité. Succombant, le recourant devrait en principe supporter les frais judiciaires (art. 66 al. 1, 1ère phrase LTF); compte tenu des circonstances, il se justifie cependant de statuer sans frais (cf. art. 66 al. 1, 2e phrase LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué au recourant, au Service de la population et des migrations et à la Cour de droit public du Tribunal cantonal du canton du Valais, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 20 janvier 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Addy