Sachverhalt: A. X._ (geb. 1975) durchlief in den Jahren 2002/2003 unter einer anderen Identität und als Staatsangehöriger von Burkina Faso erfolglos ein Asylverfahren in der Schweiz. Danach verhängten die Behörden eine Einreisesperre gegen ihn. Im Anschluss an eine Ausschaffungshaft wurde er im Dezember 2003 nach Deutschland ausgeschafft. Nachdem er dort eine gut dreijährige Freiheitsstrafe verbüsst hatte, reiste er im Juli 2009 wieder in die Schweiz ein und stellte diesmal als nigerianischer Staatsangehöriger ein neues Asylgesuch. Er wurde dem Kanton Aargau zugewiesen. Am 23. April 2010 trat das Bundesamt für Migration auf sein Asylgesuch nicht ein und verfügte gleichzeitig seine Wegweisung aus der Schweiz. Dieser Entscheid erwuchs unangefochten in Rechtskraft. Wegen fehlender Reisedokumente und weil sich X._ in Untersuchungshaft bzw. im Strafvollzug befand, konnte die Wegweisung bisher nicht vollzogen werden. Wegen des gewalttätigen Verhaltens von X._ wurde auf den Zeitpunkt seiner Entlassung aus dem Strafvollzug am 26. November 2010 im Rahmen der fürsorgerischen Freiheitsentziehung seine Einweisung in die Psychiatrische Klinik Königsfelden namentlich zur eingehenden psychiatrischen Abklärung verfügt. Mit Blick auf die bevorstehende Beendigung der fürsorgerischen Freiheitsentziehung ordnete das Migrationsamt des Kantons Aargau die Ausschaffungshaft über X._ an. Am 7. Dezember 2010 wurde dieser einer Delegation der nigerianischen Einwanderungsbehörde vorgeführt; diesbezügliche Anhörungen waren zuvor während mehrerer Monate nicht möglich gewesen. Das Rekursgericht im Ausländerrecht des Kantons Aargau (im Folgenden: Rekursgericht) bestätigte am 9. Dezember 2010 die durch das Migrationsamt angeordnete Ausschaffungshaft vorerst bis zum 8. März 2011 (Ziff. 1 des Urteilsdispositivs). Ausserdem erkannte es in Ziffer 2 des Urteilsdispositivs: "Die Haft ist im Ausschaffungszentrum des Kantons Aargau in Aarau oder im Ausschaffungsgefängnis Bässlergut in Basel zu vollziehen. Soweit notwendig kann die Haft auch im Sicherheitstrakt der Justizvollzugsanstalt Lenzburg vollzogen werden. Es wird davon Vormerk genommen, dass die medizinische bzw. psychiatrische Abklärung des Gesuchsgegners [X._] zur Zeit noch nicht abgeschlossen ist und er zu diesem Zweck in einer geeigneten medizinischen Anstalt (z.B: Psychiatrische Klinik Königsfelden oder Psychiatriezentrum Rheinau) festgehalten wird. Verlegungen sind dem Rekursgericht unverzüglich mitzuteilen. Sollte die Festhaltung in einer medizinischen Anstalt länger als bis zum 7. Januar 2011 dauern, ist dies durch das Migrationsamt bis zu diesem Datum schriftlich und unter Beilage der entsprechenden Arztberichte zu begründen." B. Mit Beschwerde vom 11. Januar 2011 beantragt X._ dem Bundesgericht, die Ausschaffungshaft zu "widerrufen" und ihn umgehend aus der Haft zu entlassen. Eventualiter sei er für die Dauer der Ausschaffungshaft vom Sicherheitstrakt der Justizvollzugsanstalt Lenzburg ins Ausschaffungszentrum des Kantons Aargau oder ins Ausschaffungsgefängnis Bässlergut in Basel zu verlegen. Das kantonale Migrationsamt stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Rekursgericht beantragt Abweisung der Beschwerde. Das Bundesamt für Migration hat sich nicht vernehmen lassen. X._ hat am letzten Tag der ihm bis zum 28. Januar 2011 eingeräumten Frist erklärt, dass er auf eine abschliessende Stellungnahme verzichte und an seinen Anträgen festhalte. C. Mit Verfügung vom 14. Januar 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts das gleichzeitig mit Beschwerdeeinreichung gestellte Gesuch um vorsorgliche Massnahmen bzw. aufschiebende Wirkung zur Verhinderung des Haftvollzugs in der Justizvollzugsanstalt Lenzburg abgewiesen.