Erwägungen:
1. 1.1 Das Migrationsamt des Kantons Aargau verweigerte am 24. September 2008 die Verlängerung der Aufenthaltsbewilligung des nigerianischen Staatsangehörigen X._ (geb. 1986). Gleichzeitig verfügte es seine Wegweisung aus der Schweiz. Die dagegen erhobenen Rechtsmittel wurden letztinstanzlich mit Urteil des Bundesgerichts vom 23. Juni 2010 (2C_195/2010) abgewiesen. Am 30. November 2010 wurde X._ in Ausschaffungshaft genommen. Diese wurde vom Rekursgericht im Ausländerrecht des Kantons Aargau zunächst bis zum 28. Februar 2011 bewilligt.
1.2 Auf eine mündliche Verhandlung vom 9. Februar 2011 hin bestätigte das Rekursgericht die Verlängerung der Haft bis zum 28. Mai 2011. Noch bevor die schriftliche Urteilsausfertigung vorlag, beantragte X._ dem Bundesgericht mit Rechtsschrift vom 13. Februar 2011, im Wege von vorsorglichen Massnahmen anzuordnen, dass seine Ausschaffung nach Nigeria einstweilen untersagt werde. Das Bundesgericht nahm die Eingabe als Beschwerde entgegen. Mit Verfügung vom 16. Februar 2011 wies der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch um vorsorgliche Massnahmen ab und sistierte das bundesgerichtliche Verfahren bis zum Vorliegen der vollständigen Ausfertigung des Urteils des Rekursgerichts vom 9. Februar 2011. Nach Zustellung der erwähnten Urteilsausfertigung gelangte X._ mit als "Recours de droit public" bezeichneter Rechtsschrift vom 28. Februar 2011 wieder an das Bundesgericht. Er beantragt, ihn unverzüglich aus der Haft zu entlassen.
Mit Verfügung vom 4. März 2011 wurde das bundesgerichtliche Verfahren wieder aufgenommen. Das Rekursgericht beantragt Abweisung der Beschwerde. Das Migrationsamt des Kantons Aargau und das Bundesamt für Migration haben sich nicht vernehmen lassen. Innert der ihm angesetzten Frist hat X._ am 17. März 2011 erklärt, er halte an seinen Anträgen vom 28. Februar 2011 fest.
2. Auch wenn der Verfahrensbevollmächtigte des Beschwerdeführers alle seine Rechtsschriften auf Französisch eingereicht hat, besteht kein Anlass, von der Regel des Art. 54 Abs. 1 Satz 1 BGG abzuweichen, wonach das Urteil des Bundesgerichts in der Sprache des angefochtenen Entscheids verfasst wird.
3. Der Beschwerdeführer macht geltend, sein Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) sei verletzt worden. Der ihm im kantonalen Verfahren von Amtes wegen beigestellte Anwalt sei weniger als 48 Stunden vor der Gerichtsverhandlung über das Verlängerungsgesuch des Migrationsamtes informiert worden. Er selber habe vom Gerichtstermin am 9. Februar 2011, 14.00 Uhr, nur kurz vorher - frühestens durch ein Telefax von 13.09 Uhr - erfahren. Er habe sich nicht auf die Verhandlung vorbereiten können; diese habe für ihn völlig überraschend stattgefunden. Seinen Anwalt habe er nur im Sitzungszimmer gesehen. Daher habe dieser denn auch keine der Haft widersprechenden Gründe vorbringen können, die sich nicht bereits aus den Akten ergeben hätten.
Es trifft wohl zu, dass der Beschwerdeführer sehr kurzfristig vom Zeitpunkt des Gerichtstermins in Kenntnis gesetzt worden ist. Er hat jedoch - in der Eingabe vom 13. Februar 2011 und anlässlich der haftrichterlichen Anhörung - eingeräumt, einen Tag vor der Gerichtsverhandlung den Antrag des kantonalen Migrationsamts auf Verlängerung der Ausschaffungshaft erhalten und erfahren zu haben, dass er deshalb am folgenden Tag bei den Behörden vorsprechen müsse. Ausserdem hatte die nigerianische Vertretung die Ausstellung von Reisedokumenten davon abhängig gemacht, dass er eine auf den 17. März 2011 beim Scheidungsrichter anberaumte Verhandlung wahrnehmen könne. Hierauf bezogen hatte ihm das Migrationsamt noch im Dezember 2010 erklärt, er würde mindestens solange in Haft bleiben (siehe Aktennotiz des Migrationsamts vom 21. Dezember 2010). Somit musste der Beschwerdeführer mit einer Verlängerung der Haft über das zunächst genehmigte Datum des 28. Februar 2011 hinaus rechnen. Zudem war ihm im kantonalen Verfahren seit der ersten Anordnung der Haft im Dezember 2010 ein Anwalt als amtlicher Rechtsvertreter bis zur Haftentlassung bestellt worden. Diesen hat er denn auch während der mündlichen Anhörung durch das Migrationsamt am Vormittag des 9. Februar 2011 und anlässlich der nach Art. 78 Abs. 4 Satz 2 AuG (SR 142.20) - von ihm bzw. seinem Anwalt - beantragten mündlichen Verhandlung beim Haftrichter gesehen. Spätestens zu diesem Zeitpunkt hätte er den Anwalt und allenfalls auch die Behörden auf Gründe aufmerksam machen können, die möglicherweise der Haft entgegenstehen und sich nicht aus den Akten ergeben. Das hat er unterlassen. Er hat statt dessen erstmals behauptet, einen neuen Anwalt zu haben; diesbezüglich lag damals aber nicht einmal eine Vollmacht, Vertretungsanzeige oder Ähnliches vor.
Das Vorbringen des Beschwerdeführers berührt letztlich die Feststellung des rechtserheblichen Sachverhalts. Er führt vor Bundesgericht jedoch nicht aus, welche zusätzlichen Umstände er bei früherer Mitteilung des Gerichtstermins vorgebracht hätte und warum er hiezu nicht schon bei den persönlichen Anhörungen durch das Migrationsamt am 9. Februar 2011 und Stunden später durch den Haftrichter fähig gewesen sei. Damit macht er ebenso wenig glaubhaft, inwiefern die angebliche Gehörsverletzung für den Ausgang des Verfahrens entscheidend sein könnte (vgl. Art. 42 Abs. 2, Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG; Urteile des Bundesgerichts 2C_724/2008 vom 16. Februar 2009 E. 2.3, in ZBl 111/2010 S. 275; 2C_578/2009 vom 23. Februar 2010 E. 2.3; 9C_1001/2009 vom 15. April 2010 E. 3.2 mit Hinweisen). Mithin geht die Rüge der Verletzung des Anspruchs auf rechtliches Gehör fehl. Nach dem Dargelegten gilt das im Übrigen auch für das Vorbringen des Beschwerdeführers, er habe nicht gewusst, warum er am 9. Februar 2011 beim Haftrichter erschien.
4. Der Beschwerdeführer macht zusätzlich geltend, es sei kein Haftgrund gegeben bzw. die Haft sei im Sinne von Art. 80 Abs. 2 AuG unverhältnismässig. Die Vorinstanzen stützen sich auf den Haftgrund der Untertauchensgefahr nach Art. 76 Abs. 1 lit. b Ziff. 3 AuG. Sie berufen sich darauf, dass der Beschwerdeführer wiederholt erklärt habe, er wolle nicht in sein Heimatland ausreisen. Der Beschwerdeführer wendet ein, seine Erklärungen seien missverstanden worden. Mit seinen Antworten habe er bloss seinen Wunsch ("souhait") zum Ausdruck gebracht, in der Schweiz zu bleiben. Es liege ihm jedoch fern, sich dem Recht, den Behörden bzw. seiner Wegweisung zu widersetzen. Dementsprechend habe er auch ohne Unterbruch an ein und derselben Wohnanschrift geweilt. Er sei seiner Arbeit nachgegangen und habe sein wöchentliches Besuchsrecht bei seiner Tochter ausgeübt, für welche er monatliche Unterhaltszahlungen geleistet habe. Er habe keine Zeit gehabt, seine Ausreise vorzubereiten. Die Behörden hätten von ihm auch nicht verlangt, mit seiner Arbeit aufzuhören. Daher habe er sich in gutem Glauben darauf verlassen dürfen, dass ihm eine zusätzliche Ausreisefrist eingeräumt worden sei.
Das Vorbringen des Beschwerdeführers erscheint als vorgeschoben. Mitte Juli 2010 erhielt der Beschwerdeführer das erwähnte Urteil des Bundesgerichts vom 23. Juni 2010, mit welchem seine Beschwerde gegen die Nichtverlängerung seiner Aufenthaltsbewilligung letztinstanzlich abgewiesen worden war. Damit musste ihm klar sein, dass er nunmehr gemäss dem vorangegangenen Rekursentscheid des Migrationsamtes innert zwei Monaten auszureisen hatte, da ihm dieses eine entsprechende Frist ab Rechtskraft des Entscheides gesetzt hatte. Am 17. September 2010 forderte es ihn denn auch auf, die Schweiz bis spätestens zum 31. Oktober 2010 - und damit letztlich unter Einräumung einer zusätzlichen Frist - zu verlassen. Es händigte ihm hiezu eine Ausreisemeldekarte aus, die er am Schweizer Grenzposten abgeben sollte. Mit Schreiben vom 1. Oktober 2010 erklärte sein damaliger Anwalt, er habe gegen die Aufenthaltsverweigerung eine Beschwerde an den EGMR erhoben und hoffe, es würden keine Zwangsmassnahmen ergriffen, falls der Beschwerdeführer seiner Verpflichtung zur Ausreise nicht nachkommen sollte. Das Migrationsamt erwiderte am 4. Oktober 2010, dass es an den Ausführungen in seinem Schreiben vom 17. September 2010 festhalte. Mithin war dem Beschwerdeführer hinreichend bewusst, dass ihm die Behörden keine neue Ausreisefrist eingeräumt hatten. Sie mussten ihm nicht noch zusätzlich erklären, er habe seine Arbeitsstelle aufzugeben. Er hat bis zu seiner Inhaftierung jedoch nichts zur Vorbereitung seiner Ausreise unternommen. Durch sein Verhalten und seine Deklarationen gegenüber den Vorinstanzen hat er demzufolge klar zum Ausdruck gebracht, dass er nicht in seinen Heimatstaat zurückzukehren bereit ist. Vielmehr sucht er diverse Vorwände, um in der Schweiz bleiben zu können. Entgegen seiner Darstellung kann daher nicht davon die Rede sein, dass er behördliche Anordnungen stets befolge. Nach ständiger Praxis ist der erwähnte Haftgrund deshalb erfüllt (vgl. BGE 130 II 56 E. 3.1 S. 59 mit Hinweisen). Die Haft erweist sich auch als verhältnismässig. Bei seinen Einwänden (u.a. Arbeitsstelle, Besuchsrecht, Wohnung) übersieht er, dass er die Schweiz spätestens seit Ende Oktober 2010 hätte verlassen müssen.
5. Die Beschwerde erweist sich demnach als offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach Art. 109 BGG abgewiesen werden kann. Ergänzend wird auf die Ausführungen im angefochtenen Entscheid verwiesen.
Bei diesem Ausgang würde der Beschwerdeführer kostenpflichtig. Mit Blick auf seine Einkommens- und Vermögensverhältnisse wird auf die Erhebung von Gerichtskosten verzichtet. Parteientschädigungen werden nicht geschuldet (vgl. Art. 65 ff. BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Rekursgericht im Ausländerrecht des Kantons Aargau und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 24. März 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz