Faits:
A. Né en 1991, X._ a déposé une demande d'asile en Suisse, en indiquant qu'il était nigérian. Le 27 avril 2009, l'Office fédéral des migrations (ci-après: l'Office fédéral) a décidé de ne pas entrer en matière sur la requête et prononcé le renvoi de Suisse de l'intéressé. Par arrêt du 14 mai 2009, le Tribunal administratif fédéral a rejeté le recours formé contre cette décision.
Le 25 mai 2009, lors d'un entretien à l'Office cantonal de la population du canton de Genève (ci-après: l'Office cantonal), X._ a déclaré qu'il avait bien compris qu'il devait quitter le territoire suisse dans les plus brefs délais, mais qu'il n'était pas disposé à le faire, parce qu'il avait des problèmes dans son pays et ne disposait pas de documents d'identité. Puis, il a disparu dans la clandestinité.
Sur le plan pénal, X._ a été condamné, le 19 mai 2009, à une peine pécuniaire de 30 jours-amende avec sursis de trois ans pour opposition aux actes de l'autorité et infraction à la législation fédérale sur les stupéfiants. Le 15 décembre 2009, il a été condamné à une peine privative de liberté de 80 jours pour infractions à la législation fédérale sur les stupéfiants et à la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20).
B. Le 22 février 2010, X._ a été placé en détention administrative pour une durée de trois mois. L'intéressé a alors déclaré être originaire du Togo et vouloir rejoindre sa femme, qui était enceinte, en Allemagne. Cette décision a été confirmée, le 25 février 2010, par la Commission cantonale de recours en matière administrative du canton de Genève (ci-après: la Commission de recours), qui a toutefois ramené la durée de la détention à deux mois. Elle a estimé que, si l'intéressé était togolais, un laissez-passer pourrait vraisemblablement être établi rapidement.
Le 25 (recte: 24) février 2010, une délégation nigériane a auditionné l'intéressé et a retenu qu'il serait plutôt d'origine togolaise.
Un spécialiste de provenance a entendu l'intéressé le 3 mars 2010 afin de déterminer son origine. Il a indiqué que X._ ne s'était pas montré coopératif et est arrivé à la conclusion qu'il n'était pas du Togo, mais très certainement du Nigéria, compte tenu de son accent, de l'utilisation de certains mots et de son aspect physique.
C. A la demande de l'Office cantonal, la Commission de recours a prolongé la détention administrative de X._ pour trois mois par décision du 19 avril 2010. Elle a notamment considéré que les autorités compétentes avaient effectué les démarches nécessaires pour établir l'origine de l'intéressé, qui n'avait pas du tout collaboré, et que celui-ci devrait être à nouveau entendu par les autorités nigérianes, compte tenu des conclusions de l'expert linguiste. Cette décision a été confirmée, le 6 mai 2010, par le Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif).
D. Ayant appris qu'une délégation nigériane susceptible d'entendre X._ était attendue en Suisse au mois d'octobre 2010, l'Office cantonal a sollicité, le 16 juillet 2010, une nouvelle prolongation de la détention de l'intéressé pour quatre mois.
Le 19 juillet 2010, la Commission de recours, après avoir tenté d'entendre X._, qui a refusé d'être assisté par l'avocate de permanence et de parler, a donné suite à la demande de prolongation de la détention requise par l'Office cantonal.
Par arrêt du 10 août 2010, le Tribunal administratif a rejeté le recours formé par X._ contre la décision de la Commission de recours du 19 juillet 2010.
E. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 10 août 2010 et d'ordonner sa mise en liberté. Il requiert que l'effet suspensif soit accordé à son recours et sollicite l'assistance judiciaire.
L'Office cantonal a fait savoir qu'il n'avait pas d'observations à formuler sur le recours. Le Tribunal administratif et l'Office fédéral ont renoncé à répondre au recours.
F. Par ordonnance du 14 septembre 2010, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif contenue dans le recours.

Considérant en droit:
1. La voie du recours en matière de droit public (<ref-law>) est en principe ouverte à l'encontre des décisions cantonales en matière de mesures de contrainte (arrêts 2C_538/ 2010 du 19 juillet 2010 consid. 1 et 2C_10/2009 du 5 février 2009 consid. 2, non publié in <ref-ruling>). Dirigé contre une telle décision émanant d'une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), le présent recours a été déposé par le destinataire de l'acte attaqué qui se trouve encore en détention en application de la prolongation litigieuse, de sorte que sa qualité pour recourir doit être admise (<ref-law>). Interjeté en temps utile (cf. art. 100 al. 1 et 46 al. 1 let. b LTF) et dans les formes prescrites (<ref-law>), ledit recours est en principe recevable.
2. Selon l'art. 76 al. 1 let. b LEtr, lorsqu'une décision de renvoi ou d'expulsion de première instance a été notifiée, l'autorité compétente peut, afin d'en assurer l'exécution, mettre la personne concernée en détention entre autres si l'Office fédéral a prononcé une décision de non-entrée en matière au sens de l'art. 32 al. 2 let. a à c ou de l'art. 33 de la loi sur l'asile du 26 juin 1998 (LAsi; RS 142.31) (ch. 2), si des éléments concrets font craindre qu'elle entende se soustraire au renvoi ou à l'expulsion, en particulier parce qu'elle ne se soumet pas à son obligation de collaborer (ch. 3) (sur les indices de danger de fuite, voir notamment <ref-ruling> consid. 3.1 p. 58 s.) ou si son comportement permet de conclure qu'elle se refuse à obtempérer aux instructions des autorités (ch. 4).
Le recourant remplit à l'évidence ces conditions, dès lors qu'il ressort de l'arrêt attaqué qu'il a fait l'objet d'une décision de non-entrée en matière devenue définitive. Par la suite, il a déclaré qu'il ne souhaitait pas quitter le territoire suisse et est entré dans la clandestinité depuis mai 2009. Par conséquent, le principe de la détention administrative du recourant, que l'arrêt attaqué rattache à l'art. 76 al. 1 let. b ch. 2 à 4 LEtr, ne viole pas le droit fédéral.
3. Reste à déterminer si l'autorité était en droit de prolonger la détention du recourant. Celui-ci le conteste, considérant que les juges ont apprécié arbitrairement les faits, violé le principe de célérité garanti à l'art. 76 al. 4 LEtr ainsi que le principe de la proportionnalité.
3.1 En règle générale, la durée de la détention en vue du renvoi ou de l'expulsion ne peut excéder trois mois; toutefois, elle peut, avec l'accord de l'autorité judiciaire cantonale, être prolongée de quinze mois au plus, si des obstacles particuliers s'opposent à l'exécution du renvoi ou de l'expulsion (art. 76 al. 3 LEtr). Les démarches nécessaires à l'exécution du renvoi ou de l'expulsion doivent être entreprises sans tarder (art. 76 al. 4 LEtr).
3.2 L'arrêt attaqué justifie la prolongation litigieuse par la difficulté évidente à établir l'origine du recourant et à obtenir les documents nécessaires à son refoulement. Le recourant conteste cette appréciation, reprochant aux autorités de n'avoir arbitrairement pas tenu compte des conclusions des autorités nigérianes, pourtant déterminantes pour établir sa nationalité.
Il ressort de l'arrêt attaqué que le recourant a déposé une demande d'asile en se déclarant originaire du Nigéria. Puis, à l'occasion de son ordre de mise en détention le 22 février 2010, il a déclaré être ressortissant du Togo. Il a été entendu une première fois par une délégation nigériane le 25 février 2010 et celle-ci est parvenue à la conclusion que le recourant n'était pas nigérian. Le 3 mars 2010, un spécialiste de provenance, après avoir examiné le recourant, qui ne s'est pas montré coopératif, est parvenu à la conclusion que celui-ci n'était pas du Togo, mais très certainement du Nigéria.
En présence d'une divergence entre l'appréciation de la délégation nigériane et le spécialiste de provenance, on ne voit manifestement pas que les autorités seraient tombées dans l'arbitraire en ne tenant pas pour acquise la position des représentants du Nigéria. La critique du recourant reprochant aux autorités d'avoir délibérément méconnu sa nationalité togolaise confine du reste à la témérité, dès lors que lui-même a varié à ce sujet, se déclarant nigérian lors du dépôt de sa demande d'asile, puis togolais, au moment de sa mise en détention administrative quelques mois plus tard. Il n'y a donc rien d'insoutenable à admettre la difficulté à établir l'origine du recourant.
3.3 On ne peut non plus faire grief aux autorités d'avoir violé le principe de célérité, dans la recherche de la nationalité du recourant. Comme le retient l'arrêt attaqué, les autorités suisses ont entrepris des démarches régulièrement. Le report de l'audition par les autorités nigérianes au mois d'octobre 2010 ne peut leur être imputable. Il ne faut pas non plus perdre de vue que le recourant s'est, pour sa part, refusé à coopérer. Ainsi, il n'a pas collaboré lors de son audition devant le spécialiste de provenance; il a refusé de se faire assister et de parler lors de l'audience du 19 juillet 2010 devant la Commission de recours et, alors qu'il se prétend togolais, il n'a lui-même effectué aucune démarche auprès des autorités du Togo pour se faire reconnaître comme ressortissant de ce pays. Certes, et comme l'a relevé le Tribunal administratif, on pourrait attendre des autorités suisses qu'elles prennent aussi contact avec la République togolaise et qu'elles ne se limitent pas aux autorités nigérianes. Ce seul élément n'est toutefois pas suffisant pour retenir en l'état une violation du principe de célérité au sens de l'art. 76 al. 4 LEtr.
3.4 Le recourant prétend enfin qu'en confirmant la prolongation de sa détention, le Tribunal administratif a violé le principe de la proportionnalité.
Il convient d'examiner la proportionnalité de la mesure en fonction des circonstances (cf. <ref-ruling> consid. 2.3.2 p. 97). Il faut, en tous les cas, que la durée de la détention, envisagée dans son ensemble, apparaisse proportionnée (<ref-ruling> consid. 2.2 p. 100; <ref-ruling> consid. 1 p. 58). En l'espèce, le recourant a été placé en détention administrative le 22 février 2010. Sa détention a été prolongée deux fois, le présent litige portant sur la seconde prolongation. Il ressort toutefois des faits que cette prolongation est dictée par l'incertitude quant à la provenance du recourant et par le fait que les autorités entendent organiser une nouvelle audition par les autorités nigérianes, qui devrait intervenir dans le courant du mois d'octobre 2010. Le recourant n'est pas étranger à ces difficultés, car ce sont ses déclarations contradictoires à propos de sa nationalité et son refus de coopérer avec les autorités pour la déterminer qui ont retardé la procédure de renvoi de Suisse. En outre, il existe un risque évident que le recourant, s'il était libéré, disparaisse, comme il l'a déjà fait auparavant. En effet, en mai 2009, alors même qu'il devait se présenter à l'Office cantonal pour solliciter la prolongation de son aide d'urgence, il avait préféré entrer dans la clandestinité. Lors de sa mise en détention, il a indiqué vouloir rejoindre son épouse en Allemagne. Compte tenu de l'ensemble de ces circonstances, la deuxième prolongation de la détention du recourant reste proportionnée.
4. Enfin, l'exécution du renvoi ne s'avère pas d'emblée impossible pour des raisons juridiques ou matérielles (cf. art. 80 al. 6 let. a LEtr). La situation du recourant n'est pas assimilable à celle des ressortissants nigérians pour lesquels le renvoi a été jugé impossible en raison de la suspension des vols spéciaux (cf. arrêt 2C_386/2010 du 1er juin 2010). Pour l'instant, l'obstacle à l'exécution du renvoi du recourant réside dans l'incertitude liée à sa provenance. Si celui-ci s'avère, comme il l'affirme, être togolais, son renvoi devrait être réalisable dans un délai raisonnable, selon les autorités compétentes (cf. arrêt attaqué ch. 2 p. 2 in fine). Cette question devrait être résolue prochainement, puisque l'arrêt attaqué retient que le recourant devrait pouvoir être à nouveau entendu en octobre 2010 par les autorités nigérianes et qu'un contact devrait aussi être pris avec les autorités togolaises.
5. En confirmant la prolongation de la détention du recourant, le Tribunal administratif n'a donc pas violé le droit fédéral, de sorte que le recours doit être rejeté.
6. Succombant, le recourant doit en principe supporter un émolument judiciaire (art. 66 al. 1 1ère phrase LTF). Le recours paraissait d'emblée dénué de chances de succès, de sorte que la requête d'assistance judiciaire doit être rejetée (cf. art. 64 al. 1 et 2 LTF a contrario). Compte tenu des circonstances, il se justifie cependant de statuer sans frais (art. 66 al. 1 2e phrase LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Il n'est pas perçu de frais judiciaires.
4. Le présent arrêt est communiqué au mandataire du recourant, à l'Office cantonal de la population, à la Commission cantonale de recours en matière administrative et au Tribunal administratif du canton de Genève, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 11 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz