Faits : A. A.a. A._, né en 1986, est originaire du Nigéria. Le 1er avril 2009, il a déposé une demande d'asile en Suisse, qui a été rejetée le 9 juin 2010, le renvoi de Suisse ayant en outre été prononcé. A._ a été renvoyé au Nigéria le 28 octobre 2013, après avoir fait l'objet d'une condamnation pénale pour blanchiment d'argent, séjour illégal, contravention, délits et crimes contre la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121). A.b. A compter du mois de janvier 2018 à tout le moins, A._ a à nouveau été en Suisse. Il a été condamné le 28 décembre 2018 à une peine privative de liberté de nonante jours avec sursis pour appropriation illégitime et infractions à la législation en matière d'étrangers. Le 9 mai 2019, le Tribunal de police de Genève l'a condamné à une peine privative de liberté de vingt-quatre mois et a ordonné son expulsion de Suisse pour une durée de cinq ans, pour séjour illégal, exercice d'une activité lucrative sans autorisation et infraction grave à la LStup. A.c. A._ a été libéré conditionnement le matin du 10 juin 2020. Le même jour, l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal) lui a notifié une décision de non-report d'expulsion judiciaire. En outre, à 15h25, le Commissaire de police du canton de Genève a émis un ordre de mise en détention administrative à son encontre, pour une durée de six semaines. Le 4 juin 2020, les services de police l'avaient inscrit sur un vol spécial Frontex à destination du Nigéria. Par jugement du 12 juin 2020, le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) a confirmé la détention administrative, jusqu'au 22 juillet 2020. Une place sur un vol spécial avait été réservée pour l'intéressé. Par arrêt du 2 juillet 2020, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours formé par A._ contre ce jugement. B. B.a. Par requête du 9 juillet 2020, l'Office cantonal a sollicité auprès du Tribunal administratif de première instance la prolongation de la détention administrative de A._ pour une durée de deux mois. A teneur d'un courriel du Secrétariat d'Etat aux migrations adressé à l'Office cantonal le 30 juin 2020, deux réservations de vol avaient été faites pour A._, la première sur un vol spécial, la seconde sur un vol "DEPU" (vol de ligne non accompagné). Lors de l'audience devant le Tribunal administratif de première instance le 15 juillet 2020, la représentante de l'Office cantonal a indiqué que le vol spécial avait probablement été annulé en raison de la pandémie de COVID-19. En outre, le Secrétariat d'Etat aux migrations n'avait pas reçu d'information sur la reprise des vols internationaux vers le Nigéria, ce qui expliquait l'absence de réponse à la demande de vol de ligne non accompagné. Par jugement du 15 juillet 2020, le Tribunal administratif de première instance a admis la demande de l'Office cantonal et prolongé la détention administrative de A._ pour une durée de deux mois, soit jusqu'au 22 septembre 2020. Il a relevé que le renvoi de A._ n'apparaissait pas impossible, même si les démarches avaient été retardées par la situation sanitaire. Le Tribunal administratif de première instance a toutefois expressément réservé une réévaluation du cas si la situation ne devait pas évoluer dans les semaines à venir. B.b. A._ a formé le 27 juillet 2020 un recours contre ce jugement auprès de la Cour de justice, alléguant que le Nigéria se trouvait en pleine crise sanitaire. Le 29 juillet 2020, l'Office cantonal a indiqué que le Secrétariat d'Etat aux migrations avait communiqué un document dont il ressortait que quatre compagnies aériennes planifiaient de reprendre leurs vols à destination du Nigéria, dans des délais s'échelonnant du 3 août 2020 au 20 octobre 2020. Le 30 juillet 2020, la Cour de justice a informé les parties que le ministre nigérian de l'aviation, Hadi Sirika, avait publié le 21 juillet 2020 sur son compte Twitter un commentaire - repris par la presse nationale voire internationale - selon lequel la reprise des vols internationaux pourrait intervenir avant le mois d'octobre 2020. A._ a contesté le caractère probant de ces informations. Par arrêt du 6 août 2020, la Cour de justice a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt attaqué et d'ordonner sa libération immédiate. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal conclut au rejet du recours. Le Secrétariat d'Etat aux migrations a présenté des déterminations et conclu implicitement au rejet du recours. Le recourant persiste dans ses conclusions.