Faits : A. A.a. A._, né en 1986, est originaire du Nigéria. Le 22 août 2011, il a déposé une demande d'asile en Suisse, qui a été rejetée le 10 septembre 2013, le renvoi de Suisse ayant en outre été prononcé. A._ a été rapatrié par vol spécial au Nigéria le 5 juin 2014. A.b. A._ est revenu à une date inconnue en Suisse et a déposé, le 31 mars 2016, une nouvelle demande d'asile, que le Secrétariat d'Etat aux migrations a rejetée par décision du 4 mai 2016, tout en prononçant derechef le renvoi de Suisse. Les 24 juin et 23 octobre 2017, A._ a été refoulé de Suisse vers l'Italie, dans le cadre de procédures Dublin. Il est revenu en Suisse à des dates non précisées. Le 14 mai 2018, le Secrétariat d'Etat aux migrations lui a notifié une interdiction d'entrer en Suisse jusqu'au 8 avril 2021. A.c. A._ a fait l'objet de huit condamnations pénales en Suisse depuis le 13 octobre 2011. Il a notamment été condamné par jugement du Tribunal correctionnel du 5 décembre 2018 à une peine privative de liberté de trois ans pour infractions simples et graves à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121). L'autorité pénale a en outre ordonné l'expulsion de Suisse de l'intéressé durant cinq ans. A.d. Le 4 juin 2020, la police genevoise a sollicité de SwissREPAT l'inscription de A._ sur un vol spécial à destination du Nigéria. Libéré le 12 juin 2020, A._ a immédiatement été pris en charge par la police en vue de son refoulement de Suisse. Le même jour, l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal) lui a notifié une décision de non-report d'expulsion judiciaire. En outre, à 14h45, le Commissaire de police du canton de Genève a émis à son encontre un ordre de mise en détention administrative, pour une durée de six semaines. Par jugement du 16 juin 2020, le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) a confirmé la détention administrative, jusqu'au 23 juillet 2020 inclus. Par arrêt du 6 juillet 2020, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours formé par A._ contre ce jugement. B. B.a. Par requête du 13 juillet 2020, l'Office cantonal a sollicité auprès du Tribunal administratif de première instance la prolongation de la détention administrative de A._ pour une durée de deux mois, soit jusqu'au 23 septembre 2020. Il a indiqué à l'appui de sa requête que, selon les dernières informations reçues de la part de SwissREPAT, les vols en direction du Nigeria "pourraient reprendre à partir du 12 juillet 2020". Le 21 juillet 2020, l'Office cantonal a informé le Tribunal administratif de première instance que le vol réservé pour l'intéressé et prévu pour le 9 août 2020 avait été annulé en raison de la fermeture de l'espace aérien nigérian pour les vols internationaux, due à l'épidémie de COVID-19. Il a également indiqué que le Secrétariat d'Etat aux migrations avait communiqué un document dont il ressortait que quatre compagnies aériennes planifiaient de reprendre leurs vols à destination du Nigéria, dans des délais s'échelonnant du 3 août 2020 au 20 octobre 2020. Par jugement du 22 juillet 2020, le Tribunal administratif de première instance a prolongé la détention administrative de A._ pour une durée de deux mois, soit jusqu'au 23 septembre 2020. Il a relevé que le renvoi de A._ n'apparaissait pas impossible, même si les démarches avaient été retardées par la situation sanitaire. Le Tribunal administratif de première instance a toutefois expressément réservé une réévaluation du cas si la situation ne devait pas évoluer dans les semaines à venir. B.b. A._ a formé le 23 juillet 2020 un recours contre ce jugement auprès de la Cour de justice, alléguant que le Nigéria se trouvait en pleine crise sanitaire. Le 30 juillet 2020, la Cour de justice a informé les parties que le ministre nigérian de l'aviation, Hadi Sirika, avait publié le 21 juillet 2020 sur son compte Twitter un commentaire - repris par la presse nationale voire internationale - selon lequel la reprise des vols internationaux pourrait intervenir avant le mois d'octobre 2020. A._ a contesté le caractère probant de ces informations. Par arrêt du 3 août 2020, la Cour de justice a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt attaqué et d'ordonner sa libération immédiate. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal conclut au rejet du recours. Le Secrétariat d'Etat aux migrations a présenté des déterminations et conclu implicitement au rejet du recours. Le recourant persiste dans ses conclusions.