Faits :
A.
A._, ressortissant éthiopien né en 1977, a déposé une demande d'asile en Suisse le 12 juin 2015. Cette demande a été rejetée et le renvoi de l'intéressé prononcé par le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) dans une décision du 3 février 2017, décision confirmée sur recours le 31 mai 2017. Le 22 juin 2017, une demande de reconsidération a été rejetée par le Secrétariat d'Etat. Le 27 juin 2017, A._ a indiqué à l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal) qu'il ne voulait pas retourner dans son pays d'origine. Le 7 juin 2018, cet office a informé le Secrétariat d'Etat que l'intéressé avait disparu. Celui-ci a été transféré en Suisse, depuis la France, le 25 juillet 2019 sur la base des accords d'association à Dublin. Le 20 janvier 2020, A._ a une nouvelle fois affirmé qu'il ne voulait pas retourner en Ethiopie. Il a réitéré ces affirmations le 24 février 2020 en ajoutant qu'en cas de contrainte, il tenterait de mettre fin à ses jours.
Le 28 juillet 2020, l'Office cantonal a requis des services de police d'exécuter le renvoi de A._. Un laissez-passer valable jusqu'au 17 septembre 2020 a été obtenu auprès des autorités éthiopiennes et un vol a été réservé pour le 16 septembre 2020. Le 7 septembre 2020, le Commissaire de police de la République et canton de Genève (ci-après: le Commissaire de police) a ordonné la mise en détention administrative en vue du renvoi de A._ pour une durée de 60 jours en raison de la non-collaboration de celui-ci à l'obtention des documents de voyage. Cet ordre de mise en détention a été confirmé par le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) le 9 septembre 2020. Le 16 septembre 2020, l'intéressé a refusé d'embarquer dans l'avion. Une nouvelle réservation, avec escorte policière, a été effectuée pour le 14 octobre 2020. Le 28 septembre 2020, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a confirmé le jugement du Tribunal administratif de première instance du 9 septembre 2020. Un nouveau laissez-passer a été délivré par les autorités éthiopiennes le 28 septembre 2020 en faveur de A._, valable jusqu'au 27 mars 2021. Le 14 octobre 2020, celui-ci a une nouvelle fois refusé d'embarquer dans l'avion.
B.
Le 15 octobre 2020, le Commissaire de police a émis un ordre de détention administrative en vue du renvoi à l'encontre de A._ pour une durée de deux mois, celui-ci ayant une nouvelle fois affirmé s'opposer à son renvoi. Par jugement du 19 octobre 2020, le Tribunal administratif de première instance a confirmé l'ordre de mise en détention administrative jusqu'au 15 décembre 2020. A._ a contesté ce prononcé le 29 octobre 2020 auprès de la Cour de justice. Par arrêt du 4 novembre 2020, la Cour de justice a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire, d'annuler l'arrêt de la Cour de justice du 4 novembre 2020 et d'ordonner sa libération immédiate; subsidiairement de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. Le Commissaire de police conclut au rejet du recours et produit une décision de l'Office cantonal sollicitant du Tribunal administratif de première instance la prolongation de la détention administrative de l'intéressé jusqu'au 15 mars 2021. Le Secrétariat d'Etat estime pour sa part que la détention administrative en cause est conforme aux exigences légales. Dans des observations finales, A._ confirme ses conclusions.

Considérant en droit :
1.
1.1. La voie du recours en matière de droit public (<ref-law>) est en principe ouverte à l'encontre des décisions cantonales en matière de mesures de contrainte (<ref-ruling> consid. 1.1.3 p. 139).
1.2. Le recours a été déposé par l'intéressé dont la demande de libération a été refusée de sorte qu'il remplit en principe les conditions de l'<ref-law>. Toutefois, la qualité pour déposer un recours en matière de droit public auprès du Tribunal fédéral suppose un intérêt actuel et pratique à obtenir l'annulation de la décision attaquée. Cet intérêt doit exister tant au moment du dépôt du recours qu'à celui où l'arrêt est rendu. Le Tribunal fédéral fait exceptionnellement abstraction de l'exigence d'un intérêt actuel, lorsque la contestation peut se produire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle ne perde son actualité et que, en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (<ref-ruling> consid. 1.3.1 p. 143 et les références). Le Tribunal fédéral a jugé que, lorsque la détention administrative se poursuit sur la base d'une nouvelle décision, laquelle repose sur les mêmes bases légales que la décision attaquée, et qu'il est difficile, voire impossible en raison de la durée de la procédure cantonale, que le Tribunal fédéral se prononce avant que la question perde de son actualité, l'intéressé garde un intérêt digne de protection à l'annulation de la décision attaquée pour soulever des questions de principe dont la solution s'impose pour des raisons d'intérêt public (<ref-ruling> consid. 1.2.3 p. 210 et les références; arrêt 2C_408/2020 du 21 juillet 2020 consid. 1.2.1).
En l'espèce, l'arrêt attaqué rejette le recours formé contre la décision du 15 octobre 2020 confirmant l'ordre de mise en détention pour deux mois du recourant, c'est-à-dire jusqu'au 15 décembre 2020. A ce jour, le Tribunal fédéral n'a reçu aucune information quant à une éventuelle prolongation de la détention administrative du recourant, l'Office cantonal s'étant contenté de transmettre une demande de prolongation adressée au Tribunal administratif de première instance, sans toutefois communiquer le jugement de celui-ci. Partant, le recours déposé le 26 novembre 2020à l'encontre de l'arrêt de la Cour de justice du 4 novembre 2020 a, a priori, perdu son intérêt actuel. Néanmoins, le Tribunal fédéral a déjà jugé que lorsque, comme en l'espèce, la durée de la détention est réduite, il lui est difficile, voire impossible selon les voies de recours prévues sur le plan cantonal, de se prononcer avant que la question perde de son actualité. Dans un tel cas de figure, les circonstances justifiant de renoncer exceptionnellement à l'intérêt actuel sont remplies (cf. arrêt 2C_672/2019 du 22 août 2019 consid. 1.2 et les références). Partant, il convient de reconnaître la qualité pour recourir à l'intéressé, au sens de l'<ref-law>.
1.3. Pour le surplus, déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>), à l'encontre d'un arrêt final (<ref-law>) rendu par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF), le recours est recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>.
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2 p. 190 et les références). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2 p. 190 et les références). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
A titre liminaire, il convient de mentionner que c'est à juste titre que le recourant ne conteste pas que les conditions légales pour sa mise en détention administrative, en application de l'art. 76 LEI (RS 142.20), sont réunies. En effet, s'agissant de l'existence d'une décision de renvoi, si le recourant a effectivement quitté la Suisse pour se rendre en France, cela ne saurait être considéré comme l'exécution du renvoi dans le pays d'origine, la Suisse ayant été tenue, selon les accords d'association à Dublin, de réadmettre le recourant sur son territoire (cf. <ref-ruling> consid. 2.3 p. 78; arrêt 2C_104/2017 du 6 mars 2017 consid. 5.2). Pour le surplus, le recourant a maintes fois expliqué ne pas vouloir retourner dans son pays d'origine. Il s'est en outre opposé à deux reprises à son renvoi en refusant de monter dans l'avion et n'a aucunement collaboré à l'obtention de documents de voyage. Ces faits justifient ainsi la mise en détention en vue du renvoi (cf. art. 76 al. 1 let. b ch. 3 et 4 LEI; cf. arrêt 2C_272/2018 du 26 mars 2018 consid. 5).
4.
Le recourant, citant les art. 10, 31 et 36 Cst., ainsi que 80 al. 6 LEI et 5 par. 1 let. f CEDH, explique que son renvoi dans son pays d'origine est impossible en raison de l'absence d'un accord de réadmission entre la Suisse et l'Ethiopie. Selon lui, rien n'indique que son pays d'origine admette le retour non volontaire, sous contrainte et par vol spécial de ses ressortissants qui ne sont pas au bénéfice d'une autorisation de séjour en Suisse.
4.1. La détention doit être levée notamment si l'exécution du renvoi ou de l'expulsion s'avère impossible pour des raisons juridiques ou matérielles (art. 80 al. 6 let. a LEI). Dans ce cas, la détention dans l'attente de l'expulsion ne peut en effet plus être justifiée par une procédure d'éloignement en cours; elle est, de plus, contraire à l'art. 5 par. 1 let. f CEDH. Les raisons juridiques ou matérielles doivent être importantes (" triftige Gründe "), l'exécution du renvoi devant être qualifiée d'impossible lorsque le rapatriement est pratiquement exclu, même si l'identité et la nationalité de l'étranger sont connues et que les papiers requis peuvent être obtenus. Il s'agit d'évaluer la possibilité d'exécuter la décision de renvoi en fonction des circonstances de chaque cas d'espèce. Le facteur décisif est de savoir si l'exécution de la mesure d'éloignement semble possible dans un délai prévisible respectivement raisonnable avec une probabilité suffisante. La détention viole l'art. 80 al. 6 let. a LEI, ainsi que le principe de proportionnalité, lorsqu'il y a de bonnes raisons de penser que tel ne pourra pas être le cas. Sous l'angle de l'art. 80 al. 6 let. a LEI, la détention ne doit être levée que si la possibilité de procéder à l'expulsion est inexistante ou hautement improbable et purement théorique, mais pas s'il y a une chance sérieuse, bien que mince, d'y procéder (pour tout ce qui précède, cf. arrêt 2C_634/2020 du 3 septembre 2020 consid. 6.1 et les références).
4.2. Dans l'arrêt entrepris, la Cour de justice a constaté que les autorités éthiopiennes avaient reconnu le recourant comme étant l'un de leurs ressortissants et lui avaient délivré un laissez-passer, valable jusqu'en mars 2021. Pour le surplus, l'autorité précédente a retenu qu'en novembre 2018, la Suisse s'était jointe à un accord de collaboration et de réadmission conclu entre l'Union européenne et l'Ethiopie, tout en mentionnant que le contenu de cet accord n'était pas public. Elle a ajouté que l'accord entre la Suisse et l'Ethiopie avait été formalisé le 4 janvier 2019 par un échange de notes (cf. FF 2020 5103).
4.3. Fondé sur les faits qui précèdent, la Cour de justice a jugé qu'il n'existait pas d'impossibilité légale d'exécuter le renvoi du recourant, puisqu'il existait un accord de réadmission entre la Suisse et l'Ethiopie. Elle a ajouté que, concrètement, le recourant bénéficiait de tous les documents nécessaires à l'exécution de son renvoi dans son pays d'origine, ce qui excluait toute impossibilité au sens de l'art. 80 al. 6 let. a LEI.
4.4. Pour sa part, le recourant considère qu'il n'existe pas d'accord entre la Suisse et son pays d'origine autorisant le renvoi sous contrainte par vol spécial. Il estime qu'à défaut de publication de cet acte bilatéral, celui-ci ne saurait être appliqué. La référence faite par la Cour de justice à la Feuille fédérale ne permet en rien de déduire que des vols spéciaux seraient acceptés par l'Ethiopie, dans la mesure où il ressort uniquement de ce document que ce pays est disposé à réadmettre ses propres ressortissants qui séjournent sans droit dans les Etats de l'Union européenne. De plus, citant en exemple l'Algérie, il expose qu'il importe peu qu'il ait obtenu un laissez-passer, dans la mesure où un tel document ne présume pas qu'un renvoi par vol spécial soit autorisé.
4.5. En l'occurrence, il est établi qu'à tout le moins avant l'échange de notes entre la Suisse et l'Ethiopie intervenu début 2019, un renvoi forcé dans ce dernier pays n'était pas possible, au contraire d'un retour volontaire (cf. <ref-ruling> consid. 3.5 p. 21). En outre, il ressort de la jurisprudence qu'un refus de l'étranger de rentrer dans son pays d'origine, doublé de l'impossibilité d'organiser un renvoi forcé vers ce pays, exclut la détention en vue du renvoi au sens de l'art. 76 LEI (cf. art. 80 al. 6 let. a LEI; cf. arrêt 2C_188/2020 du 15 avril 2020 consid. 7.7 et les références). Se pose donc uniquement la question de savoir si, dans le cas d'espèce, l'Ethiopie accepte nouvellement de reprendre ses ressortissants ensuite d'un renvoi forcé, étant précisé que le recourant bénéficie de tous les documents nécessaires pour retourner dans son pays (il est en particulier au bénéfice d'un laissez-passer valable jusqu'au 27 mars 2021).
4.6. En premier lieu, on peut douter que la question de savoir si le recourant peut faire l'objet d'un renvoi forcé dans son pays d'origine est effectivement une question de droit, comme celui-ci le laisse entendre, et pas uniquement une question de fait. Le Tribunal fédéral a en effet déjà eu l'occasion de juger que cette question relevait du fait (cf. arrêt 2C_624/2011 du 12 septembre 2011 consid. 2.3, dans lequel il a été constaté en fait que la République démocratique du Congo n'acceptait temporairement pas le retour de ses ressortissants par vols spéciaux, raison pour laquelle seule une détention pour insoumission entrait en considération en l'espèce). Il a également déjà considéré que, si l'exécution forcée de l'expulsion vers un pays est exclue, elle ne peut être qualifiée de possible dans un délai prévisible et donc de réalisable uniquement si le juge dispose d'indications suffisamment concrètes à ce sujet, indications fournies notamment par le Secrétariat d'Etat. Dans le cas contraire, il n'y a pas de perspective sérieuse d'exécution de la décision d'expulsion (arrêt 2C_597/2020 du 3 août 2020 consid. 4.1 et les références). Cette dernière jurisprudence, qui fait référence à des indications concrètes de la part notamment du Secrétariat d'Etat, démontre que la question qui se pose en l'espèce est une question de fait. Or, l'autorité précédente a retenu, de manière à lier le Tribunal fédéral (cf. <ref-law>), que dorénavant l'Ethiopie acceptait le renvoi forcé de ses ressortissants.
4.7. En tout état de cause, même à considérer la question comme une question de droit, le point de vue du recourant, qui est d'avis que l'accord intervenu entre la Suisse et l'Ethiopie ne saurait être appliqué, dès lors qu'il n'est pas publié et, par conséquent, n'est pas à disposition des justiciables, ne saurait toutefois être partagé. Certes, en application de l'art. 3 al. 1 let. b de la loi fédérale du 18 juin 2004 sur les recueils du droit fédéral et la Feuille fédérale (LPubl; RS 170.512) les accords internationaux qui édictent des règles de droit ou permettent d'en édicter doivent en principe être publiés (cf. DIETER CAVALLERI, in Kommentar zum Publikationsgesetz des Bundes, Kettiger/Sägesser [éd.], 2011, n. 10 ad <ref-law>). Cette règle de publication n'est cependant pas sans connaître des exceptions. Ainsi, l'<ref-law> prévoit expressément que ne sont pas publiés dans le Recueil officiel du droit fédéral les actes de la Confédération ainsi que les traités et décisions de droit international qui doivent être tenus secrets pour préserver la sécurité intérieure ou extérieure de la Suisse ou en raison d'obligations internationales. L'<ref-law> dispose pour sa part que, dans la mesure où les textes visés à l'<ref-law> contiennent des obligations individuelles, les dispositions les concernant ne lient que les personnes auxquelles elles ont été communiquées. Il convient donc d'examiner si l'accord international en cause contient des obligations individuelles, respectivement édicte des règles de droit pour déterminer si sa publication est nécessaire. On rappellera à ce propos que l'art. 22 al. 4 de la loi fédérale du 13 décembre 2002 sur l'Assemblée fédérale (LParl; RS 171.10) prévoit que sont réputées fixant des règles de droit les dispositions générales et abstraites d'application directe qui créent des obligations, confèrent des droits ou attribuent des compétences.
En l'occurrence, force est de constater que l'accord intervenu entre l'Union européenne et l'Ethiopie en 2018, auquel la Suisse s'est ralliée en 2019, est un accord que les parties contractantes ont désiré garder secret quant à sa teneur exacte, expliquant néanmoins qu'il permettait dorénavant le retour sous contrainte des ressortissants éthiopiens dans leur pays d'origine (cf. communiqué de presse du Secrétariat d'Etat du 16 janvier 2019). Il ne saurait être question de mettre en doute cette explication, ce que le recourant ne fait d'ailleurs pas directement, se limitant bien plus à affirmer qu'en l'absence de publication, l'accord ne saurait être appliqué. Cet accord, qui n'est donc pas publié au Recueil officiel du droit fédéral, ne contient toutefois aucune obligation ni ne fixe de règles de droit opposables aux justiciables. En effet, il se limite à régler des obligations de droit international entre plusieurs Etats, en l'occurrence des spécificités quant à la procédure de réadmission des ressortissants éthiopiens dans leur pays d'origine (cf. FF 2020 5103). Il ne créé directement aucune obligation pour ceux-ci. En ce sens, l'absence de publication de l'accord n'a donc pas d'incidence sur la présente cause, dans la mesure où il est établi que l'Ethiopie est dorénavant disposée à accepter ses ressortissants, même lorsque ceux-ci refusent un retour volontaire.
4.8. Sur le vu des développements qui précèdent, il convient de retenir que la détention administrative en vue du renvoi du recourant respecte les dispositions légales applicables. Il n'est en particulier pas impossible de procéder à l'exécution du renvoi (cf. art. 80 al. 6 let. a LEI). Pour le surplus, les éventuelles autres critiques de violation du droit constitutionnel ou conventionnel contenues dans le mémoire de recours, faute d'être motivées conformément aux exigences de l'<ref-law> (cf. consid. 2.1 ci-dessus), doivent être écartées. Par conséquent, le recours est rejeté.
5.
Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (<ref-law>). Il n'est pas perçu de frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Commissaire de police et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 7 janvier 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette