Faits :
A.
A.a. A._, ressortissant ivoirien né le 26 octobre 1979, est entré illégalement en Suisse le 6 août 2002. Sa demande d'asile a fait l'objet d'une décision de non-entrée en matière, prononcée par l'Office fédéral des réfugiés (actuel Secrétariat d'Etat aux migrations) le 18 septembre 2002, lequel a prononcé son renvoi de Suisse.
Le 7 février 2005, il a réclamé à l'Office cantonal de la population, devenu l'Office cantonal de la population et des migrations (ci-après : l'Office cantonal), une aide d'urgence, indiquant qu'il refusait de quitter la Suisse.
Le 22 août 2005, A._, resté en Suisse, a reconnu l'enfant B._, né à Genève le 25 mai 2005, issu de son union avec C._, ressortissante suisse née en 1983, résidant à Genève.
En juin 2005, l'intéressé a sollicité de l'Office cantonal une autorisation de séjour. Lors de son audition le 26 août 2005, il a indiqué être célibataire et avoir une fille en Côte d'Ivoire, née en 1999. Après avoir obtenu l'approbation du Secrétariat d'Etat aux migrations, l'Office cantonal lui a délivré une autorisation de séjour pour cas de rigueur le 8 août 2007, valable jusqu'au 3 juillet 2010.
Le 18 juin 2009, à la suite de la séparation du couple, le Tribunal tutélaire, devenu le Tribunal de protection de l'adulte et de l'enfant, de la République et canton de Genève a attribué à l'intéressé un droit de visite se déroulant un jour tous les quinze jours, puis un week-end sur deux et la moitié des vacances scolaires dès qu'il aurait un logement, et a instauré une curatelle d'organisation et de surveillance du droit de visite.
Le 20 mai 2011, la Chambre civile de la Cour de justice de la République et canton de Genève l'a condamné à verser, pour son fils B._, en mains de sa mère, et à titre de contribution d'entretien, 200 fr. par mois jusqu'au 31 janvier 2011, 400 fr. par mois jusqu'à six ans révolus, 450 fr. par mois jusqu'à douze ans révolus et 500 fr. par mois jusqu'à la majorité voire au-delà en cas de formation.
A.b. L'intéressé n'a travaillé que de manière épisodique durant son séjour en Suisse. Il a perçu des prestations de l'assurance chômage et a été mis au bénéfice de l'aide sociale de septembre 2002 à décembre 2004, de mars à juin 2009, de novembre 2010 à mars 2012, de juillet 2013 à mai 2014, de mars à mai 2015 et à nouveau depuis mars 2016.
Il a été condamné à neuf reprises par la justice pénale : le 13 décembre 2006 à une peine d'emprisonnement d'un an avec sursis (escroquerie, faux dans les titres et les certificats, délits contre la loi sur le séjour et l'établissement des étrangers), le 16 juillet 2008 à une peine pécuniaire de soixante jours-amende (faux dans les certificats), le 22 septembre 2009 à une peine de quatre cent quatre-vingt heures de travail d'intérêt général (circulation sans permis et sans assurance), le 23 février 2011 à une peine pécuniaire de soixante jours-amende (circulation sans permis ni assurance), le 18 octobre 2011 à une peine pécuniaire de quarante jours amende et amende de 200 fr. (vol d'importance mineure et circulation sans assurance), le 2 novembre 2012 à une peine privative de liberté ferme de dix-huit mois (infraction grave à la LStup [RS 812.121] et faux dans les titres), le 19 juin 2015 à une peine privative de liberté de septante jours (appropriation illégitime et vol), le 20 juillet 2017 à une peine pécuniaire de trente jours-amende (violation d'une obligation d'entretien) et le 30 août 2019 à une peine privative de liberté de 90 jours (violation d'une obligation d'entretien, non restitution de permis ou de plaques et escroquerie).
L'intéressé a obtenu plusieurs visas, d'une durée d'un à trois mois, pour se rendre en Côte d'Ivoire à de nombreuses reprises, en juin et août 2008, janvier et mars 2009, avril 2011, janvier 2012, juillet et décembre 2013, mars, juin, septembre et décembre 2015, février et novembre 2016, septembre 2017, février, avril, juillet et décembre 2018 et avril 2019.
Le 23 avril 2019, l'intéressé faisait l'objet de neuf poursuites pour un montant d'environ 25'250 fr., dont 17'861 fr. au titre des pensions alimentaires non payées, ainsi que de soixante-cinq actes de défaut de biens pour un montant total d'environ 68'800 fr.
B.
L'intéressé a demandé en juillet 2010 le renouvellement de son autorisation de séjour. Le 7 avril 2011, l'Office cantonal l'a informé qu'il envisageait de refuser cette demande. Le 2 juillet 2018, ce même office lui a indiqué qu'il acceptait de maintenir son autorisation, compte tenu de la durée de son séjour en Suisse et de ses attaches familiales dans ce pays, tout en lui adressant un avertissement en raison de ses diverses condamnations pénales. Le 21 décembre 2018, le Secrétariat d'Etat aux migrations n'a pas donné son approbation à l'octroi de cette autorisation et renvoyé la cause à l'Office cantonal pour qu'il mène des instructions complémentaires sur les relations économique et affective que l'intéressé entretenaient avec son fils. Le 20 février 2019, le Secrétariat d'Etat aux migrations a, à nouveau, renvoyé le dossier à l'Office cantonal, le jugeant encore insuffisamment instruit.
Le 29 août 2019, après avoir entendu l'intéressé, l'Office cantonal a refusé de délivrer l'autorisation de séjour et de soumettre le dossier avec préavis positif au Secrétariat d'Etat aux migrations et prononcé son renvoi de Suisse.
Par jugement du 6 mai 2020, le Tribunal administratif de première instance de la République et canton de Genève a rejeté le recours formé par l'intéressé contre cette décision.
Par arrêt du 15 décembre 2020, la Chambre administrative de la Cour de justice de la république et canton de Genève (ci-après: la Cour de justice) a rejeté le recours interjeté par l'intéressé contre le jugement susmentionné du 6 mai 2020.
C.
Agissant par la voie du recours en matière de droit public, subsidiairement par celle du recours constitutionnel, A._ demande au Tribunal fédéral, sous l'angle du recours en matière de droit public, sous suite de frais et dépens, de constater une violation de l'art. 8 CEDH et de réformer l'arrêt précité de la Cour de justice, en ce sens que son autorisation de séjour est renouvelée. A titre subsidiaire, il requiert l'annulation de cet arrêt, le constat de ladite violation et le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Plus subsidiairement, le recourant conclut à être "achemin[é] [...] à prouver par toutes voies de droit utiles les faits allégués dans la présente écriture". Le recourant retient les mêmes conclusions sous l'angle du recours constitutionnel subsidiaire. Le recourant demande également l'assistance judiciaire complète et l'effet suspensif à son recours.
La requête d'effet suspensif a été admise par ordonnance présidentielle du 29 janvier 2021.
La Cour de justice renonce à se déterminer. L'Office cantonal fait de même, toutefois hors délai. Le Secrétariat d'Etat aux migrations ne s'est pas prononcé. Le recourant persiste dans les conclusions de son recours et produit des pièces concernant le versement des contributions d'entretien pour son fils.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'occurrence, le recourant, dont le fils mineur a la nationalité suisse (<ref-law>), invoque de façon défendable l'art. 8 CEDH. Cette disposition étant de nature à lui conférer un droit (cf. <ref-ruling> consid. 5; <ref-ruling> consid. 1.2), son recours échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF, étant précisé que le point de savoir si l'intéressé remplit les conditions pour obtenir l'autorisation requise relève du fond et non de la recevabilité (cf. ATF <ref-ruling> consid. 1.2). Les autres conditions de recevabilité du recours en matière de droit public sont également réunies (cf. art. 42, 46, 82 let. a, 86 al. 1 let. d et al. 2, 89 al. 1, 90 et 100 al. 1 LTF), si bien qu'il convient d'entrer en matière. Le recours constitutionnel subsidiaire est partant irrecevable (cf. <ref-law>).
1.2. En revanche, le recourant ne se prévaut à juste titre pas de l'art. 30 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RO 2007 5437), intitulée, depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration (LEI; RS 142.20; la demande de prolongation de l'autorisation de séjour ayant été déposée avant le 1er janvier 2019, la LEtr reste applicable au présent litige [cf. art. 126 al. 1 LEI]). Cette disposition ne confère en effet aucun droit et relève des dérogations aux conditions d'admission, expressément exclues de cette voie de droit (art. 83 let. c ch. 5 LTF). Sur ce point, un recours serait aussi irrecevable en tant que recours constitutionnel subsidiaire puisque l'art. 30 al. 1 let. b LEtr, de nature potestative, ne confère aucun droit au recourant (cf. arrêt 2C_653/2019 du 12 novembre 2019 consid. 1.1).
1.3. Selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. <ref-ruling> consid. 1.7 p. 123 et les références).
Dans la mesure où le recourant conclut, parallèlement à la réforme de l'arrêt de la Cour de justice du 15 décembre 2020, à ce qu'il soit "constat[é] la violation de l'art. 8 CEDH", il formule une conclusion constatatoire qui est irrecevable.
2.
Le recourant se plaint tout d'abord d'une violation de son droit d'être entendu. La Cour de justice ne se serait selon lui pas prononcée sur son droit à séjourner en Suisse sous l'angle du droit au respect de la vie privée (art. 8 CEDH).
2.1. Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. implique notamment le devoir pour l'autorité de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.1; <ref-ruling> consid. 5.2; <ref-ruling> consid. 1.2.1). La motivation peut être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1).
2.2. En l'espèce, la Cour de justice retient qu' "à supposer que le recourant puisse se plaindre d'une ingérence dans son droit à la vie privée et familiale tel que protégé par l'art. 8 § 2 CEDH, celle-ci apparaîtrait proportionnée".
L'autorité précédente n'exclut donc pas que le recourant puisse invoquer l'art. 8 CEDH sous l'angle du droit au respect de sa vie privée, mais considère qu'au vu des circonstances, une ingérence à ce droit est justifiée sous l'angle de la proportionnalité. Cette motivation, bien que succincte, permet de comprendre les motifs qui ont guidé l'autorité précédente. Les éléments nécessaires à l'examen de la proportionnalité (cf. infra consid. 6), comme l'intégration en Suisse, la durée du séjour dans ce pays et la possibilité de se réintégrer dans le pays d'origine, sont notamment exposés dans la partie de l'arrêt consacré à l'examen d'un cas de rigueur. La motivation, en partie implicite, liée à l'art. 8 CEDH en lien avec le droit au respect de la vie privée, suffit dès lors sous l'angle du droit d'être entendu. Le recours est sur ce point infondé.
3.
Le recourant se plaint d'arbitraire dans l'établissement des faits et l'appréciation des preuves.
3.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.2.
3.2.1. Le recourant reproche à l'autorité précédente de ne pas avoir pris en compte la stabilisation de sa situation professionnelle et économique depuis le 2 janvier 2020, ni un certain nombre d'éléments, comme la fréquence à laquelle il voyait son fils et son investissement dans le parcours scolaire de celui-ci (présence aux entretiens avec les professeurs et récupération de l'enfant après l'école). Ces faits étaient selon lui propres à établir la relation étroite et affective qu'il entretenait avec son enfant, ainsi que sa bonne intégration en Suisse.
Le recourant n'explique toutefois pas en quoi ces éléments de fait seraient de nature à influencer l'issue du litige. En particulier, il n'indique pas pour quels motifs les faits liés à la relation affective qu'il entretient avec son fils seraient susceptibles de modifier les conclusions de l'autorité précédente concernant l'application l'art. 8 par. 1 CEDH. La Cour de justice a en effet estimé que le recourant ne pouvait pas se prévaloir de cette disposition en se basant sur l'absence de relation économique étroite et sans remettre en soi la relation affective.
Certes, en lien avec le contrat de travail conclu le 2 janvier 2020, la Cour de justice retient arbitrairement que le recourant n'a pas établi, ni d'ailleurs allégué devant elle, qu'il travaillait effectivement et réalisait un revenu, alors que le recourant a produit des fiches de salaire pour les mois de janvier à avril 2020 devant cette autorité (cf. <ref-law>). Le recourant n'explique toutefois pas en quoi l'existence de ce travail effectif influencerait le caractère irrégulier du paiement des contributions d'entretien (au surplus, au sujet de la relation économique, cf. infra consid. 3.2.2). Le recourant n'indique pas non plus en quoi les éléments qu'il invoque rendraient insoutenables les conclusions des juges cantonaux concernant la pesée des intérêts effectuée et la possibilité de maintenir une relation père-fils à distance. Le recours ne satisfait ainsi pas sur ce point aux exigences de motivation accrues de l'<ref-law>.
3.2.2. Concernant la relation économique avec son fils, le recourant fait valoir que la Cour de justice a retenu à tort que la mère de l'enfant n'avait jamais affirmé qu'il contribuait à l'entretien de son fils en se référant à un courrier de celle-ci du 30 septembre 2019. Il relève également qu'il s'acquitte chaque mois de manière régulière d'une contribution en faveur de celui-ci depuis qu'il a trouvé un emploi fixe.
La Cour de justice a retenu que l'enfant était âgé de 15 ans et que le recourant n'avait pas établi "qu'il aurait avec constance contribué à son entretien durant toutes ces années. Il produit trois quittances récentes de versements, mais outre que les montants ne correspondent pas à la contribution due, les quittances n'établissent pas un entretien régulier et sérieux. La mère de l'enfant n'a elle-même jamais affirmé que le recourant contribuait à l'entretien de son fils. Une partie de la dette du recourant correspond par ailleurs aux avances du SCARPA [Service cantonal d'avance et de recouvrement et des pensions alimentaires], et le recourant a été condamné deux fois déjà, la dernière fois en 2019, pour violation de son obligation d'entretien". La Cour de justice a conclu que le recourant n'avait pas établi qu'il avait contribué régulièrement et de manière significative à l'entretien de son fils.
En l'occurrence, il ressort certes du dossier cantonal que la mère de l'enfant a indiqué dans une écriture du 30 septembre 2019 que le recourant "voit son fils [...] tous les week-ends en journée et à cette occasion [...] lui remet à chaque fois environ 25 à 40 fr. pour la semaine" (<ref-law>). La Cour de justice a ainsi mentionné à tort que la mère de l'enfant n'avait jamais affirmé que le recourant contribuait à l'entretien de son fils. Ce vice ne permet toutefois pas de retenir que l'autorité précédente aurait versé dans l'arbitraire en considérant que le recourant ne s'était pas acquitté de façon régulière et significative des contributions d'entretien pour son enfant. L'absence de paiement régulier est en particulier établie par les autres éléments retenus par la Cour de justice, à savoir les dettes de l'intéressé qui révèlent des avances du SCARPA et une double condamnation pour violation de l'obligation d'entretien.
4.
4.1. Selon la jurisprudence constante du Tribunal fédéral, le parent étranger qui n'a pas l'autorité parentale ni la garde d'un enfant mineur disposant d'un droit durable de résider en Suisse ne peut en principe entretenir une relation familiale avec cet enfant que de manière limitée, en exerçant le droit de visite dont il bénéficie. Il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Sous l'angle du droit à une vie familiale (cf. art. 8 par. 1 CEDH et 13 al. 1 Cst.), il suffit en règle générale que le parent vivant à l'étranger exerce son droit de visite dans le cadre de séjours brefs, au besoin en aménageant ses modalités quant à la fréquence et à la durée ou par le biais de moyens de communication modernes. Un droit plus étendu ne peut le cas échéant exister qu'en présence 1) de relations étroites et effectives avec l'enfant d'un point de vue affectif et 2) d'un point de vue économique, 3) de l'impossibilité pratique à maintenir la relation en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent et 4) d'un comportement irréprochable. Ces exigences doivent être appréciées ensemble et faire l'objet d'une pesée des intérêts globale. Dans le cadre de l'examen de la proportionnalité de la mesure (cf. art. 8 par. 2 CEDH), il faut aussi tenir compte de l'intérêt fondamental de l'enfant (art. 3 CDE [RS 0.107]) à pouvoir grandir en jouissant d'un contact étroit avec ses deux parents, étant précisé que, sous l'angle du droit des étrangers, cet élément n'est pas prépondérant par rapport aux autres et que l'art. 3 CDE ne saurait fonder une prétention directe à l'octroi ou au maintien d'une autorisation (<ref-ruling> consid. 4 à 6 et les références).
4.2. En l'occurrence, l'autorité précédente a retenu sans arbitraire que l'existence d'une relation effective étroite sur le plan économique n'avait pas été établie. Par ailleurs, il faut relever sur ce point qu'il ne ressort pas de l'arrêt attaqué, et le recourant ne prétend pas avoir démontré, qu'il aurait fourni tous les efforts que l'on pouvait attendre de lui pour trouver un emploi, en particulier durant la période où il disposait d'une autorisation de séjour, ni qu'il lui était impossible de s'acquitter des contributions d'entretien (cf. <ref-ruling> consid. 5.2.2). Il ne ressort pas non plus de l'arrêt entrepris qu'il aurait cherché en vain à faire modifier le jugement fixant les contributions d'entretien. Le recourant ne le prétend pas.
En outre, sur le vu des nombreux antécédents pénaux du recourant (neuf condamnations entre décembre 2006 et août 2019, notamment à des peines privatives de liberté d'un an en décembre 2006, dix-huit mois en novembre 2012 et nonante jours en août 2019), le recourant ne peut clairement pas se prévaloir d'un comportement irréprochable.
Enfin, si un renvoi du recourant dans son pays d'origine compliquerait assurément l'exercice du droit de visite, il n'est pas établi que le maintien des liens avec son enfant depuis la Côte d'Ivoire serait pratiquement impossible.
4.3. Il ressort certes de l'arrêt attaqué que le recourant exerce son droit de visite sans encombre et de manière régulière. Toutefois, sur le vu de l'ensemble des circonstances, on ne saurait reprocher à la Cour de justice d'avoir considéré qu'en dépit de la relation affective existant entre le recourant et son fils, les conditions imposant sa présence en Suisse auprès de celui-ci n'étaient pas remplies et que le recourant ne pouvait partant pas prétendre à une prolongation de son autorisation de séjour fondée sur ses relations familiales avec son enfant.
5.
Sous l'angle du droit au respect de la vie privée, il faut d'emblée rappeler que les années passées en Suisse dans l'illégalité ou au bénéfice d'une simple tolérance - par exemple en raison de l'effet suspensif attaché à des procédures de recours - ne sont pas déterminantes (arrêt 2C_919/2019 du 25 février 2020 consid. 7 et les références).
En l'occurrence, le recourant a séjourné illégalement en Suisse du 6 août 2002 au 8 août 2007, date à partir de laquelle il a bénéficié d'une autorisation de séjour, valable jusqu'au 3 juillet 2010. Il a déposé une demande de renouvellement de celle-ci le 22 juillet 2010. Les autorités de police des étrangers n'ont statué de façon catégorique sur cette demande que neuf ans plus tard, le 29 août 2019 (les deux refus d'approbation prononcés par le Secrétariat d'Etat aux migrations les 21 décembre 2018 et 20 février 2019 ne fermaient pas la porte à une autorisation et renvoyaient la cause à l'Office cantonal pour instructions complémentaires). Compte tenu de ces circonstances particulières, on ne saurait simplement ignorer la période qui a suivi l'échéance de l'autorisation de séjour au motif que celle-ci reposait sur une simple tolérance.
Cela étant, en dépit de la durée de son séjour en Suisse, le recourant ne peut pas se prévaloir du droit au respect de la vie privée garanti par l'art. 8 CEDH. En effet, sur le vu des faits tels qu'ils ressortent de l'arrêt attaqué, on ne saurait retenir qu'il s'est bien intégré en Suisse, ni qu'il aurait tissé des liens sociaux importants dans ce pays. A tout le moins jusqu'en janvier 2020, il n'y a travaillé que de manière épisodique et a bénéficié de l'aide sociale pendant de longues périodes, la dernière fois depuis mars 2016. En outre, comme déjà mentionné, le recourant a été condamné pénalement à neuf reprises, notamment à des peines de prison, dont une de dix-huit mois pour infraction grave à la LStup et la dernière condamnation, notamment pour escroquerie, date du 30 août 2019. Ces antécédents constituent des motifs sérieux de ne pas lui accorder une autorisation de séjour. Le recourant a également présenté des actes de défaut de bien pour près de 70'000 fr. en avril 2019. L'activité lucrative exercée depuis janvier 2020, certes louable, de même que l'absence de nouvelles condamnations pénales depuis septembre 2019 ne suffisent pas à elles seules pour retenir que l'intégration en Suisse du recourant est réussie.
Le recourant se réfère en vain à l'arrêt du 8 mai 2018 (publié aux <ref-ruling>). En effet, celui-ci concernait un étranger dont l'intégration en Suisse, contrairement à celle du recourant, était excellente, sans dépendance à l'aide sociale, ni condamnation pénale (cf. consid. 4.1). Par ailleurs, les arrêts de la CourEDH qu'il cite à l'appui de son recours ne lui sont d'aucune aide. En effet, le recourant perd de vue que le refus de prolonger son autorisation de séjour ne repose pas uniquement sur ses antécédents pénaux et que ces arrêts portent sur des situations différentes. En particulier, dans l'arrêt Mokrani c. France du 15 juillet 2003, le requérant avait vécu en France depuis sa naissance et y avait suivi l'intégralité de sa scolarité (requête 52206/99); dans l'arrêt I.M. c. Suisse du 9 avril 2019, la CourEDH ne retenait pas qu'une condamnation pour viol, même vieille de plus de dix ans, ne pouvait pas justifier le renvoi d'un étranger, mais elle condamnait la Suisse en raison d'un examen trop superficiel de la proportionnalité (requête n° 23887/16); l'arrêt Udeh c. Suisse du 16 avril 2013 diffère également du présent cas, dans la mesure où le requérant n'avait commis que deux infractions, dont une certes grave, et était père de deux filles âgées de cinq ans lorsque le Tribunal fédéral avait statué (requête n° 12020/09); enfin, à la différence du présent cas, l'arrêt Boultif c. Suisse du 2 août 2001 portait sur la possibilité pour un couple de vivre une vie de famille à l'étranger (requête n° 54273/00).
6.
Enfin, quand bien même le recourant pourrait se prévaloir efficacement de l'art. 8 par. 1 CEDH, il conviendrait de constater que les conditions d'une ingérence dans l'exercice de ce droit sont remplies (art. 8 par. 2 CEDH; concernant les éléments à prendre en compte, cf. <ref-ruling> consid. 2.4; arrêt 2C_20/2019 du 13 mai 2019 consid. 7.3). En effet, il ne ressort pas de l'arrêt attaqué d'éléments qui permettraient de conclure au caractère disproportionné de la mesure. L'autorité précédente ne prête pas le flanc à la critique en retenant que l'intérêt public à l'éloignement du recourant de Suisse prime ses intérêts privés, ainsi que celui de son fils, à demeurer dans ce pays. A cet égard, il est rappelé que la CDE ne confère aucune prétention directe à l'octroi ou au maintien d'une autorisation (cf. supra consid. 4.1) et le recourant ne présente pas de circonstances particulières qui rendraient indispensables sa présence en Suisse auprès de son fils. L'intérêt de celui-ci à vivre auprès de ses deux parents ne suffit pas à lui seul. Enfin, il ressort de l'arrêt attaqué que le recourant a conservé des attaches en Côte d'Ivoire, pays dans lequel il a vécu jusqu'à l'âge de vingt-deux ans et dans lequel il s'est rendu à de nombreuses reprises ces dernières années. Un retour dans ce pays est donc exigible de sa part et le recourant bénéficie des ressources suffisantes pour s'y réintégrer.
7.
A titre plus subsidiaire, le recourant, pour autant qu'on le comprenne, requiert du Tribunal fédéral certaines mesures d'instruction, qui viseraient à l'amener à démontrer les fait allégués.
L'intéressé perd de vue qu'il incombe à la partie recourante qui veut, exceptionnellement, faire valoir un fait ne résultant pas de l'arrêt attaqué, d'indiquer le moyen de preuve propre à établir ce fait (art. 42 al. 1 et 3 LTF; FLORENCE AUBRY GIRARDIN, in Commentaire de la LTF, 2e éd. 2014, n° 45 ad <ref-law>). Par ailleurs, des mesures probatoires devant le Tribunal fédéral ne sont qu'exceptionnellement ordonnées dans une procédure de recours (<ref-ruling> consid. 2), dès lors que le Tribunal fédéral conduit en principe son raisonnement juridique sur la base des faits établis par l'autorité précédente (cf. supra consid. 4.1). En l'occurrence, le dossier ne fait apparaître aucun élément dont on puisse inférer des circonstances exceptionnelles justifiant une mesure d'instruction devant le Tribunal fédéral et le recourant n'en invoque pas non plus.
8.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public, dans la mesure de sa recevabilité, et à l'irrecevabilité du recours constitutionnel subsidiaire.
Le recours étant d'emblée dénué de chance de succès, la demande d'assistance judiciaire est rejetée (cf. <ref-law>). Succombant, le recourant doit supporter les frais judiciaires (cf. <ref-law>), qui seront toutefois fixés en tenant compte de sa situation financière (cf. <ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté, dans la mesure où il est recevable.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La requête d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué à la mandataire du recourant, à l'Office cantonal de la population et des migrations et à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 19 mai 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier