Faits :
A.
A.a. A._, ressortissante ivoirienne née en 1990, est arrivée en Suisse en août 2006 pour, selon ses dires, rejoindre sa mère titulaire d'une autorisation de séjour. Elle n'a pas annoncé sa présence en Suisse à l'Office cantonal de la population et des migrations du canton de Genève (ci-après : l'Office cantonal) avant le 18 novembre 2008, en vue de son mariage avec C._, ressortissant portugais né en 1973 et titulaire d'une autorisation d'établissement. Le mariage a eu lieu le 24 juillet 2009. A._ a de ce fait été mise au bénéfice d'une autorisation de séjour au titre du regroupement familial, qui a été régulièrement prolongée jusqu'au 23 juillet 2014.
Le 6 août 2012, C._ a informé un service étatique que son épouse avait quitté le domicile conjugal, qu'elle lui avait dit l'avoir épousé " pour le permis ", qu'elle voulait divorcer et qu'elle lui avait offert de l'argent pour garder le silence et faire comme s'ils vivaient toujours ensemble. Il lui avait fait signer, ainsi qu'à sa mère, une reconnaissance de dette, puis les avait informées qu'il allait les dénoncer, ce qui lui avait valu des menaces de mort de la part de la mère de son épouse. Ledit service étatique a conseillé à C._ de s'adresser à l'Office cantonal ou aux forces de l'ordre. En septembre 2012, C._ a écrit à l'Office cantonal pour l'informer que son épouse avait quitté le domicile conjugal après deux mois de vie commune, qu'il avait découvert qu'elle avait " une autre personne ", qu'il lui avait dit vouloir divorcer et qu'elle lui avait alors proposé de l'argent pour ne pas dénoncer la situation et qu'elle puisse conserver son autorisation de séjour. Il n'avait pas dénoncé ces faits par peur de perdre son autorisation d'établissement, mais il recevait des menaces de mort. Il avait fait signer le 10 juillet 2010 une reconnaissance de dette à hauteur du montant qui lui avait été proposé, soit 13'000 francs, qu'il annexait à son courrier.
L'Office cantonal a adressé diverses demandes de renseignements à A._ et à C._.
En avril 2014, A._ a informé l'Office cantonal que C._ lui avait refusé l'accès au domicile conjugal à son retour d'un séjour linguistique de trois mois à l'étranger. Aucune demande de séparation ni de divorce n'avait été déposée. En mai 2014, elle a informé l'Office cantonal qu'elle avait quitté le domicile conjugal pour le foyer D._. Les conjoints n'ont pas repris la vie commune et ont divorcé.
Le 3 décembre 2014, A._ a donné naissance à B._. Cet enfant, de nationalité ivoirienne, sera reconnu le 21 juin 2017 par un ressortissant français établi en France. La procédure de reconnaissance de la nationalité française est en cours.
A._ a exercé plusieurs activités professionnelles à partir d'avril 2016.
A.b. Le 9 janvier 2017, l'Office cantonal a informé A._ de son intention de refuser de prolonger son autorisation de séjour et de prononcer son renvoi et celui de son fils.
En réponse à des demandes de renseignements de l'Office cantonal, la police a déclaré que A._ était inconnue de ses services; l'Hospice général du canton de Genève a indiqué lui avoir versé 12'249 fr. 70 entre le 1 er juillet 2014 et le 30 avril 2015, et l'Office des poursuites a annoncé qu'elle faisait l'objet de vingt-cinq poursuites pour 18'576 fr.15 et de sept actes de défaut de biens pour 6'228 fr. 80.
B.
Par décision du 13 juin 2017, l'Office cantonal a refusé de renouveler l'autorisation de séjour de A._ et d'octroyer une autorisation de séjour à son fils B._. Il leur a imparti un délai au 13 août 2018 pour quitter la Suisse.
A._, agissant en son nom et en celui de son fils, a recouru contre cette décision auprès du Tribunal administratif de première instance du canton de Genève (ci-après: le Tribunal administratif), concluant à l'annulation de la décision du 13 juin 2017 de l'Office cantonal et à ce que son autorisation de séjour et celle de son fils soient renouvelées. Le Tribunal administratif a rejeté le recours par jugement du 16 avril 2018.
A._ et son fils ont recouru contre ce jugement auprès de la Cour de justice du canton de Genève, Chambre administrative (ci-après: la Cour de justice). A._ a été entendue en audience de comparution personnelle le 1 er novembre 2018. Par arrêt du 4 juin 2019, la Cour de justice a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ et son fils B._ demandent au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt du 4 juin 2019 de la Cour de justice et de dire qu'ils ont droit au renouvellement de leur autorisation de séjour.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal a informé la Cour de céans qu'il n'avait pas d'observations à formuler. Le Secrétariat d'Etat aux migrations n'a pas donné suite à l'invitation du Tribunal fédéral à se déterminer.
Le Tribunal fédéral a renoncé à exiger une avance de frais et annoncé qu'il statuerait ultérieurement sur la demande d'assistance judiciaire contenue dans le recours.

Considérant en droit :
1.
1.1. La recourante 1 se prévaut notamment d'un droit à obtenir le renouvellement de son autorisation de séjour fondé sur l'art. 50 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20; intitulée loi fédérale sur les étrangers [LEtr] avant le 1 er janvier 2019), selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste dans certains cas. Dès lors qu'il n'est pas d'emblée exclu que les conditions posées à un tel droit par cette disposition soient remplies et que la question de savoir si elles le sont relève du fond, le recours échappe à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF (<ref-ruling> consid. 1.1 p. 332 et les références citées). Le droit du recourant 2 découlerait de celui de la recourante 1 (art. 8 CEDH), de sorte que son recours est également recevable en ce qui le concerne. La voie du recours en matière de droit public est donc ouverte.
1.2. Au surplus, les conditions de recevabilité sont réunies (cf. art. 42, 82 let. a, 86 al. 1 let. a, 89 al. 1, 90 et 100 al. 1 LTF), si bien qu'il convient d'entrer en matière sur le recours.
2.
2.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. En vertu de l'<ref-law> toutefois, il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant (cf. <ref-ruling> consid. 1.2.2 p. 286; <ref-ruling> consid. 2.2 p. 232 s.).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). En outre, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'occurrence, les recourants, qui ne se prévalent pas d'arbitraire dans l'établissement des faits, méconnaissent les principes qui précèdent. Ils discutent et présentent leur version des faits de manière appellatoire et invoquent de surcroît des faits nouveaux et des pièces nouvelles irrecevables. Il n'en sera partant pas tenu compte.
3.
Le litige porte sur le point de savoir si c'est à bon droit que la Cour de justice a jugé que les recourants n'avaient pas de droit à obtenir, s'agissant de la recourante 1, le renouvellement de son autorisation de séjour et, s'agissant du recourant 2, une autorisation de séjour.
3.1. Les recourants invoquent une violation de l'art. 50 LEI. Compte tenu des dispositions transitoires (cf. en particulier l'art. 126 al. 1 LEI), il sera fait référence ci-après à la LEtr, qui demeure applicable et dont l'art. 50 a une teneur légèrement différente de l'art. 50 LEI.
3.2. Après la dissolution de la famille, l'art. 50 al. 1 et 2 LEtr prévoit que:
1Après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste dans les cas suivants:
a. l'union conjugale a duré au moins trois ans et l'intégration est réussie;
b. la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures.
2 Les raisons personnelles majeures visées à l'al. 1, let. b, sont notamment données lorsque le conjoint est victime de violence conjugale, que le mariage a été conclu en violation de la libre volonté d'un des époux ou que la réintégration sociale dans le pays de provenance semble fortement compromise.
4.
Examinant si le droit à la prolongation de l'autorisation de séjour de la recourante 1 pouvait subsister nonobstant la dissolution de la famille en vertu de l'art. 50 al. 1 LEtr, les juges précédents ont d'abord considéré qu'elle ne se trouvait pas dans la situation de la let. a de cette disposition, faute de pouvoir se prévaloir d'une intégration réussie. Dans ces circonstances, le point de savoir si l'union conjugale avait duré trois ans, comme l'exigeait aussi l'art. 50 al. 1 let. a LEtr, pouvait rester ouvert. Les juges précédents ont par ailleurs retenu que le séjour en Suisse des recourants ne pouvait pas non plus être prolongé ou autorisé en raison de raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr.
5.
Les recourants, à juste titre, ne se prévalent pas de l'art. 43 LEtr ni de l'<ref-law> (cf. infra consid. 8.1), dès lors que la recourante 1 a divorcé de son époux. A l'instar de la Cour de justice, ils se fondent sur l'art. 50 al. 1 LEtr. Ils soutiennent que les juges cantonaux ont violé l'art. 50 al. 1 let. a LEtr en considérant que la recourante 1 ne remplissait pas la condition de l'intégration réussie.
5.1. Le principe de l'intégration doit permettre aux étrangers dont le séjour est légal et durable de participer à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr). D'après l'art. 77 al. 4 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative dans sa teneur au 31 décembre 2018 (OASA; RS 142.201), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ancienne ordonnance du 24 octobre 2007 sur l'intégration des étrangers (aOIE; RS 142.205), remplacée au 1 er janvier 2019 par l'ordonnance du même nom du 15 août 2018, la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). L'adverbe " notamment ", qui est employé tant à l'art. 77 al. 4 OASA qu'à l'art. 4 aOIE, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions et met aussi en exergue le fait que la notion d'intégration réussie doit s'examiner à l'aune d'une appréciation globale des circonstances (arrêts 2C_1017/2018 du 23 avril 2019 consid. 4.1; 2C_620/2017 du 14 novembre 2017 consid. 2.2; 2C_65/2014 du 27 janvier 2015 consid. 3.2).
Dans l'examen des critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation, que le Tribunal fédéral ne revoit qu'avec retenue (cf. art. 54 al. 2 et 96 al. 1 LEtr et art. 3 aOIE; arrêts 2C_1017/2018 du 23 avril 2019 consid. 4.1; 2C_364/2017 du 25 juillet 2017 consid. 6.4 et les références).
5.2. Selon la jurisprudence, il n'y a pas d'intégration réussie lorsque l'étranger n'exerce pas d'activité lucrative qui lui permette de couvrir ses besoins et qu'il dépend des prestations sociales pendant une période relativement longue. Le fait pour une personne de ne pas avoir commis d'infractions pénales et de pourvoir à son revenu sans recourir à l'aide sociale ne permet toutefois pas à lui seul de retenir une intégration réussie. Des périodes d'inactivité de durée raisonnable n'impliquent pas forcément une absence d'intégration professionnelle. Il n'est pas non plus indispensable que l'étranger fasse montre d'une carrière professionnelle exemplaire. L'essentiel en la matière est que l'étranger subvienne à ses besoins, n'émarge pas à l'aide sociale et ne s'endette pas de manière disproportionnée (arrêts 2C_1017/2018 du 23 avril 2019 consid. 4.1; 2C_301/2018 du 24 septembre 2018 consid. 3.2 et les références; 2C_14/2014 du 27 août 2014 consid. 4.6.1, non publié in <ref-ruling>; 2C_385/2014 du 19 janvier 2015 consid. 4.1). L'impact de l'endettement dans l'appréciation de l'intégration d'une personne dépend du montant des dettes, de leurs causes et du point de savoir si la personne les a remboursées ou s'y emploie de manière constante et efficace. L'évolution de la situation financière doit ainsi être prise en considération à cet égard (arrêts 2C_364/2017 du 25 juillet 2017 consid. 6.2 et les références; 2C_352/2014 du 18 mars 2015 consid. 4.3 et les références).
5.3. En l'espèce, l'arrêt attaqué constate que la recourante 1 est arrivée de manière illégale en Suisse en 2006 et qu'elle ne s'est annoncée à l'Office cantonal qu'en novembre 2008. Elle a obtenu une autorisation de séjour ensuite de son mariage le 24 juillet 2009. Sous l'angle professionnel, la recourante 1 a obtenu un CFC en juin 2013 (<ref-law>). L'arrêt attaqué constate qu'elle a travaillé du 11 avril au 30 juin 2016 à temps partiel (70 %) chez E._ Sàrl, puis effectué un stage non rémunéré auprès de F._; du 17 juillet 2017 au 11 mai 2018, elle a travaillé auprès de G._ en qualité de commise administrative à 100 % avant d'effectuer un stage non rémunéré chez " H._ " entre le 2 juillet et le 28 septembre 2018. Elle a aussi été active en tant que bénévole dans diverses organisations, notamment à la Croix-Rouge. Sous l'angle financier, la recourante 1 a perçu de l'Hospice général un montant de plus de 60'000 francs. Elle est par ailleurs endettée, puisqu'elle fait l'objet de vingt-cinq poursuites pour un montant de 18'576 fr. 25 et de sept actes de défaut de biens pour un montant de 6'228 fr. 80. Les juges cantonaux constatent qu'elle est dépendante de l'aide sociale.
5.4. Les recourants reprochent aux juges précédents d'avoir donné trop d'importance aux prestations de l'Hospice général et à la situation financière obérée de la recourante 1, et de ne pas avoir suffisamment tenu compte de sa motivation, de ses efforts pour trouver un emploi et acquérir son indépendance financière, ainsi que de son intégration au mode de vie suisse. Ils perdent toutefois de vue que, selon la jurisprudence, il n'y a pas d'intégration réussie lorsque l'étranger n'exerce pas d'activité lucrative qui lui permette de couvrir ses besoins et qu'il dépend des prestations sociales pendant une période relativement longue. Or, tel est bien le cas en l'espèce. La recourante 1 n'a jamais exercé d'activité lucrative lui permettant de couvrir ses besoins et elle dépend des prestations de l'Hospice général depuis une période relativement longue, puisqu'elle a commencé à percevoir des prestations en juillet 2014 et qu'elles atteignent, au moment de l'arrêt attaqué, plus de 60'000 francs. Elle est par ailleurs très endettée. En outre, depuis le moment où elle est parvenue au terme de son contrat d'apprentissage, soit le 31 août 2013 (cf. <ref-law>), la recourante 1 n'est jamais parvenue à trouver un emploi stable. L'argument qu'elle invoque, selon lequel ses difficultés pour trouver un emploi lui permettant de subvenir à ses besoins sont liées à sa situation administrative au plan du droit des étrangers, n'est pas convaincant. Si l'on peut admettre qu'à partir du 24 juillet 2014, date à laquelle son autorisation de séjour n'a pas été renouvelée, il était objectivement moins aisé pour elle de trouver un emploi, ce fait ne permet pas d'expliquer pour quelle raison l'arrêt attaqué ne fait état d'aucune activité lucrative entre la fin de son contrat d'apprentissage, le 31 août 2013, et le 24 juillet 2014, soit durant près d'une année. En outre, il ressort de l'arrêt attaqué que la recourante 1 n'a jamais demandé d'autorisation temporaire de travail à compter du 24 juillet 2014 (arrêt p. 7).
S'agissant des perspectives d'avenir, on ne voit pas non plus, au vu de l'ensemble des circonstances, que l'on puisse reprocher aux juges précédents d'avoir retenu que rien ne laissait présager une évolution favorable de la situation financière des recourants et que le risque qu'ils restent durablement à la charge de la collectivité était important. La recourante 1 se limite à affirmer de manière purement appellatoire et sur la base de pièces nouvelles qu'il ne lui faut qu'un peu de temps pour sortir durablement de l'aide sociale.
5.5. Dans ces circonstances, et quand bien même il faut reconnaître, avec les juges précédents, que la recourante a une certaine volonté de s'intégrer professionnellement, force est de constater qu'elle n'y est pas parvenue depuis la fin de sa formation en 2013 et qu'elle dépend durablement de l'aide sociale. Les juges précédents n'ont donc pas violé le droit fédéral en considérant que la recourante 1 ne remplissait pas la condition de l'intégration réussie et qu'elle ne pouvait de ce fait pas obtenir la prolongation de son autorisation de séjour en vertu de l'art. 50 al. 1 let. a LEtr.
6.
La Cour de justice a ensuite estimé que la poursuite du séjour des recourants en Suisse ne s'imposait pas pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b et al. 2 LEtr.
6.1. Selon l'art. 50 al. 1 let. b LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. Selon l'art. 50 al. 2 LEtr, il y a notamment raisons personnelles majeures lorsque la réintégration sociale dans le pays de provenance semble fortement compromise. C'est ici la situation personnelle de l'intéressé qui est décisive, et non l'intérêt public que revêt une politique migratoire restrictive. Pour que les difficultés de réintégration sociale dans le pays de provenance soient constitutives de raisons personnelles majeures, l'art. 50 al. 2 LEtr exige que cette réintégration " semble fortement compromise ". La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de la réintégration sociale, au regard de la situation personnelle, professionnelle et familiale de l'étranger, seraient gravement compromises (<ref-ruling> consid. 5.3; arrêt 2C_873/2013 du 25 mars 2014 consid. 4.1, non publié in <ref-ruling>, et les références). Les années passées dans notre pays dans l'illégalité ou au bénéfice d'une simple tolérance ne sont guère décisives dans l'appréciation (cf. <ref-ruling> consid. 4.2 p. 23 s.; <ref-ruling> consid. 3.3 p. 289). Lorsque des enfants sont concernés, il faut tenir compte des effets qu'entraînerait pour eux un retour forcé dans le pays d'origine. D'une manière générale, lorsqu'un enfant a passé les premières années de sa vie en Suisse et qu'il y a seulement commencé sa scolarité, on considère en principe qu'il reste encore attaché dans une large mesure à son pays d'origine par le biais de ses parents et que son intégration au milieu socioculturel suisse n'est pas si profonde et irréversible qu'un retour dans sa patrie constituerait un déracinement complet (<ref-ruling> consid. 3.1.1 p. 10; <ref-ruling> consid. 4a et 4b p. 128 s.; arrêts 2C_633/2019 du 13 février 2019 consid. 7.2; 2C_754/2018 du 28 janvier 2019 consid. 6.3; cf. aussi arrêt 2C_997/2015 du 30 juin 2016 consid. 3.1 et les références).
6.2. En l'espèce, les juges précédents ont retenu que seules d'éventuelles raisons personnelles majeures liées à la réintégration des recourants en Côte d'Ivoire pouvaient entrer en ligne de compte. Or, s'agissant de la recourante 1, ses compétences professionnelles n'étaient pas si spécifiques qu'elle ne pourrait pas les utiliser dans son pays. La durée de son séjour en Suisse devait être relativisée puisque, de 2006 à novembre 2008, elle y avait séjourné dans l'illégalité. Elle avait passé toute son enfance et une bonne partie de son adolescence dans son pays, et son intégration en Suisse ne présentait pas de particularité telle qu'un retour en Côte d'Ivoire serait fortement compromis. En outre, plusieurs membres importants de sa famille y vivaient, notamment son père et son frère. Elle n'alléguait finalement pas avoir de problèmes de santé. S'agissant du recourant 2, les juges précédents ont considéré qu'un départ en Côte d'Ivoire ne constituerait pas un déracinement constitutif d'une rigueur excessive, au vu de son jeune âge, du fait qu'il n'était pas encore intégré socialement en Suisse et que ses relations avec son père n'étaient pas d'une grande intensité, puisque celui-ci n'était pas prêt à l'accueillir chez lui. En outre, il n'était pas allégué que la recourante 1 ne pourrait pas se rendre en France avec son fils pour rendre visite au père de l'enfant, ni que celui-ci ne pourrait pas aller en Côte d'Ivoire pour voir son fils.
6.3. Cette motivation procède d'une application correcte de l'art. 50 al. 1 let. b et al. 2 LEtr. Les recourants ne formulent du reste pas de grief de violation du droit contre l'arrêt attaqué sur ce point. Ils se limitent à relever de manière appellatoire qu'il ne sera " pas aisé " pour le recourant 2 d'aller vivre en Côte d'Ivoire, sans exposer en quoi ce départ constituerait un déracinement excessif au point de constituer une raison personnelle majeure. L'arrêt attaqué doit partant également être confirmé en tant qu'il retient que les recourants ne peuvent pas se prévaloir de l'art. 50 al. 1 let. b et al. 2 LEtr.
7.
Les recourants font également valoir que leur refuser de séjourner en Suisse viole leur droit au respect de la vie privée (art. 8 CEDH). Ils invoquent l'arrêt 2C_105/2017 du 8 mai 2018 du Tribunal fédéral.
7.1. Dans cet arrêt, publié in <ref-ruling>, le Tribunal fédéral a précisé et structuré sa jurisprudence relative au droit au respect de la vie privée : ce droit dépend fondamentalement de la durée de la résidence en Suisse de l'étranger. Lorsque celui-ci réside légalement depuis plus de dix ans en Suisse, ce qui correspond en droit suisse au délai pour obtenir une autorisation d'établissement ou la naturalisation, il y a lieu de partir de l'idée que les liens sociaux qu'il a développés avec le pays dans lequel il réside sont suffisamment étroits pour que le refus de prolonger ou la révocation de l'autorisation de rester en Suisse doivent n'être prononcés que pour des motifs sérieux. Lorsque la durée de la résidence est inférieure à dix ans mais que l'étranger fait preuve d'une forte intégration en Suisse, le refus de prolonger ou la révocation de l'autorisation de rester en Suisse peut également porter atteinte au droit au respect de la vie privée (<ref-ruling>; arrêt 2C_733/2019 du 3 septembre 2019 consid. 3.2).
7.2. En l'espèce, la recourante 1 a obtenu une autorisation de séjour le 23 juillet 2009, qui n'a plus été renouvelée à compter du 23 juillet 2014. Elle n'a donc pas séjourné légalement en Suisse durant dix ans. Elle ne peut par ailleurs pas se prévaloir d'une forte intégration en Suisse (cf. supra consid. 5). Quant au recourant 2, il n'est titulaire d'aucune autorisation de séjour en Suisse et n'a donc jamais vécu légalement dans notre pays. Les recourants ne peuvent donc pas se prévaloir de l'art. 8 CEDH sous l'angle du droit à la vie privée.
Il y a lieu au surplus de relever que le recourant 2 ne peut pas non plus se prévaloir de l'art. 8 CEDH sous l'angle de la protection de la vie familiale. Pour pouvoir invoquer cette disposition sous cet angle, l'étranger doit entretenir une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse, soit, en pratique, une personne de nationalité suisse, titulaire d'une autorisation d'établissement ou disposant d'une autorisation de séjour à laquelle elle a droit (<ref-ruling> consid. 1.3.1 p. 145 s.; <ref-ruling> consid. 3.1 p. 285). Or, en l'espèce, le père du recourant 2, de nationalité française et résident français, n'est au bénéfice ni d'une autorisation d'établissement, ni d'une autorisation de séjour UE/AELE en Suisse.
8.
Il convient enfin de préciser que les recourants ne peuvent pas tirer un droit au séjour de l'ALCP.
8.1. L'ALCP confère au conjoint d'une personne ressortissant d'une partie contractante ayant un droit de séjour et ses descendants ont le droit de s'installer avec elle (art. 7 let. d ALCP et art. 3 al. 1 et 2 annexe I ALCP).
Comme la recourante 1 a été mariée avec un ressortissant portugais, mais en a divorcé, et qu'elle n'est pas mariée avec le père de B._, qui ne vit pas en Suisse, aucun des recourants ne peut ainsi se prévaloir des art. 7 let. d ACLP et 3al. 1 et 2 annexe I ALCP pour obtenir un droit de séjour en Suisse.
8.2. L'<ref-law> garantit aux personnes n'exerçant pas d'activité économique le droit de séjourner sur le territoire d'une partie contractante, conformément aux dispositions de l'annexe I ALCP relatives aux non-actifs (<ref-law>). L'<ref-law> exige notamment que l'intéressé dispose pour lui-même et les membres de sa famille de moyens financiers suffisants pour ne pas devoir faire appel à l'aide sociale pendant son séjour (let. a).
Selon la jurisprudence Zhu et Chen de la Cour de justice de l'Union européenne, à laquelle le Tribunal fédéral s'est rallié, la législation européenne relative au droit de séjour, et en particulier la Directive 90/364/CEE, confère un droit de séjour de durée indéterminée au ressortissant mineur en bas âge d'un Etat membre qui est couvert par une assurance-maladie appropriée et qui est à la charge d'un parent, lui-même ressortissant d'un Etat tiers, dont les ressources sont suffisantes pour que le premier ne devienne pas une charge pour les finances publiques de l'Etat membre d'accueil. Cette pratique permet en outre au parent qui a effectivement la garde de cet enfant de séjourner avec lui dans l'Etat membre d'accueil (cf. <ref-ruling> consid. 4.1 p. 116 s.; <ref-ruling> consid. 5.1 p. 43 s.; <ref-ruling> consid. 3.3 p. 269).
L'arrêt attaqué indique que le recourant 2 va obtenir selon toute probabilité la nationalité française. Bien que ce fait ne soit pas encore établi, il convient, pour des motifs d'économie de procédure, de relever que les conditions ne sont pas réunies pour que lui et la recourante 1 puissent se prévaloir d'un droit de séjour en Suisse en vertu de la jurisprudence qui vient d'être rappelée. Il ressort en effet des faits constatés qu'ils ne bénéficient pas de moyens financiers suffisants pour ne pas pouvoir prétendre à des prestations de l'aide sociale, puisque la recourante 1 dépend précisément des prestations de l'Hospice général.
8.3. Dans ces conditions, ni la recourante 1, à titre dérivé, ni le recourant 2 à titre originaire, ne peuvent prétendre à une autorisation de séjour UE/AELE en vertu de l'<ref-law>.
9.
Ce qui précède conduit au rejet du recours.
10.
Eu égard à la situation économique des recourants et dans la mesure où leur recours n'était pas d'emblée dénué de chances de succès (<ref-law>), leur requête d'assistance judiciaire est admise. Il y a partant lieu de désigner Me Andrea von Flüe en qualité d'avocat d'office et d'allouer à celui-ci une indemnité à titre d'honoraires, qui seront supportés par la caisse du Tribunal fédéral (<ref-law>). Il n'est en outre pas perçu de frais judiciaires (<ref-law>). Aucun dépens n'est alloué au Service cantonal (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est admise. Me Andrea von Flüe est désigné comme avocat d'office des recourants.
3.
Il n'est pas perçu de frais judiciaires.
4.
Une indemnité de 2'000 fr. est versée à Me Andrea von Flüe à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué au mandataire des recourants, à l'Office cantonal de la population et des migrations du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2 ème section, et au Secrétariat d'Etat aux migrations.
Lausanne, le 3 octobre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens