Faits :
A.
A._, ressortissante brésilienne née en 1974, est entrée en Suisse le 16 décembre 2005, afin de vivre auprès de son époux, ressortissant italien et employé auprès d'une organisation internationale à Genève. L'enfant du couple, B._, ressortissant italien né en 2002, est entré en Suisse avec sa mère à la même date. Un premier enfant de l'intéressée, né en 1996, est arrivé en Suisse dans le courant de l'année 2005. Ils ont tous trois été mis au bénéfice de cartes de légitimation du Département fédéral des affaires étrangères dans le cadre du regroupement familial. L'époux a quitté le domicile conjugal en mai 2006 et a obtenu la nationalité suisse le 4 mai 2009. Le 2 juillet 2009, A._ et ses deux enfants ont restitué leurs cartes de légitimation et, le 7 octobre 2009, ont demandé à l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal) l'octroi d'autorisations d'établissement. Les époux ont repris la vie commune en 2010 et l'intéressée, accompagnée de ses enfants, est allée s'installer auprès de son mari à l'étranger en octobre 2010.
A._, qui a définitivement quitté son mari, et ses deux enfants sont revenus en Suisse en juin 2011 et ont requis de l'Office cantonal de "réactiver" leur demande d'autorisations. Le 27 juillet 2011, l'intéressée a formellement demandé une autorisation de séjour UE/AELE pour elle et ses enfants. A._ et ses enfants émargent à l'aide sociale depuis octobre 2011. Le divorce du couple a été prononcé le 26 juin 2014, la garde et l'autorité parentale sur B._ ayant été attribuées à l'intéressée.
B.
Par décision du 14 avril 2016, l'Office cantonal a refusé d'octroyer des autorisations de séjour à A._ et B._. Par décision du même jour, cet office a également refusé d'octroyer une autorisation de séjour au premier enfant de l'intéressée, devenu majeur entre-temps. A._ et B._ ont contesté le prononcé les concernant le 17 mai 2016 auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) qui, par jugement du 20 avril 2018, a rejeté leur recours. Par acte du 30 mai 2018, A._ et B._ ont interjeté recours auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Par arrêt du 17 novembre 2020, la Cour de justice a admis le recours et renvoyé la cause à l'Office cantonal, afin que celui-ci rende une nouvelle décision et octroie des autorisations de séjour UE/AELE aux intéressés.
C.
Agissant par la voie du recours en matière de droit public, le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice du 17 novembre 2020 et de renvoyer la cause à l'Office cantonal pour nouvelle décision sur le séjour des intéressés en Suisse.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal conclut à l'admission du recours. A._ et B._ concluent, sous suite de frais et dépens, outre à l'assistance judiciaire, au rejet du recours.

Considérant en droit :
1.
1.1. En vertu de l'art. 14 al. 2 de l'ordonnance du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (Org DFJP; RS 172.213.1), le Secrétariat d'Etat a qualité pour recourir devant le Tribunal fédéral (<ref-law>), dans le domaine du droit des étrangers, contre des décisions cantonales de dernière instance. Infirmant le refus d'octroi d'autorisations de séjour UE/AELE aux intimés, l'arrêt entrepris peut faire l'objet d'un recours en matière de droit public, dès lors qu'il existe potentiellement un droit, du point de vue des étrangers intimés dont l'un est un ressortissant italien, à l'octroi de ces autorisations (<ref-ruling> consid. 1.1) et que le Secrétariat d'Etat peut contester l'arrêt cantonal qui reconnaît l'existence d'un tel droit (cf. <ref-ruling> consid. 1.2; arrêt 2C_523/2016 du 14 novembre 2016 consid. 1.1). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>.
1.2. Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est en principe recevable.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
3.1. Dans l'arrêt entrepris, la Cour de justice, après avoir préalablement exclu tout cas individuel d'extrême gravité (cf. art. 30 LEI [RS 142.20]), a constaté que l'intimé 2, de nationalité italienne et dont le père avait travaillé à Genève, cumulait environ quatorze années de vie en Suisse où il avait passé toute sa scolarité obligatoire et le début de sa formation professionnelle. Cette autorité a jugé que ce parcours correspondait aux conditions du droit découlant de l'<ref-law> (RS 0.142.112.681), prévoyant que les enfants d'un ressortissant d'une partie contractante qui exerce ou non, ou qui a exercé une activité économique sur le territoire de l'autre partie contractante sont admis aux cours d'enseignement général, d'apprentissage et de formation professionnelle dans les mêmes conditions que les ressortissants de l'Etat d'accueil, si ces enfants résident sur son territoire. L'autorité précédente a certes reconnu que le droit dérivé de l'intimé 2 avait été interrompu par un séjour de neuf mois à l'étranger, mais a considéré qu'il ne pouvait raisonnablement pas être exigé de celui-ci qu'il poursuive sa formation au Brésil ou en Italie. Pour cette raison, la Cour de justice lui a reconnu un droit propre au séjour en Suisse au sens de l'ALCP, jusqu'à la fin de sa formation professionnelle. Quant à l'intimée 1, l'autorité précédente a constaté qu'elle vivait sous le même toit que son fils devenu majeur durant la procédure et qu'il existait des liens affectifs particulièrement étroits entre eux. Elle a jugé que le droit originaire reconnu à l'intimé 2 impliquait qu'il ait le droit d'être accompagné par le parent qui en assurait la garde, même au-delà de sa majorité. La Cour de justice a finalement encore rappelé que les modalités d'application de l'<ref-law> n'étaient pas les mêmes que celles de l'<ref-law> et que le fait que les intimés émargeaient à l'aide sociale n'était pas déterminant.
3.2. L'autorité recourante relève que le père de l'intimé 2 n'a jamais bénéficié d'une autorisation UE/AELE, mais uniquement d'une carte de légitimation octroyée en application de la loi fédérale du 22 juin 2007 sur les privilèges, les immunités et les facilités, ainsi que sur les aides financières accordés par la Suisse en tant qu'Etat hôte (LEH; RS 192.12). Le séjour en Suisse de ce ressortissant italien devenu suisse n'a donc pas été soumis aux dispositions de l'ALCP. Le Secrétariat d'Etat continue en mentionnant que les circonstances du cas d'espèce, jugées comme étant exceptionnelles par la Cour de justice, ne justifient pas d'appliquer des dispositions légales à sa guise et encore moins l'ALCP. L'autorité recourante, rappelant que le départ d'un étranger de Suisse durant plus de six mois éteint l'autorisation de celui-ci, relève encore qu'en l'espèce, l'art. 3 par. 6 annexe I ACLP ne saurait octroyer un droit originaire, respectivement dérivé aux intimés en raison de leur départ définitif de Suisse en octobre 2010.
3.3. Dans leur réponse, les intimés se réfèrent essentiellement à l'arrêt entrepris. Ils considèrent que l'<ref-law> fonde un droit à une autorisation, que le parent ressortissant de l'Union européenne ait bénéficié d'une autorisation sur la base de l'ACLP ou, comme en l'espèce, d'une carte de légitimation. Ils estiment que leur séjour à l'étranger ne saurait leur être imputé, car intervenu contre leur volonté.
3.4. Le litige porte donc sur le point de savoir si c'est à bon droit que la Cour de justice a jugé que les intimés pouvaient prétendre à des autorisations de séjour UE/AELE à titre originaire, respectivement dérivé en application de l'<ref-law> et, partant, annulé le jugement sur recours du Tribunal administratif de première instance.
4.
4.1. Conformément à l'art. 2 al. 1 LEI, la LEI s'applique aux étrangers dans la mesure où leur statut juridique n'est pas réglé par d'autres dispositions du droit fédéral ou par des traités internationaux conclus par la Suisse. A teneur de l'art. 2 al. 2 LEI, la LEI n'est applicable aux ressortissants des Etats membres de la Communauté européenne, respectivement de l'Union européenne que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsque la LEI prévoit des dispositions plus favorables.
4.2. En l'espèce, l'intimée 1 est une ressortissante brésilienne, divorcée d'un ressortissant italo-suisse, et ne saurait se prévaloir de l'ALCP, ni à titre originaire, ni à titre dérivé (cf. <ref-ruling> consid. 3.1 et les références) en raison des liens ayant existé avec son ancien époux. L'intimée 1 prétend qu'elle est également titulaire de la nationalité italienne. Toutefois, cela ne ressort pas de l'arrêt entrepris. A ce propos, la Cour de justice a constaté que l'intimée 1 n'avait jamais produit de pièces attestant à suffisance de ce fait, si bien que celui-ci ne saurait être retenu (cf. consid. 2 ci-dessus). Finalement, l'intimée 1 ne saurait se prévaloir de la nationalité italienne de son fils pour prétendre à se voir appliquer la jurisprudence de la Cour de justice de l'Union européenne (ci-après: CJUE) Zhu et Chen contre Royaume-Uni du 19 octobre 2004 (C-200/02). Elle émarge en effet à l'aide sociale et ne peut pas subvenir aux besoins de celui-ci (cf. <ref-ruling>13 consid. 4.3 et les références).
Pour sa part, l'intimé 2 est un ressortissant italien. Il se trouve toutefois en Suisse sans exercer ni une activité salariée (<ref-law>), ni une activité indépendante (<ref-law>). En outre, émargeant à l'aide sociale, il ne saurait prétendre à l'application de l'<ref-law> (cf. 144 II 113 consid. 4.1 et les références).
4.3. Sous l'angle de l'ACLP, se pose donc exclusivement la question de l'application de l'<ref-law> en raison du fait que l'intimé 2 suit actuellement une formation professionnelle.
4.3.1. Selon l'<ref-law>, les enfants d'un ressortissant d'une partie contractante qui exerce ou non, ou qui a exercé une activité économique sur le territoire de l'autre partie contractante, sont admis aux cours d'enseignement général, d'apprentissage et de formation professionnelle dans les mêmes conditions que les ressortissants de l'Etat d'accueil, si ces enfants résident sur son territoire.
Le Tribunal fédéral a déduit de l'<ref-law>, interprété en tenant compte de la jurisprudence de la Cour de justice de l'Union européenne, que les enfants d'un ressortissant d'une partie contractante au sens de cette disposition jouissent d'un droit indépendant de leurs parents à demeurer dans l'Etat d'accueil, afin d'y terminer leur formation, lorsque l'on ne peut raisonnablement pas exiger d'eux qu'ils retournent dans leur pays d'origine pour achever celle-ci (cf. <ref-ruling> consid. 4.1; arrêt 2C_815/2020 du 11 février 2021 consid. 4.2 et les références). Cette jurisprudence implique que les enfants aient déjà commencé, dans le cadre de leur formation, à s'intégrer dans le pays d'accueil, ce qui a été nié pour des enfants en bas âge, même s'ils se trouvaient en garderie ou à l'école enfantine (arrêt 2C_815/2020 du 11 février 2021 consid. 4.2 et les références). Les parents qui exercent la garde de l'enfant bénéficient alors également d'un droit de séjour à titre dérivé, indépendamment de leurs moyens d'existence (cf. <ref-ruling> consid. 4.2; arrêt 2C_815/2020 du 11 février 2021 consid. 4.2 et les références).
4.3.2. En premier lieu, il faut relever que l'<ref-law>, qui concrétise l'art. 7 let. d ALCP, prévoit le regroupement familial des membres de la famille d'un ressortissant de l'Union européenne bénéficiant, en Suisse, d'un droit de séjour fondé sur l'ALCP (cf. <ref-law>; cf. <ref-ruling> consid. 3.1). Ces droits en faveur des membres de la famille ont essentiellement pour but de favoriser la libre circulation des différentes catégories de ressortissants communautaires auxquels l'Accord sur la libre circulation des personnes confère précisément le droit de circuler librement, soit, en règle générale, les travailleurs. C'est donc avant tout en fonction de ce but qu'il y a lieu de dégager le contenu et la portée du droit au regroupement familial inscrit à l'art. 7 let. d ALCP (<ref-ruling> consid. 7.3). Les droits attribués aux membres de la famille sont donc des droits dérivés, dont le sort est généralement lié au destin du droit originaire duquel ils sont issus (cf. EPINEY/BLASER, in Code annoté de droit des migrations, Volume III: Accord sur la libre circulation des personnes [ALCP], Amarelle/Nguyen [éd.], 2014, n. 26 ad <ref-law>). Si l'<ref-law> peut certes octroyer un droit de séjour à titre dérivé aux parents qui exercent la garde de l'enfant (cf. consid. 4.3.1 ci-dessus), il est néanmoins nécessaire que celui-ci ait initialement obtenu un droit de séjour au titre du regroupement familial, c'est-à-dire en raison de la présence en Suisse de l'un de ses parents, ressortissant de l'Union européenne au bénéfice d'une autorisation fondée sur l'ALCP.
4.3.3. En l'espèce, l'intimé 2 ne saurait se prévaloir de l'<ref-law> pour séjourner en Suisse. En effet, il faut en premier lieu relever que son père n'a jamais été mis au bénéfice d'une autorisation fondée sur l'ALCP, élément qui, comme on l'a vu précédemment (cf. consid. 4.3.2 ci-dessus), est déterminant pour permettre le regroupement familial en application de l'<ref-law>. De plus, il ne faut pas perdre de vue que les intimés sont revenus en Suisse en 2011, après avoir passé environ neuf mois à l'étranger. Outre que les intimés ne bénéficiaient pas de titres de séjour valables lors de leur départ en octobre 2010 (ils avaient restitué leurs cartes de légitimation et formulé une demande d'autorisation d'établissement), leur absence de Suisse durant neuf mois ne pouvait de toute façon pas faire perdurer la situation préexistante. En effet, comme l'a justement relevé l'autorité recourante, une absence de Suisse de plus de six mois conduit à l'extinction du droit de séjour, que ce soit un séjour fondé sur l'ALCP (pour les travailleurs: cf. <ref-law>; pour les indépendants: cf. <ref-law>; pour les personnes n'exerçant pas une activité économique: cf. <ref-law>; toutes ces dispositions prévoyant que les interruptions de séjour ne dépassant pas six mois consécutifs n'affectent pas la validité du séjour) ou sur la LEI (cf. art. 61 al. 2 LEI qui dispose que si un étranger quitte la Suisse sans déclarer son départ, l'autorisation de courte durée prend automatiquement fin après trois mois, l'autorisation de séjour ou d'établissement après six mois). Par conséquent, lors de leur retour en Suisse en juin 2011, sans leur père, respectivement époux, c'est-à-dire sans une personne de référence susceptible de leur permettre d'obtenir un droit de séjour dérivé en Suisse, les intimés ne pouvaient prétendre qu'à l'octroi d'une autorisation ALCP à titre originaire. Or, aucun des deux ne réunissent les conditions posées à l'octroi d'une telle autorisation. L'intimé 2, certes ressortissant de l'Union européenne, ne bénéficie pas du statut de travailleur (salarié ou indépendant) et, émargeant à l'aide sociale, ne subvient pas à ses besoins pour lui permettre de demeurer en Suisse sans activité lucrative (cf. art. 24 par. 1 let. a annexe I ALPC). Quant à l'intimée 1, ressortissante brésilienne, elle ne peut pas invoquer l'ALCP, ni à titre originaire, ni à titre dérivé, son fils ne pouvant lui-même pas se prévaloir de cet accord. On ne saurait donc suivre la Cour de justice lorsqu'elle affirme que les "circonstances exceptionnelles du cas d'espèce" doivent conduire à reconnaître à l'intimé 2 "un droit propre au séjour au sens de l'ALCP jusqu'à la fin de sa formation professionnelle". En outre, que l'absence de Suisse de plus de six mois ait été volontaire ou non, comme l'affirment de manière péremptoire les intimés, n'est pas déterminant, seul comptant le fait que l'étranger ne se soit plus trouvé en Suisse durant une telle période (cf. MARC SPESCHA, in Migrationsrecht, Spescha et al. [éd.], 5e éd. 2019, n. 6 ad <ref-law>).
4.4. Finalement, il convient encore de mentionner que si les intimés ne peuvent pas se prévaloir de l'ALCP, ils ne peuvent pas non plus prétendre à l'octroi d'une autorisation de séjour fondée sur la LEI. L'époux de l'intimée 1 a certes obtenu la nationalité suisse, mais il est parti vivre à l'étranger où l'a rejoint sa famille. Depuis le retour en Suisse de l'intimée 1 et de ses enfants en juin 2011, celle-ci n'a plus jamais séjourné avec son mari, qui ne vit d'ailleurs plus en Suisse. Les intimés ne sauraient par ailleurs se prévaloir de l'art. 8 CEDH, cette disposition ne donnant pas droit à l'octroi d'une autorisation de séjour à la suite de l'extinction d'une précédente autorisation (cf. arrêts 2C_141/2021 du 13 avril 2021 consid. 2.4; 2C_979/2019 du 7 mai 2020 consid. 5 et les références).
4.5. Sur le vu de l'ensemble des considérants qui précèdent, il convient de retenir que c'est à tort que l'autorité précédente a jugé que les intimés pouvaient prétendre à se voir octroyer une autorisation de séjour UE/AELE en Suisse. En annulant le jugement du Tribunal administratif de première instance du 20 avril 2018, la Cour de justice a violé l'<ref-law>. Il convient donc d'admettre le recours du Secrétariat d'Etat, d'annuler l'arrêt de la Cour de justice et de confirmer le jugement du Tribunal administratif de première instance du 20 avril 2018.
5.
Succombant, les intimés ne sauraient prétendre à des dépens, pas plus que l'autorité recourante (cf. art. 68 al. 1 et 3 LTF).
La demande d'assistance judiciaire des intimés peut en revanche être admise au vu de leur indigence manifeste et du fait que leurs conclusions ne paraissaient pas vouées à l'échec, compte tenu de la teneur de l'arrêt attaqué. Me Agrippino Renda leur sera donc désigné comme avocat d'office et rétribué par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires (art. 64 al. 1 et 2 LTF). La cause est renvoyée à la Cour de justice pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure antérieure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt de la Cour de justice du 17 novembre 2020 est annulé et le jugement du Tribunal administratif de première instance du 20 avril 2018 est confirmé.
2.
La demande d'assistance judiciaire est admise pour la procédure devant le Tribunal fédéral. Me Agrippino Renda est désigné comme avocat d'office des intimés et une indemnité de 2'000 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
3.
Il n'est pas perçu de frais judiciaires.
4.
La cause est renvoyée à la Cour de justice pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué au recourant, au mandataire des intimés, à l'Office cantonal de la population et des migrations et à la Chambre administrative de la Cour de justice de la République et canton de Genève.
Lausanne, le 21 mai 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette