Faits :
A.
A.A._, ressortissante brésilienne, née en 1982, est entrée en Suisse le 9 août 2009.
Le 5 novembre 2009, B.A._, l'enfant de l'intéressée, est né à Lausanne. Celui-ci a acquis la nationalité portugaise ensuite de sa reconnaissance, le 20 novembre 2009, par C.A._, ressortissant portugais né en 1962, titulaire d'une autorisation de séjour UE/AELE. Celui-ci a épousé l'intéressée le 8 juillet 2010, à Lausanne. Le 7 janvier 2011, A.A._ et B.A._ ont été mis au bénéfice d'une autorisation de séjour UE/AELE au titre du regroupement familial. Chacune de ces autorisations a été prolongée jusqu'au 17 avril 2018.
Le 12 octobre 2015, le Tribunal d'arrondissement de Lausanne a rendu une ordonnance de mesures protectrices de l'union conjugale, aux termes de laquelle les époux vivaient séparés pour une durée indéterminée, la garde de fait de l'enfant étant confiée à la mère; un droit de visite a été accordé au père à raison d'un week-end sur deux (du samedi à 9 heures au dimanche à 19 heures), aucune contribution d'entretien n'étant prévue "compte tenu de la situation financière des parties".
B.
Par décision du 10 février 2017, le Service de la population du canton de Vaud (ci-après: le Service de la population), après diverses mesures d'instruction, a révoqué l'autorisation de séjour UE/AELE de l'intéressée (au motif qu'elle ne pouvait plus, compte tenu de sa séparation, se prévaloir du droit au regroupement familial prévu par l'art. 3 Annexe I de l'Accord du 21 juin 1999 sur la libre circulation des personnes [ALCP, RS 0.142.112.681]), tout en se déclarant favorable à la poursuite de son séjour en Suisse "par regroupement familial auprès de (son) fils" et à la délivrance d'une autorisation de séjour au sens de l'art. 30 al. 1 let. b de la loi fédérale sur les étrangers (LEtr, RS 142.20). Le Service de la population a précisé que, dès l'entrée en force de sa décision, il soumettrait le dossier de l'intéressée au Secrétariat d'Etat aux migrations (ci-après : le SEM) pour approbation.
C.
Le 13 juillet 2017, l'intéressée, réagissant à un courrier du SEM l'informant qu'il envisageait de refuser d'approuver le renouvellement de son autorisation de séjour et de prononcer son renvoi de Suisse, lui a communiqué, en substance, que son fils entretenait une relation très étroite avec son père (qui bénéficiait d'un droit de visite "large et étendu"), qu'une séparation nuirait au développement de son enfant, qu'elle était socialement bien intégrée et qu'en conséquence, elle requérait l'octroi d'une autorisation de séjour en faveur de celui-ci et d'elle-même.
Par décision du 12 septembre 2017, le SEM a refusé d'approuver la prolongation de l'autorisation de séjour de l'intéressée et lui a imparti un délai au 30 novembre 2017 pour quitter le territoire suisse.
Par arrêt du 11 novembre 2019, le Tribunal administratif fédéral a reconnu la qualité de partie au fils de l'intéressée et a rejeté le recours interjeté par ceux-ci contre la décision précitée du 12 septembre 2017.
D.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre le droit de demeurer en Suisse le temps de la procédure et l'assistance judiciaire, l'annulation de la décision du SEM, confirmée par le TAF, et l'octroi d'une autorisation de séjour ALCP. Subsidiairement, ils requièrent l'octroi d'une autorisation de séjour au sens de l'art. 50 LEtr, respectivement 8 CEDH.
Par ordonnance présidentielle du 27 novembre 2019, le Tribunal fédéral a donné une suite favorable à la mesure provisionnelle requise par les recourants, en accordant l'effet suspensif à leur recours.
Le Service de la population a informé le Tribunal fédéral qu'un visa de retour avait été délivré à l'intéressée. A la demande du Tribunal fédéral, les recourants ont complété leur requête d'assistance judiciaire. Le SEM a conclu au rejet du recours. Le Tribunal administratif fédéral a pris position sur le recours et renvoyé pour le surplus aux considérants et au dispositif de l'arrêt attaqué. Les recourants ont spontanément apporté un complément à leur recours.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte (cf. <ref-ruling> consid. 1.1 p. 332 et les références citées). En l'occurrence, les recourants invoquent de façon soutenable l'ALCP, en particulier les art. 3 al. 6 et 24 Annexe I ALCP, ainsi que l'art. 50 LEtr (intitulée, depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration [LEI, RO 2017 6521]), applicable en l'espèce en vertu de l'art. 126 al. 1 LEI, et l'art. 8 CEDH (RS 0.101) (concernant l'objet du litige, cf. infra consid. 2). Le recours en matière de droit public et ainsi ouvert.
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF) dans une cause de droit public (art. 82 let. a LTF). Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 LTF), par les destinataires de l'arrêt attaqué qui ont qualité pour recourir au sens de l'art. 89 al. 1 LTF, le présent recours est, sous réserve de ce qui suit, recevable. Il convient donc d'entrer en matière.
1.3. Dans la mesure où les recourants concluent à l'annulation de la décision du SEM, leur recours est irrecevable, eu égard à l'effet dévolutif du recours devant le Tribunal administratif fédéral (cf. <ref-ruling> consid. 1.2 p. 543).
2.
Le Service de la population a révoqué l'autorisation de séjour UE/AELE de la recourante, en se déclarant favorable à l'octroi d'une autorisation de séjour pour cas de rigueur. Il ne s'est pas prononcé sur l'autorisation de séjour UE/AELE du recourant, expirée le 17 avril 2018. Le SEM a refusé son approbation à l'octroi d'une autorisation de séjour à la recourante. L'objet du litige porte donc sur le droit de séjourner en Suisse de la recourante, sans que l'examen ne se limite à l'autorisation pour cas de rigueur envisagée par l'autorité cantonale (cf. arrêt 2C_800/2019 du 7 février 2020 consid. 3.4). La question de l'autorisation de séjour du recourant, examinée par le Tribunal administratif fédéral, ne doit être tranchée que de manière préliminaire pour apprécier si la recourante dispose (de façon dérivée; cf. infra consid. 5.1) d'un droit à séjourner dans ce pays.
3.
Dans un premier grief, les recourants se plaignent d'arbitraire dans la constatation des faits.
3.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. art. 106 al. 2 LTF). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 6.2 p. 288).
L'appréciation des preuves et l'établissement des faits sont arbitraires lorsque le juge s'est manifestement mépris sur le sens et la portée d'un moyen de preuve, lorsqu'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée, ou encore lorsqu'il a tiré des déductions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 2.3 p. 266).
3.2. Les recourants reprochent au Tribunal administratif fédéral de ne pas avoir pris en compte un certain nombre de faits découlant du dossier concernant leur situation et leur capacité financière. Soulignant ne plus avoir touché d'aide sociale depuis 2015, ils estiment que l'autorité précédente a retenu arbitrairement un salaire de 2'319 fr., en ne prenant apparemment en considération que les gains intermédiaires. Ce salaire serait, selon eux, inférieur aux revenus indiqués dans les décomptes de la caisse de chômage et ne prendrait à tort pas en compte les allocations familiales. En outre, ils précisent avoir remis au Tribunal administratif fédéral le nouveau contrat de travail fixe conclu par la recourante dès le 1er septembre 2019, à un taux d'occupation variant de 50 à 70 %, et lui reprochent d'avoir prononcé son jugement sans avoir requis de fiches de salaire, alors que les revenus se situaient alors autour de 3'500 fr.
Les recourants font également grief à l'autorité précédente d'avoir arbitrairement retenu les faits concernant la relation affective entre le recourant et son père et d'avoir négligé l'art. 3 al. 1 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107). Sur ce point, leur grief concerne en réalité l'application de cette disposition et de l'art. 8 CEDH, soit une question de droit, et non l'établissement des faits.
3.3. Dans l'arrêt attaqué, le Tribunal administratif fédéral retient "que la recourante a été au bénéfice de prestations de l'aide sociale avec son époux depuis son entrée en Suisse jusqu'au mois de février 2016, pour un montant total de plus de 200'500 fr., et qu'elle a fait l'objet de 7 actes de défaut de biens pour un montant total de 5'206,85 fr. Entre 2016 et 2019, elle a perçu durant plusieurs périodes des indemnités de l'assurance-chômage et a exercé à plusieurs reprises diverses activités salariées respectivement a signé plusieurs contrats de mission. Ainsi, elle a été engagée par [une entreprise] (contrat de service) pour une activité en tant qu'employée polyvalente à temps partiel, entre le 22 mars 2019 et le 23 août 2019, pour un salaire horaire net de 22,48 fr. Il ressort des fiches de salaire produites en cours de procédure que son salaire mensuel net moyen était de 2'262 fr. A ce revenu s'ajoute la rente mensuelle pour enfant, liée à la rente de l'assurance-invalidité perçue par son père, soit 57 fr. Les rentrées financières mensuelles de l'intéressée durant cette période s'élevaient ainsi, en moyenne, à 2'319 fr.". L'autorité précédente a procédé à un calcul du budget des recourants en se basant sur la période mars/avril 2019 à août 2019.
3.4. Dans sa prise de position, le Tribunal administratif fédéral conteste avoir établi les faits de manière inexacte et violé la maxime inquisitoire. Il relève qu'il a donné plusieurs fois l'occasion aux recourants de déposer des observations et de fournir diverses informations s'agissant notamment de leur situation financière et personnelle, en particulier depuis le printemps 2019. Selon lui, le devoir de collaborer des parties leur imposait de produire spontanément la fiche de salaire du 27 octobre 2019. Il relève également qu'au mois d'octobre 2019, la recourante se trouvait encore en temps d'essai, qu'au vu de son contrat de travail, son salaire était variable et qu'il n'est pas certain que ses moyens financiers, établis sur un salaire net moyen, auraient débouché sur un budget non déficitaire.
3.5. Dans sa réponse, le SEM relève que la recourante a bénéficié de l'aide sociale durant la majeure partie de son séjour en Suisse. Elle a accumulé des dettes et sa situation professionnelle demeure précaire. Selon lui, les calculs complexes auxquels se livrent les recourants pour prouver leur indépendance financière ne sont guère rassurants pour l'avenir et tendent plutôt à prouver que la recourante peine à joindre les deux bouts.
3.6. En l'occurrence, il ressort des faits de l'arrêt entrepris et du dossier que la recourante est inscrite à l'office régional de placement depuis le 1er novembre 2018. Un délai-cadre d'indemnisation a été ouvert dès cette date jusqu'au 31 octobre 2020. Son indemnisation journalière a été calculée sur un gain assuré de 3'321 fr. au taux de 80% (art. 105 al. 2 LTF). En moyenne, la recourante pouvait donc prétendre à des indemnités de chômage mensuelles moyennes de 2'657.20 fr. (indemnité journalière de 122.45 fr. [selon décompte de la caisse de chômage] x 21,7 [nombre de jours moyen par mois; art. 40a de l'ordonnance fédérale du 31 août 1983 sur l'assurance-chômage [OACI; RS 837.02]). Dès la fin du mois de mars 2019, la recourante a rempli des missions auprès d'une entreprise en tant qu'employée polyvalente par l'intermédiaire d'une agence de placement. Selon les recourants, il s'agissait de gains intermédiaires. Leurs dires sont sur ce point confirmés par une attestation de gain intermédiaire pour le mois d'avril 2019, daté du 7 mai 2019 et signée par l'agence précitée (art. 105 al. 2 LTF). Le dossier ne contient aucun élément qui permettrait de nier la qualité de gain intermédiaire de ces revenus. En particulier, aucun élément n'indique que la recourante n'aurait plus été au chômage durant la période concernée (mars/avril à août 2019). Dans leurs prises de position, les autorités précédentes ne contestent pas qu'il puisse s'agir de gains intermédiaires.
Dans ces circonstances, il faut admettre à l'instar des recourants que l'autorité précédente ne pouvait pas sans arbitraire retenir un revenu mensuel inférieur à celui que la recourante aurait perçu de l'assurance-chômage sans réaliser de gains intermédiaires durant la période concernée. En effet, en cas de gain intermédiaire, le revenu de l'assuré ne peut pas être inférieur aux indemnités de chômage auxquelles il aurait eu droit sans effectuer de tels gains. L'assuré qui perçoit un gain intermédiaire a droit à la compensation de la perte de gain, laquelle correspond à la différence entre le gain assuré et le gain intermédiaire (cf. art. 24 de la loi fédérale 25 juin 1982 sur l'assurance chômage [LACI; RS 837.0]; art. 41a OACI; cf. arrêt 8C_1027/2008 du 8 septembre 2009 consid. 4; ch. B87, C132 ss du Bulletin LACI IC, publié par le SECO). En cas de gain intermédiaire et de compensation de la perte de gain, l'assuré, qui n'a pas épuisé son droit aux indemnités compensatoires, perçoit en principe un montant global supérieur à ses indemnités de chômage (cf. ch. C135 Bulletin LACI IC). S'il a épuisé ses droits aux indemnités compensatoires, il a droit à un revenu correspondant à l'indemnité de chômage à laquelle il peut prétendre (paiement de la différence entre cette indemnité et le gain réalisé; ch. C137 du Bulletin LACI IC). Par ailleurs, rien ne permet de penser que le droit à des indemnités compensatoires aurait dû être refusé à la recourante (cf. ch. C132 ss du Bulletin LACI IC).
Les indemnités journalières de l'assurance-chômage et les allocations familiales devant être prises en compte dans la détermination des ressources disponibles (cf. <ref-ruling> consid. 4.3 p. 119), le revenu des recourants durant la période envisagée par l'autorité précédente était donc au minimum de 3'014.20 fr.: 2'657.20 fr. d'indemnité journalière, auxquels s'ajoutent 57 fr. de rente pour enfant selon l'assurance-invalidité, ainsi que 300 fr. d'allocation familiale (que celle-ci soit versée dans le cadre des indemnités journalières ou par l'employeur en cas de gain intermédiaire; art. 22 al. 1 LACI; Bulletin LACI IC ch. C81 ss).
3.7. Les recourants ne peuvent en revanche pas être suivis lorsqu'ils soutiennent que l'autorité précédente n'aurait arbitrairement pas tenu compte du fait qu'ils n'auraient plus touché d'aide sociale depuis 2015. Ils n'expliquent en effet pas en quoi les faits retenus par le Tribunal administratif fédéral sur ce point, qui mentionne une dépendance à l'aide sociale jusqu'au mois de février 2016, seraient insoutenables. Le recours ne répond ainsi pas aux exigences de motivation accrues de l'art. 106 al. 2 LTF et l'argumentation appellatoire des recourants concernant cet objet doit partant être écartée.
3.8. Enfin, concernant la production des dernières attestations de salaire de l'intéressée, les recourants, qui étaient de plus représentés, ne pouvaient pas ignorer que la bonne foi et le devoir de collaboration des parties (art. 13 de la loi fédérale du 20 décembre 1968 sur la procédure administrative [PA; RS 172.021]) leur imposaient de les produire spontanément. On ne saurait dans les présentes circonstances reprocher au Tribunal administratif fédéral, qui avait par ailleurs invité à de nombreuses reprises les recourants à fournir des renseignements complémentaires s'agissant notamment de leur situation financière (cf. notamment ordonnance du juge instructeur du 9 août 2019; art. 105 al. 2 LTF), d'avoir violé la maxime inquisitoire (art. 12 PA) et retenu les faits de façon arbitraire sur ce point.
4.
Les recourants se plaignent d'une violation de l'ALCP. Ils font tout d'abord valoir que le recourant doit être autorisé à rester en Suisse afin qu'il puisse terminer sa formation scolaire conformément à l'art. 3 al. 6 Annexe I ALCP.
Au vu de l'issue du litige, la question de savoir si le recourant, ressortissant portugais, âgé de 10 ans et, en principe, au début de la 6ème année HarmoS (accord intercantonal du 14 juin 2007 sur l'harmonisation de la scolarité obligatoire; RS/VD 400.98) au moment où l'arrêt attaqué a été rendu, et sa mère remplissent les conditions pour se voir octroyer une autorisation de séjour en Suisse selon cette disposition peut être laissée ouverte.
5.
5.1. L'art. 6 ALCP garantit aux personnes n'exerçant pas d'activité économique le droit de séjourner sur le territoire d'une partie contractante, conformément aux dispositions de l'Annexe I ALCP relatives aux non-actifs (art. 24 Annexe I ALCP). L'art. 24 par. 1 Annexe I ALCP exige notamment que l'intéressé dispose pour lui-même et les membres de sa famille de moyens financiers suffisants pour ne pas devoir faire appel à l'aide sociale pendant son séjour (let. a). Selon la jurisprudence Zhu et Chen de la Cour de justice de l'Union européenne, à laquelle le Tribunal fédéral s'est rallié, la législation européenne relative au droit de séjour, et en particulier la Directive 90/364/CEE, confère un droit de séjour de durée indéterminée au ressortissant mineur en bas âge d'un Etat membre qui est couvert par une assurance-maladie appropriée et qui est à la charge d'un parent, lui-même ressortissant d'un Etat tiers, dont les ressources sont suffisantes pour que le premier ne devienne pas une charge pour les finances publiques de l'Etat membre d'accueil. Cette pratique permet en outre au parent qui a effectivement la garde de cet enfant de séjourner avec lui dans l'Etat membre d'accueil (cf. <ref-ruling> consid. 4.1 p. 116 s.; <ref-ruling> consid. 5.1 p. 43 s.; <ref-ruling> consid. 3.3 p. 269).
L'art. 24 par. 2 Annexe I ALCP précise que les moyens financiers nécessaires sont réputés suffisants s'ils dépassent le montant en-dessous duquel les nationaux, eu égard à leur situation personnelle, peuvent prétendre à des prestations d'assistance. Selon l'art. 16 al. 1 de l'ordonnance du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses Etats membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange (OLCP; RS 142.203), tel est le cas si ces moyens dépassent les prestations d'assistance qui seraient allouées en vertu des directives "Aide sociale: concepts et normes de calcul" de la Conférence suisse des institutions d'action sociale (ci-après: normes CSIAS), à un ressortissant suisse, éventuellement aux membres de sa famille, sur demande de l'intéressé et compte tenu de sa situation personnelle. En d'autres termes, on considère que la condition de l'art. 16 al. 1 OLCP est remplie si les moyens financiers d'un citoyen suisse, dans la même situation, lui fermeraient l'accès à l'aide (<ref-ruling> consid. 4.1 p. 116 s.).
5.2. Il convient dans le présent cas d'examiner si l'autorité précédente a, à raison, retenu que la condition des moyens financiers suffisants n'était pas remplie, étant entendu qu'il n'est nullement contesté que les deux recourants sont bénéficiaires d'une assurance-maladie comme l'exige l'art. 24 par. 1 let. b Annexe I ALCP.
5.2.1. En l'occurrence, comme déjà relevé, les ressources financières mensuelles des recourants sont de 3'014.20 fr. Il faut rappeler qu'il s'agit d'un minimum qui ne prend pas en compte l'obtention de gains intermédiaires (cf. supra consid. 3.6). Sur ce point, on peut s'étonner que les recourants n'aient pas produit les indemnités compensatoires reçues. Cela étant, une telle lacune n'est pour eux, au vu de ce qui suit, pas préjudiciable.
5.2.2. L'autorité précédente a retenu des charges pour un montant de 2'781.30 fr. Ce montant comprend le loyer de 1'088 fr. les primes d'assurances maladies de 430.40 fr. pour la recourante et de 122.90 fr. pour le recourant, le forfait mensuel pour une mère avec un enfant selon les normes CSIAS, soit 1'509 fr. (cf. normes CSIAS 12/16 B.2.2, consultables sous www.csias.ch), ainsi que la déduction des subsides d'assurance-maladie de respectivement 270 fr. et 99 fr.
5.2.3. Dans un arrêt récent, le Tribunal fédéral a laissé la question ouverte de savoir si lesdits subsides devaient être pris en compte, tout en doutant que cela soit le cas. Se référant à l'arrêt <ref-ruling>, il avait alors émis l'hypothèse que les subsides d'assurance-maladie s'apparenteraient plutôt à une prestation complémentaire exclue des moyens financiers de l'art. 24 par. 1 let. a Annexe I ALCP (<ref-ruling> consid. 4.3 p. 119). Dans l'ATF <ref-ruling>, le Tribunal fédéral avait notamment examiné si le fait de prétendre à des prestations complémentaires pourrait conduire à mettre fin au séjour conformément à l'art. 24 par. 8 de l'Annexe I ALCP, faute pour l'intéressé de répondre aux exigences liées à la situation économique. Le Tribunal fédéral avait tout d'abord souligné que l'exigence des ressources suffisantes selon l'art. 24 par. 1 let. a Annexe I ALCP avait pour but d'éviter que les finances publiques du pays d'accueil ne soient excessivement grevées (consid. 3.3). Il a ensuite relevé que les prestations complémentaires ne représentaient pas des prestations sociales au sens de l'art. 4 par. 4 du règlement (CEE) n° 1408/71 du Conseil du 14 juin 1971 relatif à l'application des régimes de sécurité sociale - applicable en vertu de l'ALCP (RS 0.831.109.268.1) et faisaient partie de la sécurité sociale. Toutefois, afin de respecter l'objectif visé par l'art. 24 par. 1 let. a Annexe I ALCP susmentionné, les prestations complémentaires devaient être assimilées, du point de vue du droit de séjour, à l'aide sociale visée par cette disposition (consid. 3.7).
Les subsides de l'assurance-maladie visent à réduire les primes des assurés de condition économique modeste (art. 65 al. 1 LAMal [RS 832.10]; cf. message du Conseil fédéral du 6 novembre 1991 sur la révision de l'assurance-maladie; FF 1992 I p. 178 s.). Le financement de l'assurance-maladie est garanti par des primes individuelles, par une participation des assurés aux coûts et par des contributions des pouvoirs publics. Ces dernières sont destinées à la réduction individuelle des primes des assurés de condition économique modeste; on entend ainsi garantir la solidarité entre personnes de revenus différents. La réduction des primes, d'autant qu'elle est financée par des recettes fiscales, est en effet le corrélatif social à la prime par tête, qui ne tient pas compte de la capacité financière des assurés (message du 26 mai 2004 relatif à la modification de la loi fédérale sur l'assurance-maladie [réduction des primes] et à l'arrêté fédéral sur les subsides fédéraux dans l'assurance-maladie; FF 2004 p. 4093). Les cantons ont des interprétations fort différentes de la notion de "condition économique modeste" (FF 2004 p. 4100). La réduction des primes est calculée en principe en prenant en compte le revenu net et la fortune (cf. pour le canton de Vaud, l'art. 9 al. 2, 11 et 12 de la loi d'application vaudoise de la loi fédérale sur l'assurance-maladie du 25 juin 1996 [RS/VD 832.01], ainsi que la loi du 9 novembre 2010 sur l'harmonisation et la coordination de l'octroi des prestations sociales et d'aide à la formation et au logement cantonales vaudoises [RS/VD 850.03]).
La réduction des primes a été mise en place dans le cadre du financement de la LAMal et pour corriger les effets de la prime par tête. Sur le plan systématique, elle est intégralement liée à cette loi et appartient ainsi à la sécurité sociale. Le simple fait qu'elle vise également à venir en aide aux assurés qui sont de condition économique modeste et représentent une charge pour les finances publiques ne suffit pas à en faire une prestation d'aide sociale. En outre, à la différence des subsides de l'assurance-maladie, les prestations complémentaires ont pour but de couvrir les besoins vitaux et doivent permettre d'éviter dans la mesure du possible, le recours à l'aide sociale (art. 2 al. 1 de la loi fédérale du 6 octobre 2006 sur les prestations complémentaires à l'AVS et à l'AI [LPC; RS 831.30]; message du Conseil fédéral du 7 septembre 2005 sur la législation d'exécution concernant la réforme de la péréquation financière et de la répartition des tâches entre la Confédération et les cantons (RPT); FF 2005 p. 5833). L'étranger qui perçoit des prestations complémentaires ou de l'aide social représente ainsi une charge importante pour les finances publiques en raison de ressources financières insuffisantes pour couvrir les besoins vitaux. Dans cette optique, il est logique d'assimiler les prestations complémentaires à l'aide sociale sous l'angle de l'art. 24 par. 1 let. a Annexe I ALCP. La situation est différente pour ce qui concerne les subsides de l'assurance-maladie. Certes, ceux-ci représentent aussi une charge pour lesdites finances, toutefois, dans ce cas, les ressources déterminantes ne se calculent en principe pas au regard du minimum vital et la réduction des primes n'a pas pour but premier d'échapper à l'aide sociale. Autrement dit, un étranger peut être en mesure de couvrir ses besoins essentiels et avoir en même temps un revenu qui lui donne accès aux subsides d'assurance-maladie. Enfin, considérer que les subsides de l'assurance-maladie devraient être assimilés à de l'aide sociale au sens de l'art. 24 par. 1 let. a et 2 Annexe I ALCP conduirait à pouvoir en principe révoquer l'autorisation d'un étranger titulaire d'une autorisation de séjour basée sur cette disposition, en application de l'art. 24 par. 8 de l'Annexe I ALCP, par le simple fait qu'il prétende à pouvoir bénéficier de subsides de l'assurance-maladie. En effet, la perception de telles prestations indiquerait que ses ressources ne sont plus suffisantes pour qu'il ne devienne pas une charge sur les finances publiques. Un tel résultat serait disproportionné aussi bien en cas de révocation, que de refus de prolongation d'autorisation. Au surplus, les cantons jouissant d'une grande liberté dans l'aménagement de la réduction des primes (cf. <ref-ruling> consid. 3.2 p. 34), l'assimilation des subsides de l'assurance-maladie à de l'aide sociale pourrait conduire à des différences de traitement difficilement justifiables selon les limites cantonales.
Sur le vu de ce qui précède, les subsides de l'assurance-maladie doivent être pris en comptes dans le calcul des ressources suffisantes, comme le prévoit d'ailleurs les normes CSIAS (normes 12/15 B.5 p. 2).
5.2.4. Dans le présent cas, la prise en compte des réductions de prime conduit à un total de charges de 2'781.30 et à un solde disponible de 232.90 fr. (3'014.20 fr. - 2'781.30 fr.). Le revenu mensuel des recourants couvre ainsi leurs besoins de base, ce qui leur ferme l'accès à l'aide sociale (cf. norme CSIAS 12/16 A.6 p. 2). L'autorité précédente a ainsi retenu à tort que les recourants ne disposaient pas des moyens financiers suffisants au sens de l'art. 24 par. 1 let. a Annexe I ALCP. Par ailleurs, le fait que les intéressés n'ont plus bénéficié de l'aide sociale depuis février 2016, soit durant l'essentiel de la période où la recourante a vécu séparée de son époux, que les actes de défaut de biens mentionnés par l'autorité précédente sont antérieurs à 2016 (art. 105 al. 2 LTF) et que la recourante a décroché un emploi fixe confortent le caractère suffisant des ressources.
6.
Au vu de ce qui précède, le recours doit être admis et l'arrêt du Tribunal administratif fédéral du 11 novembre 2019 annulé. L'autorisation de séjour de la recourante est approuvée. La cause sera renvoyée au Service de la population pour l'octroi d'une autorisation de séjour UE/AELE à la recourante (droit à une telle autorisation dérivé du droit du recourant à séjourner en Suisse fondé sur l'art. 6 ALCP, en lien avec l'art. 24 Annexe I ALCP).
7.
Il n'est pas perçu de frais judiciaires (art. 66 al. 4 LTF). Succombant, le SEM est condamné à payer une indemnité de dépens en mains du Centre social protestant-Vaud (art. 68 al. 1 et 2 LTF; art. 9 du règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral [RS 173.110.210.3]; cf. arrêt 2C_693/2019 du 21 janvier 2020 consid. 5). La demande d'assistance judiciaire devient donc sans objet.
La cause est renvoyée au Tribunal administratif fédéral pour qu'il procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (art. 67 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, dans la mesure où il est recevable. L'arrêt rendu le 11 novembre 2019 par le Tribunal administratif fédéral est annulé.
2.
La cause est renvoyée au Service de la population du canton de Vaud pour qu'il décerne une autorisation de séjour UE/AELE à la recourante.
3.
La cause est renvoyée au Tribunal administratif fédéral pour nouvelle décision sur les frais et dépens de la procédure devant lui.
4.
Il n'est pas perçu de frais judiciaires.
5.
Une indemnité de dépens, arrêtée à 2'000 fr., est allouée au Centre social protestant-Vaud pour le compte des recourants à charge du Secrétariat d'Etat aux migrations.
6.
Le présent arrêt est communiqué au représentant des recourants, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour VI, et au Service de la population du canton de Vaud.
Lausanne, le 8 juillet 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier