Faits :
A.
A.a. Ressortissante kosovare née en 1981, A._ a été mise au bénéfice d'une autorisation de séjour à la suite de son mariage en 2003 avec un compatriote, B._, né en 1969 et titulaire d'une autorisation d'établissement en Suisse (art. 105 al. 2 LTF).
De cette union sont nés deux enfants, C._, le 9 mai 2003, et D._, le 9 décembre 2005, qui ont à l'heure actuelle la nationalité suisse.
En février 2006, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a signalé à A._ qu'il envisageait de refuser le renouvellement de son autorisation de séjour, car elle dépendait de l'aide sociale. L'autorisation a finalement été renouvelée.
Début 2007, le couple s'est séparé. Par mesures protectrices de l'union conjugale du 11 juillet 2007, la garde des enfants a été confiée au père, la mère se voyant octroyer un libre droit de visite.
Le 10 février 2009, le Service cantonal s'est déclaré favorable à la poursuite du séjour en Suisse de A._. Par décision du 15 octobre 2009, le Secrétariat d'Etat aux migrations (à cette époque: l'Office fédéral des migrations) a approuvé la prolongation de l'autorisation de séjour, mais en a limité les effets au 11 octobre 2010.
Le divorce de B._ et A._ a été prononcé le 29 octobre 2010. L'autorité parentale, ainsi que la garde des enfants, ont été confiées au père. A._ s'est vue reconnaître un droit de visite par l'intermédiaire d'un point rencontre, à raison de deux fois par mois pour une durée maximale de trois heures. Elle a par ailleurs été condamnée au versement d'une contribution d'entretien en faveur de ses enfants.
Le 9 juin 2014, le Service cantonal, tout en relevant que A._ avait perçu, depuis le mois de juillet 2007, des prestations sociales pour un montant total de 83'127 fr. 20 et en rendant attentive celle-ci au risque de perte du titre de séjour pour ce motif, s'est déclaré favorable à la poursuite du séjour en Suisse. Par décision du 20 juin 2014, le Secrétariat d'Etat aux migrations a limité son approbation au 1 er janvier 2016.
Le 8 juillet 2014, le droit de visite de A._ sur ses deux enfants a été élargi à raison d'un samedi sur deux. Par décision du 11 août 2015, la Justice de paix du district de l'Ouest Lausannois a modifié le jugement de divorce et accordé à A._ un libre et large droit de visite sur ses enfants.
A.b. A._ s'est remariée en 2014, avec un compatriote qui ne possédait pas d'autorisation de séjour. Le couple s'est séparé fin août 2015. Des mesures protectrices de l'union conjugale ont été prononcées le 11 mars 2016.
Le 29 avril 2016, A._ a donné naissance à une fille, E._. Après qu'une action en désaveu de paternité a été introduite, A._ a confirmé que son ex-époux n'était pas le père. Elle a expliqué en 2017 au Service cantonal vivre seule avec E._.
A.c. Le 10 mai 2017, le Service cantonal a à nouveau transmis le dossier de A._ au Secrétariat d'Etat aux migrations pour qu'il approuve la prolongation de l'autorisation de séjour. Celui-ci a donné son approbation le 15 mai 2017, en la limitant au 1er janvier 2018.
A.d. Le 12 avril 2018, un Tribunal civil a approuvé une convention entre A._ et B._ prévoyant l'exercice conjoint de l'autorité parentale sur leurs enfants C._ et D._.
A.e. A._ a été condamnée le 7 juillet 2009 à une amende de 400 fr. pour conduite d'un véhicule sans être titulaire d'un permis de conduire; le 9 décembre 2013 à une peine pécuniaire de 80 jours-amende à 40 fr. le jour, avec sursis pendant deux ans, et à une amende de 640 fr. pour conduite d'un véhicule sans le permis requis; le 7 juillet 2014 à une peine pécuniaire de 15 jours-amende à 30 fr. le jour, avec sursis pendant deux ans, et à une amende de 300 fr., pour violation des règles de la circulation routière et conduite d'un véhicule sans le permis requis et le 14 octobre 2016 à une peine privative de liberté de 60 jours pour vol d'un véhicule automobile et conduite d'un véhicule automobile sans le permis requis. Le 28 septembre 2018, elle a été condamnée à une peine pécuniaire de 30 jours-amende à 40 fr. le jour pour incitation à l'entrée, à la sortie ou au séjour illégal.
B.
B.a. Le 12 octobre 2018, le Service cantonal a été informé que A._ avait touché à ce jour un montant global d'assistance sociale de 308'467 fr. 50.
B.b. Le 9 novembre 2018, le Service cantonal a transmis le dossier de A._ au Secrétariat d'Etat aux migrations pour approbation de la prolongation de l'autorisation de séjour. Le 14 novembre 2018, celui-ci a demandé des précisions au sujet de la situation familiale. A._ a invoqué les relations avec ses enfants aînés. Son ex-mari a témoigné qu'elle était une mère exemplaire.
B.c. Par courrier du 11 mars 2019, le Service cantonal a fait savoir à A._ qu'il demeurait favorable à la poursuite de son séjour en Suisse, tout en l'invitant à tout entreprendre pour retrouver son autonomie financière et en réservant l'approbation du Secrétariat d'Etat aux migrations.
B.d. Selon un décompte chronologique en matière d'aide sociale, A._ a touché du mois de janvier 2006 au mois d'août 2019 des prestations d'assistance pour un montant de 229'207 fr. 55.
Par décision du 2 septembre 2019, le Secrétariat d'Etat aux migrations a refusé de donner son approbation à la prolongation de l'autorisation de séjour et a prononcé le renvoi de Suisse de A._.
Par arrêt du 5 novembre 2020, le Tribunal administratif fédéral a rejeté le recours formé par A._ contre ce prononcé.
C.
Contre l'arrêt du 5 novembre 2020, A._ forme un recours en matière de droit public au Tribunal fédéral. Outre à l'octroi de l'effet suspensif, elle conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et à l'octroi d'une autorisation de séjour en Suisse.
Par ordonnance du 17 décembre 2020, la Juge présidant de la IIe Cour de droit public du Tribunal fédéral a accordé l'effet suspensif.
Le Secrétariat d'Etat aux migrations conclut au rejet du recours. Le Tribunal administratif fédéral, tout en relevant une évolution dans la situation personnelle et professionnelle de l'intéressée, renonce à prendre position sur le recours.
Le 21 avril 2021, A._ a adressé un courrier au Tribunal fédéral dans lequel elle indique ne plus dépendre de l'aide sociale, à la suite de l'obtention de prestations complémentaires pour familles.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement remplies relève du fond (<ref-ruling> consid. 1.1).
En l'occurrence, ayant été mariée avec le titulaire d'une autorisation d'établissement, la recourante se prévaut de manière soutenable d'un droit à une autorisation de séjour fondé sur l'art. 50 LEI (RS 142.20), qui régit la poursuite du séjour en Suisse après la dissolution de l'union. En outre, la relation de la recourante avec ses deux enfants de nationalité suisse et encore mineurs au moment où le Tribunal fédéral statue est également susceptible de lui conférer, en vertu de la garantie de la protection de la vie familiale de l'art. 8 CEDH, un droit potentiel à la poursuite du séjour en Suisse, qui ouvre la voie du recours en matière de droit public (<ref-ruling> consid. 2). Enfin, comme elle séjourne légalement en Suisse depuis plus de dix ans, la recourante peut, sur le principe, déduire un droit de séjour de l'art. 8 CEDH sous l'angle de la vie privée (<ref-ruling> consid. 3.9). Le recours échappe ainsi à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF.
1.2. Le recours, dirigé contre une décision finale (art. 90 LTF) rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF), a par ailleurs été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par la destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
2.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (art. 105 al. 1 LTF), hormis dans les cas prévus à l'art. 105 al. 2 LTF. Aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF). La partie recourante ne peut pas alléguer des faits ou produire des moyens de preuve qu'elle a omis d'alléguer ou de produire auparavant (<ref-ruling> consid. 1.2; <ref-ruling> consid. 4.4.3). Le Tribunal fédéral ne peut en outre pas tenir compte de faits ou moyens de preuve survenus postérieurement au prononcé de la décision entreprise, c'est-à-dire des véritables nova (<ref-ruling> consid. 1.2; <ref-ruling> consid. 3.1.2).
2.2. La recourante a produit avec son recours un contrat de travail daté du 11 novembre 2020 et portant sur huit heures de ménage mensuels, ainsi qu'un contrat de travail pour deux heures hebdomadaires de ménage à compter du 1er janvier 2021. La Cour de céans ne peut pas tenir compte de ces pièces, car elles sont postérieures à l'arrêt attaqué. Pour le même motif, la Cour de céans ne peut pas prendre en considération la lettre de l'ex-mari jointe au recours, non datée, mais se référant à un entretien du 19 novembre 2020, ni le fait que la fille aînée de la recourante a pris domicile chez elle.
2.3. Quant aux informations contenues dans le courrier du 21 avril 2021, elles ne peuvent absolument pas être prises en compte, dès lors qu'il s'agit de véritables nova, qui plus est alléguées après le délai de recours. Il est rappelé à la recourante que les faits nouveaux sont à faire valoir dans le cadre de demandes de reconsidération ou de nouvelles demandes d'autorisation, à supposer que les conditions à de telles requêtes soient remplies (cf. arrêt 2C_730/2018 du 20 mars 2019 consid. 2.3.2).
3.
Se fondant sur l'art. 97 al. 1 LTF et l'art. 105 al. 2 LTF, la recourante estime que l'état de fait doit être corrigé et complété sur plusieurs points.
3.1. Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2; <ref-ruling> consid. 6; <ref-ruling> consid. 1.6). Conformément à l'art. 106 al. 2 LTF, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1).
3.2. Il y a arbitraire (art. 9 Cst.) dans l'établissement des faits ou l'appréciation des preuves si l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, elle a fait des déductions insoutenables (ATF <ref-ruling> consid. 6).
3.3.
3.3.1. La recourante reproche en premier lieu au Tribunal administratif fédéral de ne pas avoir précisé la nature de l'agression qu'elle a subie le 1er novembre 2009. Or, la recourante expose que cette agression avait été extrêmement grave; l'auteur avait été reconnu coupable le 8 février 2019 de lésions corporelles graves, dommage à la propriété, menaces, contrainte, violation de domicile et tentative de viol. Elle avait obtenu une indemnité pour tort moral de 11'000 fr. Citant plusieurs extraits du jugement pénal, la recourante considère qu'il est essentiel de tenir compte de ces éléments au moment d'examiner si elle a entrepris les efforts que l'on pouvait attendre d'elle pour trouver un emploi.
3.3.2. Le Tribunal administratif fédéral a mentionné que la recourante avait été victime d'une agression le 1er novembre 2009 et mise en incapacité totale de travail à la suite de cet événement. Il a relevé qu'en octobre 2010, la recourante était encore en incapacité de travail à 80% et que cet arrêt a été prolongé à tout le moins jusqu'au 31 janvier 2011. Il n'a effectivement rien ajouté s'agissant de la nature et du contexte de l'agression.
3.3.3. La recourante n'indique toutefois pas que les faits décrits dans son recours auraient été allégués devant le Tribunal administratif fédéral, ni ne précise où figure au dossier le jugement pénal dont elle cite des extraits. Dans ces conditions, on peut se demander s'il ne s'agit pas de faits nouveaux, que le Tribunal fédéral ne peut pas prendre en compte si la recourante a omis sans raison de les alléguer devant l'autorité précédente (cf. art. 99 al. 1 LTF; cf. supra consid. 2.1).
Quoi qu'il en soit, ce qui est déterminant pour l'issue du litige est de connaître les périodes auxquelles la recourante était en incapacité de travail en raison de cette agression, puisqu'on ne peut lui reprocher durant ces périodes de ne pas avoir fourni les efforts attendus pour trouver un emploi. Or, l'arrêt du Tribunal administratif fédéral contient cette information. L'état de fait n'est donc pas manifestement inexact.
3.4. La recourante demande que l'état de fait soit complété avec l'indication qu'elle a déposé une procédure en janvier 2017, afin d'obtenir la garde de ses enfants. Cet élément serait essentiel selon elle pour apprécier le courrier peu favorable à son égard de son ex-mari de février 2017.
Le Tribunal administratif fédéral a noté qu'il résultait dudit courrier que la recourante n'avait jamais payé les contributions d'entretien dues à ses enfants. La Cour de céans relève que ce fait n'est pas contesté et qu'on ne voit pas en quoi mentionner que la recourante a introduit une procédure en janvier 2017 pour obtenir la garde modifierait cet élément.
3.5. La recourante reproche au Tribunal administratif fédéral de ne pas avoir fait référence à l'évaluation du Service de la protection de la jeunesse du 15 août 2015 estimant qu'elle entretenait avec ses enfants d'excellentes relations, ainsi que de ne pas avoir mentionné que la convention du 16 février 2018 par laquelle elle avait obtenu l'autorité parentale conjointe sur ses deux enfants aînés avait aussi prévu un élargissement du droit de visite (un week-end sur deux, moitié des vacances scolaires, un week-end supplémentaire tous les deux mois). Elle considère aussi que les précédents juges n'ont à tort pas pris en compte son propre témoignage du 3 décembre 2018 indiquant que ses enfants étaient très proches d'elle et de leur demi-soeur, ainsi qu'une lettre de sa fille aînée, témoignant d'une relation très proche, tant avec elle-même qu'avec la petite E._.
Le Tribunal administratif fédéral a noté que la recourante était au bénéfice d'un libre et large droit de visite sur ses enfants depuis août 2015. Il a en outre retenu qu'il existait une relation affective étroite entre la recourante et ses enfants. Il a donc admis le lien fort allégué et on ne voit pas ce que la retranscription de la décision du 15 août 2015, de la convention du 16 février 2018 ou encore du propre témoignage de la recourante apporteraient de plus. La recourante ne l'explique d'ailleurs pas. Par ailleurs, la relation entre la fille aînée et sa demi-soeur n'est pas propre à influencer le droit de séjour de la recourante (cf. infra consid. 6.7). Il n'était donc pas arbitraire de ne pas faire état de ces éventuels liens dans l'arrêt attaqué.
3.6. La recourante considère que le montant d'aide sociale n'a pas été établi de manière précise au 8 mars 2017 et au 12 octobre 2018, car les relevés à ces dates, indiquant plus de 250'000 fr., respectivement plus de 300'000 fr. d'aide sociale, ne tiendraient pas compte du fait qu'entre 1999 et 2005, la dette sociale, d'environ 130'000 fr., était imputable à son ex-mari.
Le Tribunal administratif fédéral a fait état de plusieurs montants d'aide sociale alloués à la recourante, selon les relevés fournis au cours des années. Toutefois, en dernier lieu, il a mentionné un décompte transmis le 7 août 2019 par le Service cantonal indiquant que, du mois de janvier 2006 au mois d'août 2019, la recourante a touché un montant d'aide sociale de 229'207 fr. 55. Ce montant n'est pas contesté. Une précision au sujet des décomptes précédents n'aurait donc aucune portée. La recourante ne démontre pas le contraire.
3.7. La recourante reproche au Tribunal administratif fédéral d'avoir nié qu'elle ait rencontré des difficultés dans ses recherches d'emploi du fait de la procédure de renouvellement de l'autorisation de séjour.
3.7.1. Le Tribunal administratif fédéral a considéré que l'attente du renouvellement de l'autorisation de séjour n'avait pas causé de tort à la recourante, car elle pouvait se prévaloir d'une autorisation temporaire de travailler durant cette période.
3.7.2. La recourante conteste cette appréciation en citant un courrier de l'Office de la population de sa commune de domicile indiquant qu'un employeur aurait refusé une "attestation de renouvellement de l'autorisation", ainsi qu'un courrier du Centre social régional, dans lequel l'assistante sociale fait état d'un risque de perte d'emploi si l'autorisation n'est pas renouvelée.
3.7.3. Sur le vu de ces courriers, on ne peut nier que la procédure en cours a pu jouer un rôle dans les recherches d'emploi de la recourante. Toutefois, ces courriers ne remettent pas en cause la constatation que la recourante pouvait se prévaloir d'une autorisation temporaire de travailler et n'établissent pas que la recourante aurait effectivement perdu un emploi du fait de la procédure en cours, seul un risque étant évoqué. Dès lors que la recourante était en droit de travailler, la conclusion selon laquelle la procédure en cours ne l'a pas lésée n'est pas insoutenable.
3.8. La recourante fait grief aux précédents juges de ne pas avoir retenu que son ex-mari avait indiqué dans un courrier du 30 novembre 2018 que "de temps en temps, elle achet[ait] pour les deux [enfants] des vêtements et les chaussures".
La recourante ne conteste pas ne jamais avoir versé les contributions d'entretien auxquelles elle était astreinte. Dans ces conditions, le fait qu'elle ait éventuellement effectué quelques achats en faveur de ses enfants ne démontrerait pas l'arbitraire de l'appréciation du Tribunal administratif fédéral selon laquelle l'exigence d'un lien économique fort n'est pas remplie (cf. infra consid. 6.5.2). Le fait allégué n'a donc pas d'incidence sur l'issue de litige et n'a, pour ce motif, pas à être pris en compte (art. 97 al. 1 LTF in fine).
3.9. La recourante fait enfin grief aux précédents juges de ne pas avoir pris en compte les six lettres de soutien en sa faveur versées au dossier, qui seraient très importantes au moment de juger de son intégration et de sa vie sociale en Suisse.
Il n'est pas démontré que ces lettres de soutien seraient susceptibles de modifier la décision entreprise et on ne voit pas que tel soit le cas. Le Tribunal administratif fédéral n'a donc pas versé dans l'arbitraire en ne les citant pas.
3.10. En définitive, sur le vu de ce qui précède, les griefs en lien avec l'établissement des faits et l'appréciation des preuves sont tous rejetés. Dans ce qui suit, le Tribunal fédéral se fondera exclusivement sur les faits retenus dans l'arrêt attaqué.
4.
Le Tribunal administratif fédéral a retenu que la recourante réalisait le motif de révocation de la dépendance à l'aide sociale, prévu à l'art. 62 al. 1 let. e LEI, de sorte que le droit de séjour découlant de l'art. 50 LEI était éteint en application de l'art. 51 al. 2 let. b LEI. Il a en outre considéré que le refus d'approuver la prolongation de l'autorisation de séjour respectait le principe de proportionnalité exprimé à l'art. 96 LEI, ainsi qu'à l'art. 8 par. 2 CEDH.
5.
La recourante se prévaut de l'art. 50 LEI et fait grief au Tribunal administratif fédéral d'avoir retenu que le motif de révocation de l'art. 62 al. 1 let. e LEI était réalisé. Les précédents juges se seraient fondés uniquement sur une analyse des éléments passés, sans poser un pronostic pour le futur.
5.1. Selon l'art. 50 al. 1 LEI, après dissolution de la famille, le droit du conjoint notamment à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste si l'union conjugale a duré au moins trois ans et les critères d'intégration définis à l'art. 58a sont remplis (let. a) ou si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures (let. b). Les raisons personnelles majeures visées à l'al. 1, let. b, sont notamment données lorsque le conjoint est victime de violence conjugale, que le mariage a été conclu en violation de la libre volonté d'un des époux ou que la réintégration sociale dans le pays de provenance semble fortement compromise (art. 50 al. 2 LEI).
5.2. En l'espèce, la recourante a épousé en juin 2003 B._, qui était titulaire d'une autorisation d'établissement. Le couple s'est séparé au début de l'année 2007. La recourante s'est remariée le 6 février 2014, avec un compatriote qui ne possédait pas d'autorisation de séjour. Le couple s'est séparé fin 2015. Comme le second mari de la recourante ne possédait pas de titre de séjour, cette deuxième union n'a pas eu pour effet de faire naître un nouveau droit de séjour en faveur de la recourante déduit de l'autorisation du nouveau conjoint (art. 42 et 43 LEI, cf., sur ce cas de figure, <ref-ruling> consid. 3.6). L'art. 50 LEI en lien avec la première union de la recourante est donc a priori la disposition qui entre en ligne de compte. Toutefois, en présence d'un motif de révocation au sens notamment de l'art. 62 LEI, les droits prévus à l'art. 50 LEI s'éteignent (art. 51 al. 1 let. b LEI). Il convient donc en premier lieu d'examiner si un tel motif existe, ce que la recourante conteste.
5.3. Selon l'art. 62 al. 1 let. e LEI, l'autorité compétente peut révoquer l'autorisation de séjour lorsque l'étranger lui-même ou une personne dont il a la charge dépend de l'aide sociale.
Ce motif de révocation est rempli lorsqu'il existe un risque concret de dépendance à l'aide sociale. De simples préoccupations financières ne suffisent pas. Pour évaluer ce risque, il faut non seulement tenir compte des circonstances actuelles, mais aussi considérer l'évolution financière probable à plus long terme (<ref-ruling> consid. 3.9), compte tenu des capacités financières de tous les membres de la famille. Une révocation entre en considération lorsqu'une personne a reçu des aides financières élevées et qu'on ne peut s'attendre à ce qu'elle puisse pourvoir à son entretien dans le futur (arrêts 2C_984/2018 du 7 avril 2020 consid. 5.2; 2C_633/2018 du 13 février 2019 consid. 6.2). La question de savoir si et dans quelle mesure la personne dépend de l'aide sociale par sa faute ne concerne pas le motif de révocation, mais est un critère entrant en considération au stade de l'examen de la proportionnalité de la mesure (arrêts 2C_423/2020 du 26 août 2020 consid. 3.2; 2C_837/2017 du 15 juin 2018 consid. 6.2).
5.4. En l'occurrence, il résulte de l'arrêt attaqué que la recourante a perçu entre juillet 2007 et le 7 août 2019 un montant d'aide sociale de près de 230'000 fr. Selon les derniers décomptes datant de septembre 2020, le montant mensuel de revenu d'insertion s'élevait toujours à 3'535 fr. Selon l'arrêt attaqué, la recourante n'a en outre quasi jamais cessé de percevoir l'aide sociale, y compris lors de périodes d'emploi.
Il ressort de ces constats que la recourante perçoit depuis de nombreuses années en continu ou presque l'aide sociale et que le montant versé à ce titre est élevé. Dans ces circonstances, on ne voit pas comment un pronostic favorable pour le futur pourrait être émis. Certes, la recourante soutient qu'une fois au bénéfice d'un titre de séjour ordinaire, elle pourra trouver un emploi stable. Elle prétend aussi que la situation a changé, car sa dernière fille E._, née en 2016, est maintenant plus grande et peut être gardée. La recourante est toutefois depuis 2005 sans discontinuer au bénéfice de titres de séjour, sans que cela n'ait joué de rôle dans son insertion sur le marché du travail. Elle a en outre été dépendante de l'aide sociale avant la naissance de E._ et durant des périodes auxquelles elle n'avait pas à s'occuper de ses deux enfants aînés, puisqu'ils étaient sous la garde de leur père. Partant, l'appréciation des juges précédents selon laquelle la dépendance à l'aide sociale se prolongera, à tout le moins partiellement, ne prête pas le flanc à la critique.
5.5. Il découle de ce qui précède que le Tribunal administratif fédéral n'a pas méconnu le droit fédéral en considérant que le motif de révocation de l'art. 62 al. 1 let. e LEI était réalisé. Il s'ensuit que la recourante ne peut pas prétendre à la poursuite de son séjour en Suisse sur le fondement de l'art. 50 LEI, conformément à l'art. 51 al. 2 let. b LEI.
6.
Seul reste l'art. 8 CEDH invoqué par la recourante, qui fait valoir en particulier les relations avec ses enfants de nationalité suisse et soutient que le refus d'approbation à la prolongation de son autorisation de séjour est disproportionné.
6.1. Compte tenu de son séjour légal de plus de dix ans en Suisse, ainsi que de sa relation qualifiée d'étroite avec ses deux enfants mineurs de nationalité suisse, la recourante peut se prévaloir de l'art. 8 CEDH tant sous l'angle de la vie privée (<ref-ruling> consid. 3.9) que familiale (<ref-ruling> consid. 4.2). Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui.
6.2. De jurisprudence constante, la question de la proportionnalité doit être tranchée au regard de toutes les circonstances du cas d'espèce, dont, notamment, la gravité de l'éventuelle faute commise par l'étranger, le degré de son intégration, la durée du séjour en Suisse, le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (cf. <ref-ruling> consid. 2.2.1; <ref-ruling> consid. 4.3), ainsi que la part de responsabilité qui lui est imputable s'agissant de son éventuelle dépendance à l'aide sociale (arrêt 2C_452/2020 du 14 octobre 2020 consid. 3.2 et les arrêts cités). L'intérêt public à la révocation du titre de séjour d'étrangers dépendant de l'aide sociale consiste avant tout à éviter que ces personnes continuent d'être à la charge de la collectivité publique à l'avenir (arrêt 2C_193/2020 du 18 août 2020 consid. 4.1).
6.3. Selon la jurisprudence, lorsque le parent étranger n'a pas l'autorité parentale ni la garde ou a l'autorité parentale conjointe, mais sans la garde, d'un enfant mineur disposant d'un droit durable de résider en Suisse et ne dispose ainsi que d'un droit de visite sur son enfant habilité à résider en Suisse, il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer ce droit de visite, ce parent soit habilité à résider durablement dans le même pays que son enfant (cf. <ref-ruling> consid. 5.1; <ref-ruling> consid. 3.2). Sous l'angle du droit à une vie familiale (cf. art. 8 par. 1 CEDH et 13 al. 1 Cst.), il suffit en règle générale que le parent exerce son droit de visite dans le cadre de séjours brefs, au besoin en aménageant ses modalités quant à la fréquence et à la durée ou par le biais de moyens de communication modernes (cf. <ref-ruling> consid. 2.2). Le droit de visite d'un parent sur son enfant ne doit en effet pas nécessairement s'exercer à un rythme bimensuel et peut également être organisé de manière à être compatible avec des séjours dans des pays différents (cf. <ref-ruling> consid. 5.3 et 5.4 et les références citées, notamment au droit civil; <ref-ruling> consid. 3.2).
Un droit plus étendu ne peut le cas échéant exister qu'en présence 1) de relations étroites et effectives avec l'enfant d'un point de vue affectif et 2) d'un point de vue économique, 3) de l'impossibilité pratique à maintenir la relation en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent et 4) d'un comportement irréprochable (cf. <ref-ruling> consid. 5.2). Ces exigences doivent être appréciées ensemble et faire l'objet d'une pesée des intérêts globale (<ref-ruling> consid. 5.2). Dans le cadre de l'examen de la proportionnalité de la mesure (cf. art. 8 par. 2 CEDH), il faut aussi tenir compte de l'intérêt fondamental de l'enfant (art. 3 de la Convention relative aux droits de l'enfant [CDE; RS 0.107]) à pouvoir grandir en jouissant d'un contact étroit avec ses deux parents (<ref-ruling> consid. 5.2).
Lorsque le parent étranger qui n'a pas la garde possédait déjà une autorisation de séjour en raison d'une communauté conjugale avec une personne de nationalité suisse ou titulaire d'une autorisation d'établissement entre-temps dissoute - comme c'est le cas de la recourante en l'espèce - le lien affectif particulièrement fort est tenu pour établi lorsque les contacts personnels sont effectivement exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui (cf. <ref-ruling> consid. 5.2.1 [en Suisse romande, il s'agit d'un droit de visite d'un week-end toutes les deux semaines et durant la moitié des vacances]; <ref-ruling> consid. 2.3).
Le lien économique est particulièrement fort lorsque l'étranger verse effectivement à l'enfant des prestations financières dans la mesure décidée par les instances judiciaires civiles (<ref-ruling> consid. 5.2.2; <ref-ruling> consid. 3.2). La contribution à l'entretien peut également avoir lieu en nature, en particulier en cas de garde alternée (<ref-ruling> consid. 5.2.2; <ref-ruling> consid. 6.3.5). Les exigences relatives à l'étendue de la relation que l'étranger doit entretenir avec son enfant d'un point de vue affectif et économique doivent rester dans l'ordre du possible et du raisonnable (<ref-ruling> consid. 5.2.2). Il y a lieu également de tenir compte des décisions des autorités civiles réduisant ou supprimant l'obligation de verser une pension alimentaire et de l'importance des prestations en nature consenties en faveur de l'enfant, l'exercice d'un droit de visite équivalant à une quasi garde alternée confirmant sous l'angle des prestations en nature l'existence de liens économiques étroits (<ref-ruling> consid. 5.2.2).
La possibilité d'exercer le droit de visite depuis le pays d'origine, pour éviter qu'il ne s'agisse que d'une possibilité théorique, doit être examinée concrètement et notamment tenir compte de l'âge des intéressés, des moyens financiers, des techniques de communication et des types de transport à disposition ainsi que de la distance entre les lieux de résidence: l'impossibilité pratique à maintenir la relation sera tenue pour réalisée si le pays de l'étranger qui bénéficie d'un droit de visite est très éloigné de la Suisse (<ref-ruling> consid. 5.2.3).
Enfin, le comportement n'est notamment pas irréprochable lorsque la personne concernée reçoit ou a reçu des prestations d'aide sociale pendant une période prolongée, sans que cela soit excusable (cf. arrêts 2C_870/2018 du 13 mai 2019 consid. 4.3; 2C_522/2015 du 12 mai 2016 consid. 4.4.1).
6.4. En l'occurrence, pour pondérer les intérêts en présence, il convient en premier lieu, sur le vu des conditions susmentionnées, de déterminer dans quelle mesure la dépendance de la recourante à l'aide sociale peut lui être reprochée.
La recourante a accumulé une dette sociale de plus de 220'000 fr. de 2007 à 2019. Selon l'arrêt attaqué, la recourante a travaillé trois ou quatre mois fin 2004, cinq mois en 2008, deux mois en 2009, sept mois en 2011 (juin à septembre à 100%, puis à 50%), quatre mois en 2012 (janvier à 50%, février à avril à 100%) et un ou deux mois en 2013. Elle a suivi une formation de styliste ongulaire jusqu'à la fin de l'année 2013 et s'est mise à son compte en février 2014. Elle a travaillé quatre mois en 2015 en qualité de serveuse. Cumulées, les périodes d'emploi dépendant totalisent ainsi entre 2004 et 2015 environ moins de deux ans et demi. On ignore combien de temps l'activité indépendante débutée en 2014 a duré, mais, selon l'arrêt attaqué, la recourante a eu besoin pratiquement sans discontinuer de l'aide sociale, soit y compris lorsqu'elle réalisait des revenus.
De 2016 à 2020, la recourante a travaillé un mois et demi en 2018 (stage de quinze jours puis emploi de secrétaire pendant un mois), un mois en 2019 (stage) et quatre mois en 2020 (deux stages, un de trois mois et un d'un mois), soit un total d'environ six mois sur une période de quatre ans. En résumé, la recourante a travaillé en tout et pour tout moins de quatre ans en quelque quinze ans de séjour en Suisse.
On doit admettre que certaines périodes d'inactivité professionnelle s'expliquent et rendent la dépendance à l'aide sociale excusable. Ainsi, selon l'arrêt attaqué, la recourante a été en incapacité de travail totale ou à 80% du 1er novembre 2009 au 31 janvier 2011, puis d'avril 2015 à avril 2016 et du 4 août 2016 jusqu'au 31 août 2016. Par ailleurs, le 29 avril 2016, la recourante a donné naissance à son troisième enfant, E._. Elle a été en congé maternité jusqu'en août 2016. D'après l'arrêt entrepris, en 2017, elle a dû mettre un terme à un contrat de durée déterminée, car elle n'avait pas de solution de garde pour sa fille, avec laquelle elle a indiqué vivre seule.
Cela étant, les incapacités de travail n'expliquent pas entièrement l'absence d'intégration professionnelle entre 2004 et 2016. On doit noter à cet égard qu'une demande de prestations d'assurance-invalidité a été rejetée en 2016 selon l'arrêt attaqué. Il n'apparaît en outre pas que la recourante ait entrepris des efforts durant ces années pour se former ou se reconvertir, hormis la brève expérience de styliste ongulaire, qui n'a en tout état pas été poursuivie et ce sans raison apparente.
De même, la recourante ne peut pas entièrement se dédouaner de toute responsabilité dans sa dépendance à l'aide sociale après la naissance de sa dernière fille en 2016. En effet, selon la jurisprudence en droit des étrangers, une 11]11]mère 11]11]célibataire doit, au plus tard lorsque son enfant a atteint l'âge de trois ans, faire tous les efforts nécessaires pour subvenir aux besoins de la famille (11]11]cf. arrêts 11]11]2C_775/11]11]2017 11]11]du 11]11]2811]11] mars 11]11]2018 11]11]consid. 4.2.2; 11]11]2C_1228/11]11]2012 11]11]du 11]11]2011]11] juin 11]11]2013 consid. 5.4; vaut aussi pour les couples avec une répartition traditionnelle des rôles: arrêt 2C_423/2020 du 26 août 2020 consid. 4.2.1 et les arrêts cités). La fille de la recourante a eu trois ans le 29 avril 2019. La recourante a été mise au bénéfice d'un arrêt de travail du 9 mai 2019 au 28 juillet 2019. Elle n'a pas retrouvé une indépendance financière, même partielle, par la suite. Elle a effectué des stages en 2019 et 2020, sur une période totale de cinq mois, ce qui est louable. Ces efforts n'ont toutefois pas abouti à un engagement pour un poste fixe de durée indéterminée et sont surtout tardifs si l'on considère que la recourante séjourne légalement en Suisse depuis 2004. Il ne faut enfin pas perdre de vue que la recourante a été régulièrement avertie par le Service cantonal, depuis 2006, qu'elle devait améliorer sa situation financière.
Sur le vu de l'ensemble de ces circonstances, la conclusion du Tribunal administratif fédéral selon laquelle la dépendance à l'aide sociale est imputable à la recourante n'est pas critiquable. C'est à l'aune de ce constat qu'il faut examiner les quatre conditions pour envisager la poursuite du séjour en Suisse de la recourante en raison de la relation avec ses enfants aînés (consid. 6.5) et procéder à une pesée générale des intérêts (consid. 6.6).
6.5.
6.5.1. Comme la dépendance à l'aide sociale est imputable à la recourante, celle-ci ne peut pas se prévaloir d'un comportement irréprochable pour prétendre à demeurer en Suisse auprès de ses enfants. S'agissant de cette condition, il faut du reste aussi relever que la recourante a fait l'objet de quatre condamnations pénales, pour des faits de gravité moindre sans être toutefois négligeables, la condamnation du 14 octobre 2016 portant tout de même sur un vol de voiture, qui a valu à la recourante une peine privative de liberté de 60 jours.
6.5.2. D'après l'arrêt entrepris, la recourante ne peut par ailleurs pas se prévaloir d'un lien économique étroit avec ses enfants. Comme la recourante n'a jamais versé les contributions en leur faveur fixées par les autorités judiciaires civiles, cette conclusion des précédents juges n'est pas critiquable. Même si l'on retenait que la recourante a effectué des achats à certaines occasions en faveur de ses enfants, fait qui ne résulte pas de l'arrêt attaqué (cf., supra consid. 3.8), cela ne suffirait pas à établir un lien économique étroit, de tels achats occasionnels ne pouvant être assimilés à une contribution à l'entretien en nature susceptible de remplacer les prestations financières.
6.5.3. Une impossibilité pratique à maintenir la relation entre la recourante et ses enfants aînés en raison de la distance n'est en outre pas établie. Comme le Tribunal administratif fédéral l'a relevé, au vu de l'âge des enfants aînés de la recourante et étant en particulier relevé que l'aînée est majeure le 9 mai 2021, il leur sera possible de voyager au Kosovo, qui est à une distance raisonnable de la Suisse, même non accompagnés. L'absence de moyens financiers pour ce faire est alléguée de manière appellatoire et partant inadmissible.
6.5.4. Reste le critère de la relation affective étroite et effective entre la recourante et ses deux enfants aînés, que le Tribunal administratif fédéral a estimé réalisé.
Même si les relations sont désormais étroites, il faut relever que les enfants de la recourante ont vécu sous la garde de leur père dès 2007, alors qu'ils étaient âgés de quatre et deux ans. Ce n'est en outre que depuis 2015 que la recourante a obtenu un droit de visite plus étendu. On doit aussi souligner que la fille aînée de la recourante avait presque 18 ans au moment de l'arrêt attaqué et son frère 16 ans. Adolescents proches de la majorité, les enfants de la recourante ont moins besoin de la présence de leurs deux parents que de jeunes enfants.
Eu égard à l'ensemble des circonstances, la relation de la recourante avec ses enfants aînés ne contrebalance pas les éléments justifiant le refus d'approuver la prolongation de l'autorisation de séjour.
6.6. Du point de vue de l'intérêt de la recourante à demeurer en Suisse indépendamment de cette relation, on relèvera que la recourante n'est pas intégrée économiquement et professionnellement. La recourante a été victime à deux reprises d'agressions sur son lieu de travail (2009 et 2015), ce qui n'a certainement pas facilité l'intégration professionnelle, sans toutefois expliquer le manque d'insertion sur le marché du travail après quinze ans de séjour. Il a été fait état de lettres de soutien, mais la recourante ne prétend pas être autrement intégrée sur le plan social. La recourante dit avoir été victime de violence conjugale, mais il ressort de l'arrêt attaqué que la plainte qu'elle avait déposée en 2005 a été classée et il n'y a aucun autre élément indiquant de la violence au sein du couple. La réintégration dans le pays d'origine demandera certainement des efforts, mais n'apparaît pas insurmontable, étant relevé que la recourante y a vécu toute son enfance et son adolescence. L'allégation selon laquelle elle n'aurait plus de contacts avec sa famille n'a pas été tenue pour établie par les précédents juges et la recourante se contente de la répéter, sans démontrer l'arbitraire de leur l'appréciation. L'intérêt privé de la recourante ne l'emporte ainsi pas sur l'intérêt public.
6.7. Enfin, la recourante ne peut pas faire grief aux précédents juges d'avoir omis de prendre en compte dans la pesée des intérêts les liens entre E._ et son grand frère et sa grande soeur, car, sauf circonstances exceptionnelles non réunies en l'espèce (cf. <ref-ruling> consid. 6.1), les relations entre frères et soeurs ne tombent pas dans le champ de protection de l'art. 8 CEDH. La plus jeune enfant de la recourante devra suivre son sort, à défaut d'informations concernant le père. Etant encore en bas âge, elle devrait s'adapter sans difficultés, étant souligné qu'il est affirmé de manière appellatoire et partant inadmissible que l'enfant ne parle pas l'albanais.
6.8. Sur le vu de l'ensemble de ces circonstances, le Tribunal administratif fédéral n'a pas méconnu le principe de proportionnalité en confirmant le refus d'approbation à la prolongation de l'autorisation de séjour de la recourante.
7.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, la recourante doit supporter les frais judiciaires (cf. art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge de la recourante.
3.
Le présent arrêt est communiqué à la recourante, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour VI, et au Service de la population du canton de Vaud.
Lausanne, le 5 mai 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber