Faits :
A.
A.a. A._ (ci-après: l'intéressée ou la recourante) ressortissante portugaise née en 1969, est entrée en Suisse le 8 janvier 2009 pour y exercer une activité de barmaid qu'elle a commencée le 1er mars 2009. A ce titre, elle a obtenu une autorisation de séjour UE/AELE valable cinq ans, jusqu'au 28 février 2014.
La prénommée a deux fils nés en 1994 et 2001, également ressortissants portugais, et qui sont apparemment entrés en Suisse pour la rejoindre en 2014, respectivement 2015. Le cadet est retourné vivre au Portugal avant le 12 février 2018.
A.b. Par arrêt du 21 mars 2013, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a admis le recours de l'intéressée contre une décision du Service de la population du canton de Vaud (ci-après: le Service de la population) révoquant son autorisation de séjour UE/AELE pour le motif qu'elle n'occupait plus d'emploi et prononçant son renvoi de Suisse. Le 10 avril 2014, le Tribunal fédéral a admis le recours interjeté contre cet arrêt par l'Office fédéral des migrations (actuellement le Secrétariat d'Etat aux migrations [SEM]), au motif que l'intéressée avait perdu sa qualité de travailleur communautaire au plus tard à la fin septembre 2011, après avoir retenu que celle-ci était au chômage depuis dix-huit mois, qu'elle avait épuisé son droit aux indemnités de chômage, émargeait à l'aide sociale et ne semblait pas être en mesure de trouver un emploi durable (arrêt 2C_390/2013 du 10 avril 2014). Suite à cet arrêt du Tribunal fédéral, le Service de la population a, le 30 avril 2014, imparti à l'intéressée un délai pour quitter la Suisse.
A.c. Le 8 juillet 2014, A._ a déposé une demande de réexamen fondée sur une prise d'emploi dès le 17 juin 2014. Elle a produit plusieurs contrats de travail, dont un contrat de durée indéterminée pour une activité exercée à 100% dès le 14 juin 2014 auprès de B._ SA, ainsi que des décomptes de salaire. Sur la base de ces éléments, le Service de la population lui a délivré, le 10 octobre 2014, une nouvelle autorisation de séjour UE/AELE (qu'il a considérée comme une prolongation de l'autorisation précédente) valable jusqu'au 28 février 2019. L'intéressée a travaillé pour la société précitée durant moins de douze mois, jusqu'en février 2015, et a exercé d'autres activités lucratives auprès de plusieurs employeurs successifs pour la période courant du mois de mai 2013 au mois de novembre 2016. Elle a perçu des indemnités de chômage de mars 2015 jusqu'au 29 août 2017 et de l'assurance pour perte de gain maladie du 30 août au 30 novembre 2017 (<ref-law>). Elle a bénéficié d'un revenu d'insertion d'avril à septembre 2011 (y compris), de décembre 2011 à juin 2014 (y compris), de février à avril 2015 (y compris) et de février 2017 à mai 2019 (y compris) à tout le moins, pour un montant qui s'élevait le 19 juin 2019 à 98'572 fr. 05. Le 12 février 2018, A._ a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'Office AI) qui était toujours en cours d'instruction le 12 novembre 2018. Dans le formulaire de demande, elle a indiqué souffrir de "troubles de l'adaptation avec éléments anxieux et dépressifs" depuis trois à quatre ans.
B.
Par décision du 24 juin 2019, le Service de la population a refusé de prolonger l'autorisation de séjour UE/AELE de l'intéressée et a prononcé son renvoi de Suisse.
Par arrêt du 12 mars 2020, le Tribunal cantonal a rejeté le recours formé par l'intéressée contre la décision de refus précitée.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, outre l'effet suspensif et l'assistance judiciaire complète, de réformer l'arrêt du Tribunal cantonal du 12 mars 2020, en ce sens que le renouvellement d'une autorisation de séjour UE/AELE lui soit accordé au moins jusqu'à droit connu sur la demande déposée le 12 février 2018 auprès de l'Office AI.
Par ordonnance présidentielle du 1er mai 2020, la IIe Cour de droit public du Tribunal fédéral a accordé l'effet suspensif au recours.
A la demande du Tribunal fédéral, la recourante a complété sa requête d'assistance judiciaire. Le Tribunal cantonal et le Service de la population renoncent à se déterminer. Le Secrétariat d'État aux migrations ne s'est pas prononcé.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332 et les références). En l'occurrence, en sa qualité de ressortissante portugaise, la recourante peut en principe prétendre à un titre de séjour en Suisse en vertu de l'ALCP (RS 0.142.112.681; cf. <ref-ruling> consid. 1.2 p. 343). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. Partant, la voie du recours en matière de droit public est ouverte.
1.2. Au surplus, déposé en temps utile (art. 46 al. 1 let. a et 100 al. 1 LTF, en lien avec l'ordonnance fédérale du 20 mars 2020 sur la suspension des délais dans les procédures civiles et administratives pour assurer le maintien de la justice en lien avec le coronavirus [COVID-19; RS 173.110.4]) et dans les formes prescrites par la loi (<ref-law>), par la destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
La recourante se plaint d'arbitraire dans l'établissement des faits. Elle reproche à l'autorité précédente d'avoir retenu que le caractère vraisemblable d'une incapacité durable de travailler n'avait pas été apportée, en se référant aux prestations reçues de l'assurance perte de gain maladie lorsqu'elle se trouvait au chômage et aux démarches entreprises auprès de l'Office AI.
2.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 2 p. 117) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>) et si la correction du vice est susceptible d'influer sur le sort de la cause (cf. <ref-law>), ce qu'il appartient à la partie recourante de démontrer conformément aux exigences de motivation de l'<ref-law>. Il n'y a arbitraire dans l'établissement des faits ou l'appréciation des preuves que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 3.6.2 p. 287).
2.2. Le Tribunal cantonal retient qu'une incapacité durable de travailler n'a pas été rendue vraisemblable en se fondant sur les éléments suivants: en dépit de la demande de prestations de l'assurance-invalidité, seule une incapacité totale de travailler pour cause de maladie du 31 juillet au 31 août 2017 était établie par certificat médical du 31 juillet 2017; la recourante n'a pas fait valoir qu'elle aurait cessé son activité lucrative, en février 2015, en raison d'une incapacité de travail permanente; elle a expressément déclaré dans son acte de recours que, malgré ses problèmes de santé, elle souhaitait reprendre une activité lucrative, qu'elle recherchait activement un nouvel emploi et qu'elle disposait notamment d'une promesse orale d'embauche pour reprendre la conciergerie de son immeuble; la recourante a partiellement exercé des activités lucratives d'avril 2015 à novembre 2016; enfin, le certificat médical du 7 novembre 2018 indiquait qu'après la mise en place d'un traitement adapté et d'un suivi psychothérapeutique plus rapproché, l'état de la recourante se stabilisait et celle-ci pouvait de ce fait envisager une reprise des mesures et de ses activités, afin de se réinsérer professionnellement.
2.3. En l'occurrence, il ressort du dossier que la recourante, à la suite d'une incapacité totale de travailler attestée dès le 31 juillet 2017 n'a plus perçu d'indemnité de chômage dès la fin du mois d'août 2017. Dès ce moment, elle a bénéficié d'indemnités de l'assurance perte de gain maladie pour les bénéficiaires d'indemnités de chômage (cf. art. 19a ss de la loi vaudoise du 5 juillet 2005 sur l'emploi [LEMP; RS/VD 822.11) (<ref-law>). Par écrit du 30 novembre 2017, adressé à la recourante, le Service de l'emploi, assurance perte de gain maladie, du canton de Vaud (ci-après: le Service de l'emploi) a relevé que celle-ci était en incapacité de travail depuis le 31 juillet 2017 et qu'elle avait déposé une demande de prestations AI. Après avoir souligné que l'assurance perte de gain maladie était destinée aux chômeurs en incapacité provisoire de travailler, ledit service a demandé à la recourante de produire un rapport de son médecin traitant afin de pouvoir déterminer la nature de son incapacité. Par courrier du 12 décembre 2017, le Service de l'emploi a informé la recourante qu'"étant donné le caractère définitif de votre incapacité de travail, nous vous invitons à vous adresser éventuellement au Centre social de votre région" (<ref-law>).
Les courriers précités laissaient donc clairement entendre que l'incapacité de travail de la recourante avait perduré au-delà du 31 août 2017 et que celle-ci pouvait même être qualifiée de définitive en décembre 2017.
Il découle de ces éléments que le Tribunal cantonal ne pouvait pas de façon soutenable retenir qu'une incapacité de travail durable n'avait pas été rendue vraisemblable. Au vu des éléments en sa possession, il lui appartenait d'instruire davantage les faits sur ce point.
Cela étant, on peut regretter que la recourante n'ait pas déposé auprès du Tribunal cantonal les documents, dont des certificats médicaux, qu'elle annexe à son recours et qui vont également dans le sens d'une incapacité durable. De telles pièces sont nouvelles et irrecevables devant le Tribunal fédéral (cf. <ref-law>).
3.
La recourante invoque la violation de l'<ref-law>.
3.1. Selon l'<ref-law>, les ressortissants d'une partie contractante ont le droit de demeurer sur le territoire d'une autre partie contractante après la fin de leur activité économique. L'<ref-law> renvoie, conformément à l'art. 16 de l'Accord, au règlement (CEE) 1251/70 (ci-après: le règlement 1251/70) et à la directive 75/34/CEE, "tels qu'en vigueur à la date de la signature de l'Accord".
L'art. 2 par. 1 let. b du règlement 1251/70, dans sa version au moment de la signature de l'Accord, prévoit qu'a le droit de demeurer sur le territoire d'un Etat membre le travailleur qui, résidant d'une façon continue sur le territoire de cet Etat depuis plus de deux ans, cesse d'y occuper un emploi salarié à la suite d'une incapacité permanente de travail. Si cette incapacité résulte d'un accident du travail ou d'une maladie professionnelle ouvrant droit à une rente entièrement ou partiellement à charge d'une institution de cet Etat, aucune condition de durée de résidence n'est requise. L'art. 4 par. 2 de ce même règlement précise que les périodes de chômage involontaire, dûment constatées par le bureau de main-d'oeuvre compétent, et les absences pour cause de maladie ou accident sont considérées comme des périodes d'emploi au sens de l'art. 2 par. 1. Dans tous les cas, pour pouvoir prétendre à demeurer en Suisse sur la base de l'<ref-law> en relation avec l'art. 2 par. 1 let. b du règlement 1251/70, il est indispensable qu'au moment où survient l'incapacité permanente de travail, le travailleur ait encore effectivement ce statut et que celui-ci ait ainsi été perdu pour cette raison (cf. <ref-ruling> consid. 4 p. 11 ss; arrêt 2C_755/2019 du 6 février 2020 consid. 4.1; 2C_134/2019 du 12 novembre 2019 consid. 3.3, destiné à la publication; 2C_567/2017 du 5 mars 2018 consid. 3.1).
3.2. Dans le cas particulier, la recourante qui réside en Suisse de façon continue depuis 2009 remplit sans conteste la condition du séjour en Suisse de plus de deux ans prévue par l'art. 2 par. 1 let. b du règlement 1251/70. Reste à déterminer si elle remplit la seconde condition exigée par cette disposition, c'est-à-dire si elle a cessé son activité salariée en raison d'une incapacité permanente de travail. Conformément à la jurisprudence exposée ci-avant, cette question suppose de s'interroger, en tout état de cause, sur le moment à partir duquel l'intéressée a commencé à souffrir d'une incapacité permanente de travail (cf. infra consid. 3.3) et de se demander si elle bénéficiait alors toujours du statut de travailleur salarié au sens de de l'ALCP (cf. infra consid. 3.4).
3.3.
3.3.1. Ni l'ALCP, ni le règlement 1251/70, ni la directive 75/34/CEE ne se prononcent sur la question de savoir à partir de quel moment une incapacité permanente de travail commence au sens de l'art. 2 par. 1 let. b du règlement précité. Le Tribunal fédéral a considéré que, pour trancher cette question, il y avait en principe lieu de se fonder sur les résultats de la procédure AI généralement engagée parallèlement par l'intéressé, cette procédure ayant précisément pour but d'établir l'existence d'une incapacité permanente de travail et d'en déterminer le début (cf. <ref-ruling> consid. 3.6.2 p. 128; <ref-ruling> consid. 4.2.1 p. 11 s.; arrêts 2C_134/2019 précité du 12 novembre 2019 consid. 4.5, destiné à la publication). Exceptionnellement, il est possible de ne pas attendre l'issue de la procédure AI lorsqu'il n'existe aucun doute quant à la réalité de l'incapacité de travail et de son commencement (cf. <ref-ruling> consid. 4.2.1 p. 11 s.; arrêts 2C_134/2019 précité du 12 novembre 2019 consid. 4.5; 2C_771/2014 du 27 août 2015 consid. 2.3.3).
3.4. En l'occurrence, il ressort de l'arrêt attaqué que la demande de prestations de l'assurance-invalidité déposée le 12 février 2018 était encore en cours de traitement lorsque l'autorité précédente a statué. Au vu des faits retenus par le Tribunal cantonal, l'incapacité de travail, potentiellement permanente (cf. supra consid. 2), a au plus tôt débuté le 31 juillet 2017 selon le certificat médical daté du même jour. La recourante ne remet pas en question l'arrêt attaqué sur ce point sous l'angle de l'arbitraire et ne prétend pas que ladite incapacité aurait débuté antérieurement. Il convient donc d'examiner si, au 31 juillet 2017, la recourante disposait de la qualité de travailleur communautaire.
3.5.
3.5.1. La qualité de travailleur salarié constitue une notion autonome de droit de l'Union européenne (UE), qui doit s'interpréter en tenant compte de la jurisprudence de la Cour de Justice des Communautés européennes (actuellement: Cour de justice de l'Union européenne; ci-après: la Cour de justice) (cf. <ref-ruling> consid. 4.1 p. 465 s.; <ref-ruling> consid. 3.1 p. 344 s.). Cette notion doit être interprétée de façon extensive. Doit ainsi être considérée comme un "travailleur" la personne qui accomplit, pendant un certain temps, en faveur d'une autre personne et sous la direction de celle-ci, des prestations en contrepartie desquelles elle touche une rémunération (existence d'une prestation de travail, d'un lien de subordination et d'une rémunération). Cela suppose l'exercice d'activités réelles et effectives, à l'exclusion d'activités tellement réduites qu'elles se présentent comme purement marginales et accessoires (<ref-ruling> consid. 2.2.4 p. 6; <ref-ruling> consid. 3.2 p. 345; arrêts 2C_755/2019 du 6 février 2020 consid. 4.4.1; 2C_79/2018 du 15 juin 2018 consid. 4.1.2).
3.5.2. En l'occurrence, il ressort de l'arrêt attaqué que la recourante a exercé une activité lucrative du mois d'avril ou de la mi-juin 2014 au mois de février 2015 pour un salaire mensuel moyen de 2'225.65 fr. L'autorité précédente a retenu, sans que son appréciation ne prête le flanc à la critique, que cette activité avait conféré la qualité de travailleur communautaire à la recourante. La question de savoir si le Tribunal cantonal a à juste titre qualifié l'activité exercée par la recourante d'avril 2015 à la fin du mois de novembre 2016 d'activité marginale et accessoire au vu de la faible rémunération (1'351.30 fr. de salaire moyen mensuel) et du bas taux d'occupation (environ douze heures par semaine) peut être laissée ouverte sur le vu de ce qui suit.
Selon les faits de l'arrêt attaqué, après la perte de son emploi à la fin du mois de février 2015, la recourante a perçu des indemnités journalières de l'assurance-chômage et n'avait pas encore épuisé son droit auxdites indemnités lorsqu'elle a présenté une incapacité totale de travailler au 31 juillet 2017. Il convient donc d'examiner si, dans ces circonstances, elle disposait encore à ce moment de la qualité de travailleur au sens de l'ALCP.
3.5.3. Le Tribunal cantonal a constaté que la dernière activité lucrative exercée par la recourante pouvant être considérée comme réelle et effective avait duré moins d'une année. Il a partant considéré que le statut de travailleur au sens de l'ALCP de celle-ci avait pris fin avec la cessation de cette activité à la fin du mois de février 2015.
Certes, l'autorité précédente relève correctement que le bénéficiaire d'une autorisation de séjour UE/AELE qui se trouve sans emploi avant qu'une année ne soit écoulée perd en principe son statut de travailleur contrairement à celui qui a travaillé plus d'un an (cf. KADDOUS/GRISEL, Libre circulation des personnes et des services, in Dossiers de Droit Européen [DDE] n° 26, 2012, p. 893; <ref-law>; <ref-ruling> consid. 2.2.2 p. 5; cf. également l'art. 61a LEI, entré en vigueur le 1er juillet 2018, qui semble opérer les mêmes distinctions ; cf. Message du 4 mars 2016 relatif à la modification de la loi fédérale sur les étrangers, FF 2016 p. 2883 s.; MARC SPESCHA, in Migrationsrecht Kommentar, 5 ème éd., 2019, n° 2 et 5 ad Art. 61a AIG). Toutefois, le Tribunal cantonal perd de vue qu'il s'agit dans le présent cas d'examiner si la recourante disposait du statut de travailleur lorsque l'incapacité est survenue au regard de l'<ref-law> en relation avec l'art. 2 par. 1 let. b du règlement 1251/70. Or, ce règlement (art. 4 par. 2) prévoit expressément que les périodes de chômage involontaire, dûment constatées par les autorités compétentes en matière de recherche d'emploi, comme en l'espèce, sont à considérer comme des périodes d'emploi au sens de l'art. 2 par. 1 du règlement. Il découle de ce qui précède, que la recourante, qui au 31 juillet 2017 percevait encore des indemnités de l'assurance-chômage, disposait à ce moment de la qualité de travailleur au sens du règlement précité.
4.
Dans ces circonstances, on ne peut pas exclure que les conditions de l'<ref-law> soient remplies. Conformément à la jurisprudence, il convient d'attendre les résultats de la procédure AI, afin de déterminer le caractère permanent ou non de l'incapacité de travail au sens de l'art. 2 par. 1 let. b du règlement 1251/70 (cf. <ref-ruling> consid. 3.6.2 p. 128; <ref-ruling> consid. 4.2.1 p. 11; arrêt 2C_1102/2013 du 8 juillet 2014 consid. 6.1; supra consid. 3.3.1).
5.
5.1. Les considérants qui précèdent conduisent à l'admission du recours. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision, après avoir éventuelle suspendu la procédure dans l'hypothèse où une décision entrée en force n'aurait pas encore été prononcée par l'Office AI.
5.2. Il n'est pas perçu de frais judiciaires (art. 66 al. 1 et 4 LTF). La demande d'assistance judiciaire est sans objet. La recourante a en outre droit à une indemnité de partie, à charge du canton de Vaud (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt du Tribunal cantonal du 12 mars 2020 est annulé. La cause lui est renvoyée pour nouvelle décision au sens des considérants.
2.
Il n'est pas perçu de frais judiciaire.
3.
Le canton de Vaud versera à la recourante une indemnité de 2'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué au mandataire de la recourante, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 24 juillet 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier