Faits :
A.
A._, ressortissante macédonienne née en 1961, est entrée en Suisse le 9 octobre 2017, sans être au bénéfice d'un visa pour un séjour d'une durée supérieure à trois mois. Elle s'est installée à C._, chez B._, ressortissant turc né en 1962, arrivé en Suisse en 1984 et au bénéfice d'une autorisation de séjour depuis 2002.
B.
Le 19 décembre 2017, B._ a demandé à l'Office de la population de la Commune de Montreux la délivrance d'une autorisation de séjour pour A._ en vue de son mariage avec elle, en précisant qu'il devait au préalable divorcer de son épouse actuelle, avec laquelle il ne faisait plus ménage commun de longue date. Cette demande a été transmise au Service de la population du canton de Vaud (ci-après : le Service de la population) comme objet de sa compétence.
Le 2 mai 2018, l'office communal précité a informé le Service de la population du fait que B._ dépendait de l'aide sociale (prestations de 146'597 fr. 95 entre janvier 1999 et mars 2017) et que la prolongation de son permis de séjour était à l'examen.
Informé par le Service de la population, en décembre 2018 et en avril 2019, qu'il entendait refuser l'octroi de l'autorisation de séjour sollicitée et de prononcer le renvoi de Suisse de A._, les intéressés se sont prononcés, en indiquant notamment audit service que B._ était divorcé depuis le 8 janvier 2019, que celui-ci se trouvait en incapacité de travail et qu'une demande de prestations le concernant était en instruction auprès de l'assurance-invalidité depuis juin 2016. Au cours de la procédure, ils ont également transmis audit service un contrat de travail conclu le 10 avril 2019 avec la société D._ Sàrl, selon lequel A._ serait engagée comme concierge à 70 % le mois suivant l'obtention d'un permis de travail, pour un salaire mensuel de 2'9750 (sic) fr.
Par décision du 26 juillet 2019, le Service de la population a refusé d'octroyer à A._ une autorisation de séjour en vue du mariage et a prononcé son renvoi de Suisse. Il a considéré que les conditions du regroupement familial n'étaient pas remplies, faute pour le couple d'être en mesure d'assurer de manière autonome ses besoins financiers, malgré le contrat de travail obtenu par l'intéressée.
Par acte du 17 septembre 2019, les intéressés ont recouru contre la décision précitée du 26 juillet 2019 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). A l'appui de leur contestation, ils ont notamment produit un nouveau contrat de travail conclu le 13 août 2019 entre la société susmentionnée et A._, portant le taux d'activité de l'intéressée à 100%, pour un salaire mensuel brut de 3'400 fr., l'engagement étant toujours soumis à l'obtention d'un permis de travail. Ils ont également transmis au Tribunal cantonal une décision de l'Office AI du 4 décembre 2019 accordant à B._ une rente entière d'invalidité de 1'455 fr. par mois dès le 1er janvier 2020, une décision de ce même office du 23 janvier 2020 lui reconnaissant le droit à des rentes rétroactives pour la période courant de mars 2017 à décembre 2019, pour un montant total de 47'847 fr. (dont 46'335 fr. étaient remboursés à l'aide sociale), ainsi que des documents révélant qu'il n'aurait vraisemblablement pas droit à une rente d'invalidité du deuxième pilier, mais à un capital de quelque 29'000 fr.
Par arrêt du 1er octobre 2020, le Tribunal cantonal a rejeté le recours des intéressés, après avoir notamment constaté que l'intéressé bénéficiait de prestations complémentaires dès le 1er janvier 2020.
C.
Agissant par la voie du recours en matière de droit public, subsidiairement par celle du recours constitutionnel, A._ et B._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire complète et l'effet suspensif à leur recours, de réformer l'arrêt précité du Tribunal cantonal du 1er octobre 2020, en ce sens qu'un permis de séjour soit accordé à la recourante et, subsidiairement, qu'un permis de séjour en vue du mariage soit octroyé à celle-ci. Plus subsidiairement, ils requièrent l'annulation de l'arrêt attaqué et le renvoi de la cause à l'une des autorités précédentes pour nouvelle décision dans le sens des considérants.
L'effet suspensif a été accordé par ordonnance présidentielle du 5 novembre 2020. Sur demande du Tribunal fédéral, les recourants ont complété leur requête d'assistance judiciaire.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer sur le recours. Le Secrétariat d'État aux migrations ne s'est pas prononcé.

Considérant en droit :
1.
1.1. Le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (art. 83 let. c ch. 2 LTF).
En l'espèce, les recourants se prévalent de manière défendable des art. 12 CEDH et 14 Cst. au titre du droit au mariage, ainsi que des art. 8 CEDH et 13 Cst. au titre du droit au respect de la vie familiale. Dans la mesure où, sous certaines conditions, ces dispositions sont susceptibles de conférer à la recourante un droit à une autorisation de séjour en vue du mariage, il y a lieu d'admettre que leur recours ne tombe pas sous le coup de l'art. 83 let. c ch. 2 LTF (cf. arrêts 2C_349/2011 du 23 novembre 2011 consid. 1.3 non publié in <ref-ruling>; 2C_183/2020 du 21 avril 2020 consid. 1.1), étant précisé que le point de savoir si un tel droit doit être reconnu en l'espèce relève du fond et non de la recevabilité (cf. <ref-ruling> consid. 1.1). Dès lors que la voie du recours en matière de droit public est ouverte, le recours constitutionnel subsidiaire formé en parallèle par les recourants est irrecevable (cf. <ref-law> a contrario).
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par les destinataires de l'arrêt entrepris qui ont qualité pour recourir (cf. <ref-law>), le recours en matière de droit public est recevable et il convient d'entrer en matière.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux, ainsi que celle de dispositions de droit cantonal et intercantonal, que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (cf. <ref-ruling> consid. 5.1; <ref-ruling> consid. 1.3).
3.
3.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2; <ref-ruling> consid. 6; <ref-ruling> consid. 1.6). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.2. En l'occurrence, les recourants ne soutiennent pas, et a fortiori ne démontrent pas, que l'autorité précédente aurait arbitrairement constaté les faits. Le Tribunal fédéral statuera donc sur la base des faits retenus dans l'arrêt entrepris.
Les pièces déposées par les recourants qui ne ressortent pas de l'arrêt attaqué et dont ils n'exposent pas pour quels motifs ils seraient recevables, ne seront pas prises en considération. Il s'agit en effet de moyens nouveaux irrecevables.
4.
L'art. 126 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20; avant le 1er janvier 2019, LEtr [RO 2007 5437]) prévoit que les demandes déposées avant l'entrée en vigueur de la présente loi sont régies par l'ancien droit. En l'occurrence, la demande d'autorisation de séjour en vue du mariage a été déposée en décembre 2017, avant l'entrée en vigueur de la LEI, le 1er janvier 2019. La présente cause est donc soumise à la LEtr (cf. arrêt 2C_591/2020 du 4 janvier 2021 consid. 5.2), sous réserve de ce qui suit (cf. infra consid. 5.3).
5.
Les recourants invoquent la violation des art. 8 et 12 CEDH, respectivement des art. 13 et 14 Cst. (droit au mariage et au respect de la vie privée et familiale). Ils font essentiellement valoir que l'arrêt attaqué serait arbitraire et contraire au principe de la proportionnalité, lorsqu'il retient comme élément décisif le bien-être économique du pays pour motiver le refus de l'autorisation.
5.1. Selon la jurisprudence, un étranger peut, à certaines conditions, déduire du droit au mariage garanti par l'art. 12 CEDH et l'art. 14 Cst. un droit à pouvoir séjourner en Suisse en vue de s'y marier (cf. <ref-ruling> consid. 3.5.2; <ref-ruling> consid. 3.5).
Eu égard aux art. 12 CEDH et 14 Cst., la jurisprudence retient que, dans la mesure où l'officier de l'état civil ne peut pas célébrer le mariage d'un étranger qui n'a pas établi la légalité de son séjour en Suisse (cf. <ref-law>), les autorités de police des étrangers sont tenues de délivrer un titre de séjour en vue du mariage lorsqu'il n'y a pas d'indice que l'étranger entende, par cet acte, invoquer abusivement les règles sur le regroupement familial et qu'il apparaît clairement que l'intéressé remplira les conditions d'une admission en Suisse après son union (cf. art. 17 al. 2 LEtr par analogie; <ref-ruling> consid. 3.5.2 et 4; <ref-ruling> consid. 4; <ref-ruling> consid. 3.7). Dans un tel cas, il serait en effet disproportionné d'exiger de l'étranger qu'il rentre dans son pays pour s'y marier ou pour y engager à distance une procédure en vue d'obtenir le droit de revenir en Suisse pour se marier (cf. ATF <ref-ruling> consid. 4; <ref-ruling> consid. 3.7; arrêt 2C_154/2020 du 7 avril 2020 consid. 3.1).
Conformément à la jurisprudence, ce sont les conditions à l'octroi d'une autorisation une fois l'union célébrée qui doivent paraître clairement réunies pour que la personne ait droit à une autorisation en vue de préparer son mariage, non les conditions d'un refus (cf. arrêts 2C_431/2020 du 10 août 2020 consid. 4.2 et référence; 2C_386/2018 du 15 juin 2018 consid. 3.3). En revanche, les motifs permettant de nier que les conditions d'admission seront réunies après l'union doivent être concrets; des hypothèses (éventuelle future dépendance à l'aide sociale par exemple) ne suffisent pas (cf., à propos de l'art. 17 al. 2 LEtr: <ref-ruling> consid. 4.2; arrêt 2C_431/2020 du 10 août 2020 consid. 4.2).
5.2. En l'occurrence, le Tribunal cantonal a relevé qu'aucun élément ne permettait de douter que le mariage entre les recourants était sérieusement voulu. Il a ainsi retenu que la première condition pour l'octroi d'une autorisation de séjour en vue du mariage était réalisée. Il n'y a pas lieu de remettre en cause cette conclusion. Seule est ainsi litigieuse en l'espèce la question de savoir si les conditions à l'octroi d'une autorisation de séjour après l'union apparaissent réunies.
5.3. Concernant le droit applicable, il ressort de l'arrêt attaqué que le divorce entre le recourant et sa première épouse a été prononcé le 8 janvier 2019. L'union entre celui-ci et la recourante ne pouvait dès lors être célébré qu'après cette date. Le respect des conditions à l'octroi d'une autorisation après le mariage doit donc être examiné sous l'angle de la LEI, qui est entrée en vigueur le 1er janvier 2019.
5.4. Le recourant étant au bénéfice d'une autorisation de séjour, le regroupement familial, après le mariage, doit être envisagé sous l'angle de l'art. 44 LEI.
Par ailleurs, le recourant, qui se trouve légalement en Suisse depuis plus de dix ans, dispose d'un droit de séjour durable dans ce pays (cf. <ref-ruling> consid. 5; <ref-ruling> consid. 3). L'art. 8 CEDH est partant susceptible de conférer un droit de séjour à la recourante une fois mariée avec celui-ci (cf. <ref-ruling> consid. 5 s.; en revanche, sur la protection conférée par l'art. 8 CEDH pour les concubins, cf. ATF <ref-ruling> consid. 2.5). Toutefois, un examen sous l'angle de l'art. 8 CEDH requiert également que les conditions posées par le droit interne, en l'occurrence, celles de l'art. 44 LEI, soient remplies (cf. <ref-ruling> consid. 6.2 et références).
5.5. Parmi les conditions cumulatives inscrites à l'art. 44 al. 1 LEI figure celle voulant que la personne à l'origine de la demande de regroupement familial ne perçoive pas de prestations complémentaires annuelles au sens de la loi fédérale du 6 octobre 2006 sur les prestations complémentaires à l'AVS et à l'AI (LPC; RS 831.30) ni ne pourrait en percevoir grâce au regroupement familial (let. e).
5.6. En l'espèce, le Tribunal cantonal a retenu que la condition de l'art. 44 al. 1 let. e LEI n'était pas remplie. Sur ce point, il a constaté que le recourant bénéficiait de prestations complémentaires au sens de la LPC depuis janvier 2020 et que les intéressés n'avaient apporté aucun élément chiffré concret permettant d'étayer leur allégation selon laquelle le recours aux prestations complémentaires prendrait fin dès que la recourante serait autorisée à travailler.
Procédant à un examen sommaire, le Tribunal cantonal a de plus retenu que le couple que formeraient les recourants après leur mariage aurait toujours droit à des prestations complémentaires. Il est arrivé à cette conclusion en utilisant le calculateur de la Caisse cantonale vaudoise de compensation AVS (librement disponible sur : https://form.ahv-iv.ch/orbeon/fr/AHV-IV/EL_Tool/new), en prenant en compte un revenu annuel composé de la rente AI perçue par le recourant (pour un montant total de 17'460 fr.) et du salaire promis à la recourante (pour un montant total brut de 40'800 fr.), ainsi que des charges annuelles comprenant la couverture des besoins vitaux (29'175 fr.), le loyer (15'000 fr.) et les primes d'assurance-maladie (13'176 fr.). Le Tribunal cantonal a en outre considéré que les éléments au dossier ne permettaient pas d'envisager une sérieuse perspective d'amélioration de la situation financière des recourants puisque l'Office AI avait reconnu que le recourant ne présentait aucune capacité résiduelle de travail dans quelque activité que ce soit.
5.7. Les recourants se plaignent du calcul de prestations complémentaires effectué par le Tribunal cantonal, qu'ils considèrent erroné et arbitraire. Ils reprochent à l'autorité précédente d'avoir pris en compte un abattement sur le revenu de la recourante et de ne pas avoir pris en compte les subsides perçus pour les primes d'assurance maladie. Selon eux, l'activité lucrative qui sera exercée par la recourante permettra de ne plus devoir percevoir de prestations complémentaires.
5.8. En l'espèce, les critiques des recourants sont vaines. En effet, l'objectif étant d'examiner si, une fois marié, un droit aux prestations complémentaires perdurera, il est correct de prendre en compte, comme l'a fait l'autorité précédente, les critères prévus par la loi et la pratique pour déterminer le droit à de telles prestations. En particulier, l'abattement sur le salaire du conjoint, de même que la prise en compte des primes d'assurance obligatoire des soins, sans les subsides, sont prévus par la loi (cf. art. 10 al. 3 let. d et <ref-law>, dans leur teneur en vigueur avant le 1er janvier 2021 [RO 2007 6055]; et depuis cette date, art. 10 al. 3 let. d LPC, en lien avec l'art. 16d de l'ordonnance fédérale du 15 janvier 1971 sur les prestations complémentaires à l'AVS et à l'AI [OPC-AVS/AI; RS 831.301] et <ref-law>; cf. également les Directives établies par l'Office fédéral des assurances sociales concernant les prestations complémentaires à l'AVS et à l'AI (DPC), état au 1er janvier 2020, n° 3240.01 s. p. 75 et n° 3421.03 ss p. 90, ainsi que, état au 1er janvier 2021, n° 3240.01 ss p. 85 et n° 3421.07 ss p. 103 s.). Sur le vu des éléments retenus dans l'arrêt attaqué, le Tribunal cantonal ne prête pas le flanc à la critique lorsqu'il retient, notamment après avoir intégré les données à sa disposition dans le calculateur susmentionné, qu'il existe un risque concret que les recourants restent durablement au bénéfice des prestations complémentaires après le mariage. Sur ce point, savoir si le montant des prestations complémentaires sera plus ou moins élevé après le mariage est sans pertinence, puisque le bénéfice de telles prestations suffit pour refuser une autorisation de séjour en application de l'art. 44 al. 1 let. e LEI, indépendamment du montant perçu.
5.9. Les recourants se plaignent également d'une inégalité de traitement entre le sort réservé aux étrangers dont la situation économique est analysée sous l'angle de l'aide sociale et ceux qui le sont sous l'angle des prestations complémentaires. Ils font valoir qu'ils disposent des revenus suffisants pour ne pas dépendre de l'aide sociale et qu'il conviendrait donc de leur reconnaître une situation économique favorable, sans procéder à un examen sous l'angle du droit aux prestations complémentaires.
Les recourants perdent de vue que la condition liée aux prestations complémentaires découle de l'art. 44 al. 1 let. e LEI, soit d'une norme fédérale que le Tribunal fédéral et les autres autorités d'application du droit sont tenus d'appliquer (art. 190 Cst.; cf. <ref-ruling> consid. 6.2; <ref-ruling> consid. 3.1).
Par ailleurs, si les deux régimes en cause ne sont pas totalement comparables (cf. <ref-ruling> consid. 5.1), ils imposent les deux une charge pour les finances publiques (cf. arrêt 2C_98/2018 du 7 novembre 2018 consid. 4.4) et leur prise en considération sert donc le même intérêt public. On ne voit donc pas en quoi il serait contraire à l'égalité de traitement de leur attacher les mêmes conséquences sous l'angle du droit des étrangers.
5.10. Les recourants remettent (implicitement) en cause la compatibilité de l'art. 44 al. 1 let. e LEI avec l'art. 8 CEDH.
Le Tribunal fédéral a déjà jugé que l'exigence du respect des conditions de l'art. 44 LEI, y compris celle relative à l'absence de dépendance à l'aide sociale, était conforme à l'art. 8 CEDH (cf. <ref-ruling> consid. 6.2; <ref-ruling> consid. 2.6; arrêts 2C_502/2020 du 4 février 2021 consid. 5.1; 2C_1075/2015 du 28 avril 2016 consid. 3.2). Certes, les prestations complémentaires à l'AI sont des prestations des assurances sociales, qui ne relèvent pas de la notion d'aide sociale au sens strict (cf. <ref-ruling> consid. 5.1; <ref-ruling> consid. 3.7; arrêts 2C_502/2020 du 4 février 2021 consid. 5.1; 2C_615/2019 du 25 novembre 2019 consid. 5.5; 2C_13/2019 du 31 octobre 2019 consid. 3.1). Toutefois, de telles prestations représentent également des aides de l'État (cf. arrêts 2C_ 615/2019 du 25 novembre 2019 consid. 5.5; 2C_13/2019 du 31 octobre 2019 consid. 3.1). C'est pourquoi les bénéficiaires de prestations complémentaires ne sont pas considérés comme disposant de moyens financiers suffisant au sens de l'<ref-law> et que de telles prestations sont assimilées à l'aide sociale visée par cette disposition (cf. ATF <ref-ruling> consid. 3.7; arrêt 2C_987/2019 du 8 juillet 2020 consid. 5.2.3).
Les conditions prévues à l'art. 44 al. 1 let. c et e LEI, relatives respectivement au recours à l'aide sociale et aux prestations complémentaires, visent toutes deux à éviter une charge pour les finances publiques et à préserver le bien-être économique du pays (cf. arrêts 2C_834/2016 du 31 juillet 2017 consid. 2.1; 2C_1109/2014 du 20 juillet 2015 consid. 2.2; 2C_1228/2012 du 20 juin 2013 consid. 2.3; Message additionnel concernant la modification de la loi fédérale sur les étrangers; FF 2016 p. 2697). Les prestations complémentaires pèsent, comme l'aide sociale, sur les finances publiques (cf. arrêt 2C_98/2018 du 7 novembre 2018 consid. 4.4). Dès lors, la compatibilité de l'art. 44 al. 1 let. e LEI avec l'art. 8 CEDH doit être évaluée de la même façon que pour la condition de l'art. 44 al. 1 let. c LEI liée à l'aide sociale et peut être reconnue pour les mêmes raisons. A ce titre, il convient de souligner que le bien-être économique du pays est un des motifs qui peut justifier une ingérence dans l'exercice de l'art. 8 par. 1 CEDH (<ref-ruling> consid. 5.1; <ref-ruling> consid. 3.2.2). Une discrimination fondée sur le statut (art. 14 CEDH) n'est pas invoquée.
5.11. Enfin, l'arrêt entrepris ne contient aucun élément qui permettrait de penser que l'octroi d'une autorisation de séjour à la recourante pour cas de rigueur serait justifié.
5.12. Il découle de ce qui précède que le Tribunal cantonal pouvait retenir, sans violer le droit fédéral, qu'il n'était à tout le moins pas évident que la recourante puisse bénéficier, une fois mariée, d'un droit de séjour en Suisse sur la base du droit interne ou de l'art. 8 CEDH.
6.
Les recourants font également valoir que le refus d'autorisation de séjour serait contraire au principe de la proportionnalité.
Tout d'abord, les recourants perdent de vue que la décision querellée ne force pas le recourant à quitter la Suisse. Les intéressés restent libres de se marier à l'étranger et de vivre leur relation avec les contraintes de la distance. En outre, les arguments des recourants en lien avec le principe de la proportionnalité ne modifient pas le constat qui précède, selon lequel les conditions à l'octroi d'une autorisation de séjour ne sont pas manifestement remplies. A ce titre, il faut d'ailleurs souligner que lorsqu'il est constaté que l'intéressé ne peut pas prétendre à une autorisation de séjour, faute de remplir les conditions légales et/ou jurisprudentielles, il n'y a plus lieu d'examiner la proportionnalité du refus. Autrement dit, le principe de la proportionnalité ne permet pas de pallier à un défaut de respect d'une condition légale, en l'occurrence, de l'art. 44 al. 1 let. e LEI.
Concernant la proportionnalité du refus d'autorisation de séjour en vue du mariage, rien dans l'arrêt entrepris n'indique que les démarches en vue de celui-ci ne pourraient pas être poursuivies depuis l'étranger ou que le couple n'aurait aucune possibilité juridique de se marier dans un pays autre que la Suisse. On ne se trouve dès lors pas dans une situation où une éventuelle tolérance de séjour en vue du mariage indépendamment du point de savoir si les futurs époux auraient ensuite le droit de mener leur vie conjugale ou familiale en Suisse devrait être envisagée, afin que soit garantie la substance du droit au mariage (cf. arrêt 2C_154/2020 du 7 avril 2020 consid. 3.10 et références).
Enfin, les recourants ne sauraient tirer avantage de la durée du séjour en Suisse de la recourante. Celle-ci réside en effet dans ce pays depuis octobre 2017 sans titre de séjour. La demande de regroupement a été déposée alors que le recourant était encore marié et dépendant de l'aide social et les recourants ont été informés en décembre 2018 par le Service de la population que celui-ci envisageait de refuser l'autorisation de séjour demandée. En dépit de la modification des circonstances survenue depuis lors, les recourants pouvaient d'emblée s'attendre à ce que l'autorisation en cause soit refusée.
7.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public et à l'irrecevabilité du recours constitutionnel subsidiaire.
Le recours étant d'emblée dénué de chance de succès, la demande d'assistance judiciaire est rejetée (cf. <ref-law>). Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux ( cf. art. 66 al. 1 et 5 LTF), qui seront toutefois fixés en tenant compte de leur situation financière (cf. <ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La requête d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 11 mars 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier