Faits :
A.
A.A._, ressortissante kosovare née en 1970, s'est mariée dans son pays d'origine avec un ressortissant serbe au bénéfice d'une autorisation de séjour en Suisse. Le couple a eu un fils, B.A._, né en 2006.
Le 15 mai 2009, le Service de la population du canton de Vaud (ci-après: le Service de la population) a refusé d'octroyer des autorisations de séjour à A.A._ et B.A._ au titre du regroupement familial, leur époux/père dépendant de l'aide sociale. Cette décision est entrée en force. En raison des problèmes de santé de son mari, A.A._ est entrée en Suisse avec son enfant le 22 janvier 2011 au bénéfice d'un visa. Par une deuxième décision entrée en force, le Service de la population a une nouvelle fois refusé d'octroyer des autorisations de séjour en faveur des intéressés le 7 mars 2012. La demande de réexamen déposée contre cette décision du 7 mars 2012 a été déclarée irrecevable par le Service de la population le 20 août 2013. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a partiellement admis le recours contre cette décision, par arrêt du 4 juillet 2017, dans la mesure où celle-ci déclarait la demande irrecevable, alors qu'elle aurait dû la rejeter. Le 28 septembre 2017, A.A._ et B.A._ ont déposé une deuxième demande de réexamen qui a été rejetée par le Service de la population le 6 novembre 2017, décision qui a été confirmée par le Tribunal cantonal dans un arrêt du 13 mars 2018. Le 30 avril 2018, le Tribunal fédéral a déclaré irrecevable le recours formé contre cet arrêt (arrêt 2C_355/2018).
B.
Le 15 juin 2018, A.A._ et B.A._ ont demandé l'octroi d'une autorisation de séjour pour cas individuel d'extrême gravité. Par décision du 27 février 2019, le Service de la population a refusé d'octroyer cette autorisation. Les intéressés ont contesté ce prononcé le 1er avril 2019 auprès du Tribunal cantonal qui, par arrêt du 16 juillet 2020, a rejeté leur recours.
C.
Agissant par la voie du recours en matière de droit public et celle, subsidiaire, du recours constitutionnel, A.A._ et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire et l'octroi de mesures provisionnelles tendant à leur permettre de demeurer en Suisse durant la procédure, d'annuler l'arrêt du Tribunal cantonal du 16 juillet 2020 et de leur octroyer à chacun une autorisation de séjour; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente ou l'autorité de première instance pour nouvelle décision dans le sens des considérants.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. L'arrêt entrepris traite de la cause sous l'angle de l'art. 30 LEI (RS 142.20; dans sa version en vigueur avant le 1er janvier 2019 [RO 2007 5437], ci-après: LEtr; cf. art. 126 al. 1 LEI), disposition qui ne donne pas de droit à une autorisation de séjour et qui ne saurait donc faire l'objet d'un recours en matière de droit public (cf. arrêt 2C_731/2020 du 18 septembre 2020 consid. 3.1). Les recourants n'invoquent d'ailleurs à juste titre pas de violation de cette disposition. En revanche, dans la mesure où ils se plaignent d'une violation de l'art. 8 CEDH et que le mari, respectivement père vit légalement en Suisse depuis plus de dix ans (cf. <ref-ruling> consid. 3.9 p. 277 ss), il n'est pas exclu qu'ils puissent se prévaloir de cette disposition conventionnelle pour demeurer dans ce pays. Dans ces conditions, il convient donc de retenir que le recours en matière de droit public est ouvert, étant rappelé que la question de savoir si le droit au regroupement familial fondé sur l'art. 8 CEDH existe et doit en définitive être accordé relève du fond (cf. <ref-ruling> consid. 1.1 p. 332). Le recours constitutionnel subsidiaire est par conséquent irrecevable.
1.2. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par les destinataires de l'arrêt attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
En l'occurrence, les recourants présentent leurs propres vision et appréciation des faits de manière totalement appellatoire, sans aucunement respecter les conditions posées par l'<ref-law>, notamment en relation avec une prétendue rente de l'assurance-invalidité octroyée au mari de la recourante 1 ou de soins que celle-ci serait obligée de prodiguer à celui-là. On relèvera au demeurant que l'arrêt de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, cité et produit par les recourants, qui admet le recours du mari de la recourante 1 et renvoie la cause à l'Office AI, a été rendu le 6 juillet 2020, c'est-à-dire avant l'arrêt entrepris. On ne sait néanmoins pas si les recourants l'ont transmis à l'autorité précédente, ni, le cas échéant, à quelle date. Cela n'est toutefois pas pertinent, dans la mesure où les recourants invoquent cet arrêt pour affirmer que leur mari et père va percevoir une rente d'invalidité et que la recourante 1 pourra augmenter son temps de travail. Or, l'arrêt en question ne fait que renvoyer la cause à l'autorité de première instance, afin que celle-ci procède à une instruction complémentaire. Rien ne permet d'en conclure que l'époux de la recourante 1 va percevoir une rente ou une éventuelle allocation pour impotent. Par conséquent, ce moyen de preuve, qu'il soit recevable ou non, n'a ainsi aucune incidence sur la présente cause.
Dans ces conditions, le grief, à tout le moins implicite, d'établissement inexact des faits ne peut qu'être écarté et le Tribunal fédéral statuera sur la seule base des faits retenus par l'autorité précédente.
3.
Le litige porte uniquement sur le point de savoir si les recourants peuvent invoquer la garantie de la vie familiale, prévue par l'art. 8 CEDH, pour demeurer en Suisse et, le cas échéant, si le refus de leur octroyer une autorisation est conforme au principe de proportionnalité.
3.1. Dans une jurisprudence récente (cf. arrêt 2C_668/2018 du 28 février 2020, destiné à la publication), le Tribunal fédéral s'est penché sur une situation semblable. Il a tout d'abord rappelé sa jurisprudence relative à la garantie de la vie privée, publiée à l'<ref-ruling>. Selon cette jurisprudence, le droit à la vie privée dépend fondamentalement de la durée de la résidence en Suisse de l'étranger. Lorsque celui-ci réside légalement depuis plus de dix ans en Suisse, ce qui correspond en droit suisse au délai pour obtenir une autorisation d'établissement ou la naturalisation, il y a lieu de partir de l'idée que les liens sociaux qu'il a développés avec le pays dans lequel il réside sont suffisamment étroits pour que le refus de prolonger ou la révocation de l'autorisation de rester en Suisse ne doivent être prononcés que pour des motifs sérieux. Lorsque la durée de la résidence est inférieure à dix ans mais que l'étranger fait preuve d'une forte intégration en Suisse, le refus de prolonger ou la révocation de l'autorisation de rester en Suisse peut également porter atteinte au droit au respect de la vie privée (<ref-ruling> consid. 3 p. 271 ss et les références).
Dans la mesure où le mari et père des recourants se trouve légalement en Suisse depuis plus de dix ans, au bénéfice d'une autorisation de séjour, il convient de lui reconnaître un droit de séjour durable dans ce pays. Il sied dès lors d'examiner si ce droit durable à séjourner en Suisse au titre de la garantie de la vie privée issue de l'art. 8 CEDH permet à son épouse et son fils d'invoquer un droit au regroupement familial découlant de cette même disposition.
3.2. Dans l'arrêt 2C_668/2018 du 28 février 2020 consid. 6.1 et les références, destiné à la publication, le Tribunal fédéral a expliqué qu'il reconnaissait, depuis longtemps déjà, que peut se prévaloir du droit au regroupement familial une personne qui est à même de démontrer une relation étroite et effective avec un membre de sa famille qui possède le droit de résider durablement en Suisse (en principe au bénéfice de la nationalité suisse, d'une autorisation d'établissement ou d'un droit certain à une autorisation de séjour). Comme on l'a vu, tel est le cas de l'époux et père des recourants. Ceux-ci peuvent donc invoquer l'art. 8 CEDH.
3.3. Dans cet arrêt, le Tribunal fédéral a néanmoins rappelé que cela ne signifiait pas pour autant qu'un tel droit n'était pas subordonné à des conditions. En effet, il convient, en présence d'un étranger qui possède un droit durable à séjourner en Suisse, dans un souci de cohérence avec la législation interne, de soumettre le regroupement familial aux conditions de l'art. 44 LEtr, conditions qui sont au demeurant compatibles avec l'art. 8 CEDH. Il n'est en effet pas concevable que, par le biais de l'art. 8 CEDH, un étranger qui ne dispose, en vertu de la législation interne, d'aucun droit à demeurer en Suisse, puisse obtenir une autorisation de séjour sans que les conditions posées par les art. 42 ss LEtr ne soient remplies (pour tout ce qui précède, cf. arrêt 2C_668/2018 du 28 février 2020 consid. 6.2 et les références, destiné à la publication).
3.4. Il convient par conséquent d'examiner si les recourants réalisent les conditions posées par l'art. 44 LEtr.
3.4.1. Cette disposition énumère comme conditions le ménage commun des époux (let. a), un logement approprié (let. b), ainsi que l'absence de dépendance à l'aide sociale (let. c), ces conditions étant cumulatives (cf. arrêt 2C_1007/2019 du 30 janvier 2020 consid. 5.2). Il est rappelé que les lettres d et e de l'art. 44 LEI ne figuraient pas à l'art. 44 LEtr, puisqu'elles ont été introduites avec la révision de la loi fédérale sur les étrangers, entrée en vigueur le 1 er janvier 2019, et qu'elles ne sont dès lors pas applicables au présent cas (la procédure ayant été introduite en 2017, cf. art. 126 al. 1 LEI).
3.4.2. En l'occurrence, il ressort des faits retenus dans l'arrêt entrepris que la famille des recourants bénéficie de manière durable de l'aide sociale. Le mari de la recourante 1 émarge d'ailleurs à l'aide sociale au moins depuis 2009 déjà, car cette dépendance a été l'argument principal ayant conduit le Service de la population à refuser à plusieurs reprises l'octroi d'autorisations de séjour au titre du regroupement familial en faveur des recourants. Si le Tribunal cantonal a certes reconnu que la recourante 1 travaillait, il a néanmoins également retenu que les revenus de cette activité étaient faibles et qu'ils ne permettaient pas à la famille de ne plus dépendre de l'aide sociale. Au demeurant, l'autorité précédente a également relevé que l'époux de la recourante 1, selon une décision de l'Office de l'assurance-invalidité du 26 mars 2019, bénéficiait d'une pleine capacité de travail avec une baisse de rendement de 20%. L'absence d'activité du mari de la recourante 1, malgré une telle capacité de travail et sa longue présence en Suisse, démontre que la dépendance à l'aide sociale de la famille va perdurer et que, même à supposer que la recourante 1 réussisse à augmenter son taux d'activité, respectivement son revenu, cela ne suffira pas à supprimer cette dépendance. Comme on l'a vu précédemment (cf. consid. 2 ci-dessus), le récent arrêt de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud n'y change rien.
3.4.3. Sur le vu de ce qui précède et en particulier des faits retenus par l'autorité précédente quant à la situation financière de la famille des recourants, il convient de constater que celle-ci émarge à l'aide sociale et que les recourants ne réunissent par conséquent pas la condition posée à l'art. 44 let. c LEtr. Faute de remplir cette condition, les recourants ne sauraient se prévaloir de l'art. 8 CEDH pour obtenir un titre de séjour en Suisse.
4.
Les considérants qui précèdent conduisent au rejet du recours. La requête de mesures provisionnelles est sans objet. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La demande d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 6 octobre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette