Faits :
A.
A.a. A._, ressortissante angolaise, est arrivée en Suisse en décembre 2001, où elle a été mise au bénéfice d'une admission provisoire, avant d'obtenir, en juin 2008, une autorisation de séjour dans le canton d'Argovie, régulièrement renouvelée jusqu'au 30 juin 2020.
A.b. Le 16 avril 2014, A._ a donné naissance aux jumeaux B.B._ et C.B._. Ceux-ci ont été reconnus en 2017 par leur père, ressortissant congolais, arrivé en Suisse en septembre 2009 et titulaire d'une autorisation de séjour dans le canton de Fribourg, valable jusqu'au 15 octobre 2021 (<ref-law>).
Les parents ont célébré leur mariage le 26 octobre 2018.
A.c. Par demande du 5 février 2020, A._ a requis, pour elle et ses enfants, un changement de canton dans le cadre du regroupement familial auprès du Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal), afin de pouvoir rejoindre leur époux et père dans le canton de Fribourg.
A.d. Le 1er août 2020, sans attendre la décision du Service cantonal, A._ et ses enfants ont emménagé à Fribourg auprès de l'intéressé (<ref-law>).
B.
Par décision du 6 octobre 2020, après avoir donné l'occasion à A._ d'exercer son droit d'être entendu, le Service cantonal a refusé d'autoriser le changement de canton sollicité, également sous l'angle de l'octroi d'une autorisation de séjour par regroupement familial.
Par acte du 9 novembre 2020, l'intéressée et ses deux enfants ont recouru contre la décision précitée auprès du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal), en concluant principalement à son annulation, à ce qu'ils soient autorisés à changer de canton et à ce qu'une autorisation de séjour leur soit délivrée par le Service cantonal (<ref-law>).
Par arrêt du 22 décembre 2020, le Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours formé par A._, agissant en son nom et pour le compte de ses deux enfants, contre la décision précitée, retenant en substance que les conditions pour un changement de canton n'étaient pas réunies, dans la mesure où l'intéressée ne bénéficiait pas d'un contrat de travail sur le canton de Fribourg, et que le refus d'autoriser ledit changement ne s'avérait pas disproportionné sous l'angle du droit au respect de la vie familiale notamment.
C.
Contre l'arrêt du 22 décembre 2020 du Tribunal cantonal, A._, ainsi que ses deux enfants mineurs B.B._ et C.B._, agissant par leur mère, forment un recours en matière de droit public et un recours constitutionnel subsidiaire auprès du Tribunal fédéral. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, à l'admission de leur demande de changement de canton et à la délivrance d'une autorisation de séjour au titre du regroupement familial en leur faveur; subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision. Ils sollicitent également le bénéfice de l'assistance judiciaire.
Par courrier du 25 février 2021, le Tribunal fédéral a indiqué renoncer provisoirement à exiger une avance de frais et a informé les recourants qu'il serait statué ultérieurement sur l'octroi de l'assistance judiciaire.
Le Service cantonal et le Tribunal cantonal renoncent à se déterminer sur le recours et se réfèrent aux considérants de l'arrêt attaqué. Le Secrétariat d'Etat aux migrations ne s'est pas prononcé.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
1.1. Les recourants ont déposé, dans un même acte (cf. <ref-law>), un recours en matière de droit public et un recours constitutionnel subsidiaire. Ce dernier n'étant ouvert qu'à la condition que la décision attaquée ne puisse faire l'objet d'un recours ordinaire (<ref-law>), il convient d'examiner en premier lieu la recevabilité du recours en matière de droit public.
1.2. Selon l'art. 83 let. c LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donne droit (ch. 2). Il en va de même s'agissant des décisions ayant trait au déplacement de la résidence dans un autre canton (ch. 6), et ce même si l'étranger dispose d'un droit au changement de canton (cf. arrêts 2C_620/2017 du 14 novembre 2017 consid. 1; 2C_832/2016 du 12 juin 2017 consid. 1.1; 2C_1115/2015 du 20 juillet 2016 consid. 1.3.1, tous avec les arrêts cités). Dans ce dernier cas, le législateur a en effet considéré que l'accès au Tribunal fédéral par une autre voie de recours que celle du recours constitutionnel subsidiaire n'était pas nécessaire, étant donné qu'en cas de refus de changement de canton, le maintien du droit de séjour de l'étranger en Suisse n'est en principe pas remis en cause, dans la mesure où son titre de séjour continue d'être valable - sous réserve toutefois de sa durée de validité - sur le territoire du canton qui le lui a délivré (cf. art. 66 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative [OASA; RS 142.201]; arrêts 2C_1115/2015 précité consid. 1.3.1 et les arrêts cités; arrêt 2C_886/2008 du 4 mai 2009 consid. 2 et les références citées).
En l'occurrence, l'arrêt attaqué, examinant la cause exclusivement sous l'angle du droit au changement de canton au sens de l'art. 37 al. 2 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20), a confirmé la décision du 6 octobre 2020 du Service cantonal, en ce que celle-ci refusait aux recourants de déplacer leur lieu de résidence du canton d'Argovie au canton de Fribourg, afin d'y rejoindre leur père et mari. Les recourants reprochent toutefois à l'arrêt attaqué de n'avoir à aucun moment envisagé la question, pourtant dûment soulevée en procédure cantonale, de l'octroi en leur faveur d'une autorisation de séjour dans le canton sous l'angle du regroupement familial en lien avec l'art. 8 CEDH, et y voient notamment une violation de leur droit d'être entendu garanti par l'art. 29 al. 2 Cst.
La question de savoir si, dans un tel cas, le litige relève exclusivement de l'art. 83 let. c ch. 6 LTF, ou s'il porte également sur l'octroi d'un titre de séjour, auquel cas il faudrait se demander si le recours en matière de droit public ne serait pas ouvert sous l'angle de l'art. 83 let. c ch. 2 LTF, peut demeurer indécise. En effet, comme on le verra, l'issue du litige est identique quelle que soit la voie de droit envisagée devant le Tribunal fédéral.
1.3. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>, par renvoi de l'<ref-law> pour le recours constitutionnel subsidiaire) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF, par renvoi de l'<ref-law> pour le recours constitutionnel subsidiaire). Il a en outre été déposé en temps utile compte tenu des féries (100 al. 1 en lien avec l'art. 46 al. 1 let. c et 117 LTF), et dans les formes prescrites (<ref-law>), par les destinataires de l'arrêt entrepris - à savoir la recourante 1 et ses deux enfants (recourants 2), mineurs représentés par leur mère (cf. <ref-law>; <ref-ruling> consid. 3.1.2) - qui ont qualité pour recourir (cf. <ref-law>; pour le recours constitutionnel subsidiaire, <ref-law>) en lien avec un grief de nature formelle (cf. arrêt 2C_585/2020 du 22 mars 2021 consid. 1.2 et les arrêts cités). Il convient donc d'entrer en matière.
2.
Le Tribunal fédéral contrôle librement le respect des droits fondamentaux, sous réserve des exigences de motivation figurant à l'<ref-law>, auquel renvoie également l'<ref-law> s'agissant du recours constitutionnel subsidiaire. Aux termes de cet alinéa, le Tribunal fédéral n'examine les droits fondamentaux que si le grief a été invoqué et motivé par le recourant (<ref-ruling> consid. 1.7.2). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (art. 105 al. 1 et 118 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>, auquel renvoie l'<ref-law> s'agissant du recours constitutionnel subsidiaire).
Sur ce dernier point, la pièce postérieure à l'arrêt attaqué que les recourants produisent en annexe à leur recours (véritable nova), ainsi que celles ne figurant pas déjà au dossier et dont les intéressés n'expliquent pas ce qui les aurait empêchés de les présenter devant l'autorité précédente (<ref-ruling> consid. 4.4.3), ne sauraient être prises en considération.
3.
Dans un grief formel qu'il convient d'examiner en premier lieu (<ref-ruling> consid. 3), les recourants, citant l'art. 29 al. 2 Cst., estiment que le Tribunal cantonal a violé leur droit d'être entendu. Ils reprochent à celui-ci d'avoir exclusivement examiné leur cause sous le seul angle du droit au changement de canton selon l'art. 37 LEI, en omettant de statuer sur leur droit à une autorisation de séjour par regroupement familial déduit de l'art. 8 CEDH, grief qu'ils avaient pourtant dûment formulé dans leur recours cantonal et qui correspondait également aux conclusions prises devant le Tribunal cantonal.
3.1. Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 2.8.1 et les arrêts cités). Il implique notamment pour l'autorité l'obligation de motiver ses décisions, afin que le justiciable puisse les comprendre et exercer son droit de recours à bon escient (<ref-ruling> consid. 3.4.3). Pour satisfaire à cette exigence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision (<ref-ruling> consid. 3.2.1 et les arrêts cités). En particulier, une autorité viole l'art. 29 al. 2 Cst. si elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (ibid.). L'autorité n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui lui paraissent pertinents (cf. <ref-ruling> consid. 4.2 et les arrêts cités).
3.2. Conformément à l'art. 37 LEI, si le titulaire d'une autorisation de courte durée ou de séjour veut déplacer son lieu de résidence dans un autre canton, il doit solliciter au préalable une autorisation de ce dernier (al. 1). Le titulaire d'une autorisation de séjour a droit au changement de canton s'il n'est pas au chômage et qu'il n'existe aucun motif de révocation au sens de l'art. 62 al. 1 LEI (al. 2).
Dans un arrêt récent 2C_322/2019 du 15 avril 2019, le Tribunal fédéral a eu l'occasion de rappeler qu'il ressortait du texte clair de l'art. 37 al. 1 et 2 LEI que le changement de canton présupposait que l'étranger demandeur soit titulaire d'une autorisation de séjour valable. Lorsque l'étranger procédait au changement effectif de son lieu de résidence dans un autre canton et que, dans l'intervalle, l'autorisation de séjour qui lui avait été délivrée par son canton de provenance arrivait à échéance, sa situation devait être traitée, du point de vue du droit des étrangers, comme une demande d'octroi d'une nouvelle autorisation de séjour. Or, conformément aux dispositions de la LEI et de l'OASA, seul le canton de résidence est compétent pour octroyer une autorisation de séjour (cf. art. 36 et 40 al. 1 LEI; art. 66 OASA). Il appartenait donc au canton où se trouvait le nouveau lieu de résidence de l'étranger, à l'exclusion du canton de provenance, de se prononcer sur l'octroi d'une nouvelle autorisation de séjour, indépendamment de la question de savoir si celle-ci était fondée sur le regroupement familial notamment (cf. arrêt 2C_322/2019 précité consid. 3.1 à 3.3; cf. également arrêts 2C_896/2020 du 11 mars 2021 consid. 3.1; 2C_1115/2015 précité consid. 1.3.2).
3.3. En l'occurrence, le présent cas d'espèce a également pour particularité que l'autorisation de séjour délivrée aux recourants par leur canton de provenance, à savoir le canton d'Argovie, si elle était encore valable lorsque ceux-ci ont déposé leur demande de changement de canton dans le cadre du regroupement familial le 5 février 2020, est toutefois arrivée à échéance le 30 juin 2020, soit avant le prononcé de la décision de refus du Service cantonal du 6 octobre 2020. En d'autres termes, au moment où l'autorité de première instance de droit des étrangers du canton de destination a statué sur la demande des recourants, par laquelle ceux-ci souhaitaient pouvoir rejoindre leur père et mari à Fribourg (et qui, dans les faits, l'y avaient déjà retrouvé), les intéressés n'étaient plus au bénéfice d'un titre de séjour valable en Suisse. Un changement de canton apparaissait partant d'emblée exclu (cf. supra consid. 3.2). Se posait donc en premier lieu la question de l'octroi d'une autorisation de séjour fondée sur le regroupement familial, nécessaire à la poursuite du séjour des intéressés en Suisse (cf. arrêts 2C_833/2017 du 13 décembre 2017 consid. 3; 2C_620/2017 du 14 novembre 2017 consid. 1; 2C_896/2010 du 9 août 2011 consid. 2.1; 2C_140/2010 du 17 juin 2010 consid. 3). Le Service cantonal l'avait du reste parfaitement compris puisque, dans sa décision du 6 octobre 2020, il a envisagé la demande des recourants tant sous l'angle de la réalisation des conditions d'un changement de canton au sens de l'art. 37 LEI que de celles d'octroi d'une autorisation de séjour par regroupement familial posées à l'art. 44 LEI, avant de retenir qu'aucune des deux n'étaient réunies.
3.4. On peut certes se demander s'il aurait appartenu aux recourants de solliciter, au moins 14 jours avant l'expiration de la durée de validité de leur autorisation de séjour, la prolongation de cette dernière dans le canton d'Argovie, comme le prévoit l'art. 59 al. 1 OASA en lien avec l'art. 33 al. 3 LEI. A cet égard, s'il peut être attendu de l'étranger qu'il veille au respect du délai de l'art. 59 al. 1 OASA au moment où il dépose une demande de changement de canton, il serait toutefois disproportionné, lorsque l'autorisation de séjour qui lui a été précédemment accordée par le canton de provenance arrive à échéance avant que l'autorité de droit des étrangers du canton de destination ne rende sa décision, de lui faire subir les conséquences de la durée d'une procédure qu'il ne maîtrise pas lui-même. La jurisprudence a du reste admis que l'étranger n'a pas nécessairement à demander dans son canton de provenance une prolongation de son autorisation de séjour lorsqu'il a sollicité un changement de canton avant l'expiration de celle-ci, et que l'autorité de droit des étrangers du canton de destination, lorsqu'une telle extinction intervient en cours de procédure, examine le droit de l'intéressé à l'obtention d'un titre de séjour comme une demande de nouvelle autorisation (fondé sur le regroupement familial notamment). En effet, si le canton de destination octroie un titre de séjour, une demande de prolongation s'avérerait inutile, puisqu'un étranger ne peut être titulaire d'une autorisation de séjour que dans un seul canton (cf. art. 66 OASA; arrêts 2C_896/2020 précité consid. 3.3; 2C_906/2015 du 22 janvier 2016 consid. 3.2; voir aussi PETER BOLZLI, in Migrationsrecht - Kommentar [Spescha et al. (éd.)], 5e éd., 2019, n° 6 ad art. 37 LEI; Lienhard Christoph, Kantonswechsel von Drittstaatsangehörigen: Probleme und Handhabung in der Praxis, in Jusletter du 20 mars 2017, ch. 45 et 50).
3.5. En l'espèce, force est de constater, à la lecture de l'arrêt attaqué, que le Tribunal cantonal s'est limité à examiner la cause sous le seul angle des conditions d'un changement de canton, sans nullement se saisir du grief concernant la réalisation des conditions d'octroi d'une autorisation de séjour par regroupement familial en faveur des intéressés. Ces derniers s'étaient pourtant expressément prévalus d'un tel grief dans leur recours devant cette autorité, en particulier de la violation de l'art. 44 LEI, et avaient également formulé dans leur recours cantonal des conclusions tendant à la délivrance d'une autorisation de séjour. En omettant d'envisager si les recourants pouvaient obtenir une autorisation de séjour et mener ainsi leur vie de famille auprès de leur père et époux dans le canton de Fribourg, l'autorité précédente a failli à son devoir de traiter un grief dont la pertinence était indéniable pour l'issue du litige.
La situation est au demeurant d'autant plus choquante que l'autorité précédente a motivé le refus de changement de canton en considérant notamment que celui-ci ne portait pas une atteinte disproportionnée à la vie familiale des intéressés en partant de la prémisse erronée qu'ils disposaient d'un titre de séjour valable en Suisse, alors que, dans la mesure où la décision du Service cantonal leur a refusé l'octroi d'un titre de séjour nécessaire à la poursuite de leur séjour en Suisse, le rejet du recours cantonal a pour conséquence que les recourants n'ont plus d'autorisation de séjour dans ce pays.
3.6. Le grief tiré de la violation du droit d'être entendu est ainsi fondé.
4.
Cette conclusion suffit à admettre le recours, qu'il soit envisagé comme un recours en matière de droit public ou comme un recours constitutionnel subsidiaire, et à annuler l'arrêt attaqué, sans qu'il soit besoin d'examiner les autres griefs soulevés par les recourants. La cause est renvoyée au Tribunal cantonal pour qu'il statue à nouveau en examinant si les recourants peuvent prétendre à l'octroi d'une autorisation de séjour par regroupement familial découlant de l'art. 8 CEDH, en lien avec les conditions posées par le droit interne, notamment celles de l'art. 44 LEI, comme ceux-ci le requièrent dans leurs conclusions.
5.
Au vu de l'issue du litige, aucun frais ne sera perçu, l'intérêt patrimonial du canton de Fribourg n'étant pas en cause (art. 66 al. 1 et 4 LTF). Ayant obtenu gain de cause avec l'aide d'une représentante, les recourants ont droit à des dépens (art. 68 al. 1 et 2 LTF), qu'il convient de mettre à la charge du canton de Fribourg (<ref-law>), ce qui rend sans objet la requête d'assistance judiciaire dans la présente procédure.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt du 22 décembre 2020 rendu par le Tribunal cantonal est annulé et la cause lui est renvoyée pour nouvelle décision dans le sens des considérants.
2.
La demande d'assistance judiciaire est sans objet.
3.
Il n'est pas perçu de frais judiciaires.
4.
L'Etat de Fribourg versera à la représentante des recourants une indemnité de 2'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué à la représentante des recourants, au Tribunal cantonal du canton de Fribourg, Ie Cour administrative, au Service de la population et des migrants du canton de Fribourg et au Secrétariat d'Etat aux migrations.
Lausanne, le 10 novembre 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Rastorfer