Sachverhalt:
A.
A._ (geb. 1975, Staatsangehörige der Demokratischen Republik Kongo) reiste am 25. April 2007 in die Schweiz ein und stellte am 16. Mai 2007 in U._/VD ein Asylgesuch. Mit Entscheid vom 20. November 2008 trat das Bundesamt für Migration (BFM; heute Staatssekretariat für Migration [SEM]) auf das Asylgesuch nicht ein. Die dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 13. Januar 2009 ab, woraufhin das BFM A._ eine Ausreisefrist bis zum 3. Februar 2009 ansetzte. Nachdem A._ am 8. April 2009 beim BFM ein Wiedererwägungsgesuch eingereicht hatte, wurde der Vollzug der Wegweisung einstweilen ausgesetzt.
Am 19. November 2009 gebar A._ eine Tochter namens B._. Da der Kindsvater Schweizer ist und und somit auch ihre Tochter über die Schweizer Staatsbürgerschaft verfügt, erteilte das Migrationsamt des Kantons Aargau A._ am 10. November 2010 eine Jahresaufenthaltsbewilligung, die in der Folge regelmässig verlängert wurde.
A._ ersuchte am 2. Juli 2012 um Bewilligung des Familiennachzugs für ihre beiden Söhne, deren Personalien sie wie folgt angab: C._ (geb. 2002) und D._ (geb. 2000). Mit Verfügung vom 25. Februar 2013 lehnte das Migrationsamt das Gesuch wegen Sozialhilfeabhängigkeit von A._ und fehlenden Nachweises der elterlichen Sorge über die beiden Kinder ab und verweigerte den Kindern die Einreise in die Schweiz. Die Verfügung erwuchs in Rechtskraft.
Nachdem die beiden Kinder - trotz des abgelehnten Gesuchs und offenbar mit falschen Pässen - illegal in die Schweiz eingereist waren, reichte die Beschwerdeführerin am 9. Oktober 2014 erneut ein Familiennachzugsgesuch für sie ein, wobei A._ nun folgende Personalien angab: C._ (geb. 2000) und D._ (geb. 1998). Auf Nachfrage des Migrationsamts stellte A._ mit Schreiben vom 20. April 2015 klar, dass es sich bei den nun in der Schweiz lebenden Kindern um dieselben Kinder handle, für die sie bereits 2012 um Familiennachzug ersucht hatte. Am 6. Juli 2016 wurden die Kinder durch das Migrationsamt betreffend Einreise in die Schweiz und die Lebensumstände in der Demokratischen Republik Kongo getrennt befragt, wobei sie gemäss Protokoll folgende Personalien bestätigten: C._ (geb. 2000) und D._ (geb. 1998).
B.
B.a. Mit Verfügung vom 22. September 2016 lehnte das Migrationsamt das erneute Familiennachzugsgesuch für C._ und D._ ab und wies diese unter Ansetzung einer Ausreisefrist von 30 Tagen ab Rechtskraft aus der Schweiz weg. Nachdem die Einsprache erfolglos geblieben war, erhob A._ Beschwerde beim Verwaltungsgericht des Kantons Aargau. Dieses wies die Beschwerde mit Urteil vom 8. Mai 2018 ab. Zur Begründung führte es aus, dass es an gültigen Ausweispapieren der Kinder und somit an einer formellen Voraussetzung für die Gesuchsprüfung fehle, wobei dieser Umstand A._ zuzurechnen sei. Ob die weiteren Voraussetzungen für die Bewilligung eines Familiennachzugs erfüllt seien, könne unter diesen Umständen offenbleiben.
Mit Urteil 2C_504/2018 vom 14. November 2019 hob das Bundesgericht das Urteil des Verwaltungsgerichts vom 8. Mai 2018 auf und wies die Sache zur Neubeurteilung an die Vorinstanz zurück. Das Bundesgericht wies das Verwaltungsgericht an, im Sinne seiner Untersuchungspflicht DNA-Tests anzuordnen, um die Abstammung der Kinder zu klären.
B.b. Am 20. April 2020 stellte das Kantonsspital Aarau dem Verwaltungsgericht zwei Abstammungsgutachten zu, welche für die beiden Kinder eine Wahrscheinlichkeit der Mutterschaft von A._ mit über 99.9 % auswiesen. Im Rahmen einer ihrer Stellungnahmen informierte A._ das Verwaltungsgericht darüber, dass für ihren Sohn C._ ein Gesuch um Erteilung einer eigenständigen Aufenthaltsbewilligung gestützt auf Art. 30a der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) eingereicht worden sei, das aktuell im Stadium des Einspracheverfahrens hängig sei. Zudem beantragte sie dem Verwaltungsgericht, dass für ihre beiden Söhne Anwesenheitsbescheinigungen auszustellen seien und das verwaltungsgerichtliche Verfahren zu sistieren sei, bis ein rechtskräftiger Entscheid über die eigenständige Aufenthaltsbewilligung für C._ vorliege. Das Verwaltungsgericht wies diese Anträge der Beschwerdeführerin mit Verfügung vom 9. September 2020 ab.
Mit Entscheid vom 20. Januar 2021 wurde die Einsprache betreffend die eigenständige Aufenthaltsbewilligung für C._ abgewiesen. Mit Urteil vom 1. Februar 2021 wies das Verwaltungsgericht die Beschwerde von A._ ab und verweigerte ihr wegen Aussichtslosigkeit die unentgeltliche Rechtspflege.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten (ev. subsidiärer Verfassungsbeschwerde) vom 8. März 2021 beantragt A._, dass das Urteil des Verwaltungsgericht des Kantons Aargau vom 1. Februar 2021 aufzuheben und das Familiennachzugsgesuch von A._ vom 9. Oktober 2014 zu bewilligen sei. In prozessualer Hinsicht ersuchte A._ darum, dass ihrer Beschwerde die aufschiebende Wirkung und ihr im Falle des Unterliegens die unentgeltliche Rechtspflege mit Advokat Guido Ehrler als Rechtsbeistand gewährt werde.
Mit Verfügung vom 11. März 2021 erkannte das Bundesgericht der Beschwerde die aufschiebende Wirkung zu.

Erwägungen:
1.
1.1. Auf dem Gebiet des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide ausgeschlossen, welche Bewilligungen betreffen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (Art. 83 lit. c Ziff. 2 BGG). Für das Eintreten genügt jedoch, wenn die betroffene Person in vertretbarer Weise einen potentiellen Aufenthaltsanspruch geltend macht. Ob ein solcher besteht, ist Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1; <ref-ruling> E. 1.2 und 1.3).
1.2.
1.2.1. Aus dem Landesrecht ergibt sich kein Rechtsanspruch auf Familiennachzug. Art. 44 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; neuer Titel seit dem 1. Januar 2019: Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer und über die Integration; AIG; vgl. AS 2017 6521), der hier in der Fassung zum Zeitpunkt des Gesuchs zur Anwendung kommt (vgl. Art. 126 Abs. 1 AIG), sieht lediglich eine Ermessensbewilligung vor.
1.2.2. Art. 8 EMRK kann minderjährigen Kindern ausländischer Staatsangehöriger, die hier über ein gefestigtes Anwesenheitsrecht verfügen, einen Aufenthaltsanspruch vermitteln. Für volljährige Kinder kann ein solcher Anspruch hingegen nur bestehen, wenn sie etwa wegen einer Behinderung oder einer schweren Krankheit in einem besonderen Masse von ihren hier lebenden Eltern abhängig sind (Urteil 2C_175/2020 vom 24. November 2020 E. 1.2.3, zur Publikation vorgesehen; <ref-ruling> E. 3.1, 5. 3 und E. 6.4 mit Hinweisen; <ref-ruling> E. 6.1; Urteil 2C_325/2019 vom 3. Februar 2020 E. 2.2.4). Die affektiven und emotionalen Bande zwischen den Familienmitgliedern begründen noch keine besondere Abhängigkeit des volljährigen Kindes von seinen Eltern (<ref-ruling> E. 3.2; <ref-ruling> E. 6.1).
Massgebend ist grundsätzlich das Alter des Kindes im Zeitpunkt, in dem das Bundesgericht sein Urteil fällt (<ref-ruling> E. 6.7). Daran hat das Bundesgericht jüngst trotz Kritik in der Lehre und einer Praxisänderung des Bundesverwaltungsgerichts festgehalten (vgl. <ref-ruling> E. 5.4 mit Hinweisen; vgl. auch SPESCHA/PRIULI, Die familienbezogene Rechtsprechung im Migrationsrecht [FZA/AIG/EMRK] ab November 2018 bis Ende August 2020, FamPra.ch 2021 S. 60). Dabei hat es jedoch Konstellationen vorbehalten, in denen das Verfahren über den Familiennachzug exzessiv lange gedauert hat oder das Kind nach der Erhebung der Beschwerde, aber vor dem Urteilszeitpunkt volljährig geworden ist (<ref-ruling> E. 6.8; Urteil 2C_325/2019 vom 3. Februar 2020 E. 2.2.4 und 2.2.5).
1.3. Die Beschwerdeführerin verfügt durch ihre Schweizer Tochter über ein gefestigtes Anwesenheitsrecht. Sie macht einen Familiennachzug für zwei Söhne geltend, die seit der Gesuchsstellung am 9. Oktober 2014 am xx.xx.2016 respektive am xx.xx.2018 volljährig geworden sind. Eine besondere Abhängigkeit der Söhne von der Beschwerdeführerin im Sinne der zitierten Rechtsprechung ist weder substanziiert dargetan noch ersichtlich. Ein Anspruch aus Art. 8 EMRK käme also von vornherein nur infrage, wenn die Söhne für die Beurteilung durch das Bundesgericht als minderjährig zu gelten hätten. Als die Beschwerdeführerin am 8. März 2021 die vorliegende Beschwerde beim Bundesgericht erhob, waren die Söhne beide schon länger volljährig. Das Verfahren über den Familiennachzug dauert nun zwar bald sieben Jahre. Darin ist aber auch ein erster Rechtsgang an das Bundesgericht enthalten, der rund eineinhalb Jahre in Anspruch nahm und bei dessen Entscheiddatum am 14. November 2019 (vgl. oben Sachverhalt B.a) die beiden Söhne ebenfalls bereits volljährig waren. Alle involvierten Behörden und Gerichte haben stets innert angemessener Frist entschieden. Auch insgesamt erscheint das Verfahren noch nicht als überlang. Es kann vorliegend nicht nur der Vorinstanz, sondern auch dem kantonalen Migrationsamt nicht der Vorwurf gemacht werden, es habe das Verfahren ungebührlich verzögert (vgl. demgegenüber Urteil 2C_325/2019 vom 3. Februar 2020 E. 2.2.5, wo das kantonale Migrationsamt erst nach sieben Jahren über das Familiennachzugsgesuch entschieden hatte).
1.4. Nach dem Gesagten hat die Beschwerdeführerin weder einen bundes- noch einen völkerrechtlichen Anspruch auf Bewilligung des Familiennachzugs vertretbar geltend gemacht. Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann demnach gemäss Art. 83 lit. c Ziff. 2 BGG nicht eingetreten werden. Die Anträge der Beschwerdeführerin sind folglich im Lichte der Bestimmungen über die subsidiäre Verfassungsbeschwerde zu prüfen (Art. 113 ff. BGG).
2.
2.1. Die subsidiäre Verfassungsbeschwerde setzt voraus, dass die beschwerdeführende Partei ein rechtlich geschütztes Interesse an der Aufhebung oder der Änderung des angefochtenen Entscheids besitzt (Art. 115 lit. b BGG). Die Beschwerdeführerin kann sich für das Familiennachzugsgesuch wie gesehen nicht auf Art. 8 EMRK berufen. Art. 44 AuG verschafft der Beschwerdeführerin ebenfalls kein rechtlich geschütztes Interesse. Eine inhaltliche Überprüfung des angefochtenen Entscheids im Rahmen der subsidiären Verfassungsbeschwerde ist unter diesen Umständen ausgeschlossen (vgl. <ref-ruling> E. 6.1).
2.2. Trotz fehlender Legitimation in der Sache kann der Betroffene die Verletzung von Parteirechten rügen, deren Missachtung einer formellen Rechtsverweigerung gleichkommt (sog. "Star"-Praxis). Unzulässig sind Vorbringen, die im Ergebnis wiederum auf eine materielle Überprüfung des angefochtenen Entscheids abzielen, wie die Behauptung, die Begründung sei unvollständig oder zu wenig differenziert bzw. die Vorinstanz habe sich nicht oder in willkürlicher Weise mit den Argumenten der Partei auseinandergesetzt und Beweisanträge in offensichtlich unhaltbarer antizipierter Beweiswürdigung abgelehnt (<ref-ruling> E. 2; <ref-ruling> E. 6.2; <ref-ruling> E. 3c).
Im Zusammenhang mit ihren verfassungsmässigen Parteirechten rügt die Beschwerdeführerin, die Vorinstanz habe ihr rechtliches Gehör (Art. 29 Abs. 2 BV) verletzt, indem sie bei der Prüfung ihres Familiennachzugsgesuchs nach Art. 44 AuG nur auf die Verhältnisse abgestellt habe, wie sie sich zwischen dem Datum des Familiennachzugsgesuchs (9. Oktober 2014) und dem jeweiligen 18. Geburtstag der beiden Söhne (2016 bzw. 2018) präsentiert hatten. Es kann offenbleiben, ob diese Rüge überhaupt auf eine Gehörsverletzung zielt oder damit nicht vielmehr eine Überprüfung der Auslegung der Vorinstanz von Art. 44 AuG bezweckt wird. Jedenfalls liesse sich die angebliche Gehörsverletzung nicht getrennt von der Sache selbst überprüfen. Sie ist folglich der subsidiären Verfassungsbeschwerde nicht zugänglich. Eine Verletzung anderer verfassungsmässig garantierter Parteirechte, die potenziell separat von der Sache geprüft werden könnte, macht die Beschwerdeführerin nicht geltend.
3.
Nach dem Gesagten ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht einzutreten, weil es an einem vertretbar geltend gemachten Anspruch auf Bewilligungserteilung fehlt (Art. 83 lit. c Ziff. 2 BGG). Mangels rechtlich geschützten Interesses kann die Beschwerde auch nicht als subsidiäre Verfassungsbeschwerde entgegen genommen werden (Art. 115 lit. b BGG). Auf die Beschwerde ist folglich insgesamt nicht einzutreten. Ausgangsgemäss trägt die Beschwerdeführerin die Gerichtskosten (Art. 66 Abs. 1 BGG). Es ist keine Parteientschädigung geschuldet (Art. 68 Abs. 3 BGG). Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit abzuweisen (Art. 64 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Aargau, 2. Kammer, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 26. Juli 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Seiler