Sachverhalt:
A.
Der Schweizer Bürger A._ (geboren 1967) heiratete am 14. Januar 2013 in Accra (Ghana) B._ (geboren 1969). Die beiden haben vier gemeinsame, vor der Eheschliessung geborene Kinder: Die noch vor der Einbürgerung von A._ am 12. Dezember 2000 geborene Tochter C._ und drei weitere, in den Jahren 2002, 2005 und 2008 (und somit nach seiner Einbürgerung) geborene Kinder, welche die Schweizer Staatsbürgerschaft besitzen.
Am 18. Februar 2013 stellte B._ bei der Schweizer Vertretung in Accra ein Visumsgesuch zwecks Familienzusammenführung (ohne Nennung ihrer Kinder). Am 11. Mai 2014 ersuchte A._ beim Amt für Migration des Kantons Zug um Familiennachzug für B._ und die zwei jüngsten gemeinsamen Kinder. Gemäss den Akten fehlten Unterlagen für die Kinder sowie eine ausreichend grosse Wohnung, und wollte A._ nochmals mit seiner Ehefrau Rücksprache halten. Per 16. April 2015 wurde vermerkt, dass keine Reaktion seitens A._ mehr erfolgt war.
Am 27. März 2018 ersuchten B._ und C._ bei der Schweizer Vertretung in Accra um Visa für den langfristigen Aufenthalt in der Schweiz (zwecks Familienzusammenführung). Nach entsprechender Aufforderung gingen am 4. Juli 2018 ein Gesuch um Familiennachzug und zusätzliche Unterlagen beim Amt für Migration des Kantons Schwyz ein. Das Amt für Migration des Kantons Schwyz lehnte das Gesuch mit Verfügung vom 6. Dezember 2018 ab.
B.
Die hiergegen erhobenen Rechtsmittel blieben ohne Erfolg (Beschluss des Regierungsrats des Kantons Schwyz vom 2. April 2019 und Urteil des Verwaltungsgerichts des Kantons Schwyz vom 29. August 2019).
C.
Mit Eingabe an das Bundesgericht vom 14. Oktober 2019 erheben A._, B._ und C._ Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 29. August 2019 sei aufzuheben und das Amt für Migration des Kantons Schwyz sei anzuweisen, B._ und C._ im Rahmen des Familiennachzugs die Einreise in die Schweiz und den Aufenthalt im Kanton Schwyz zu bewilligen. Eventualiter sei die Sache zur neuen Entscheidung an das Amt für Migration zurückzuweisen. In prozessualer Hinsicht beantrage n sie die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Der Regierungsrat des Kantons Schwyz beantragt die Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Schwyz und das Amt für Migration des Kantons Schwyz verzichten auf Vernehmlassung. Das Staatssekretariat für Migration lässt sich nicht vernehmen. Die Beschwerdeführenden replizieren.

Erwägungen:
1.
1.1. Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen. Für das Eintreten genügt, dass ein potentieller Anspruch in vertretbarer Weise dargetan wird.
Der Beschwerdeführer 1 ist Schweizer Staatsbürger. Er hat eine intakte familiäre Beziehung zu den Beschwerdeführerinnen 2 und 3, die bisher grenzüberschreitend gelebt wurde. Die Beschwerdeführenden berufen sich in vertretbarer Weise auf einen Bewilligungsanspruch aus Art. 42 Abs. 1 i.V.m. Art. 47 Abs. 1 und Abs. 4 des Bundesgesetzes über die Ausländerinnen und Ausländer und über die Integration (AIG; SR 142.20; bis 13. Dezember 2018: Bundesgesetz über die Ausländerinnen und Ausländer [AuG]) sowie Art. 8 EMRK und Art. 13 Abs. 1 BV (Schutz des Privat- und Familienlebens). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), prüft aber unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die geltend gemachten Vorbringen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 f.).
Die vorinstanzlichen Ausführungen, wonach die vorliegend anwendbaren ausländerrechtlichen Bestimmungen mit der Teilrevision des AIG (Änderungen vom 16. Dezember 2016 [AS 2017 6521]) nicht verändert wurden, sind zutreffend. Die in der Beschwerde aufgeworfene Frage nach der Anwendbarkeit von Übergangsbestimmungen stellt sich somit nicht.
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Dabei gelten, wie bei den in Art. 106 Abs. 2 BGG genannten Rügen, strenge Anforderungen an die Begründung (<ref-ruling> E. 9.2.3.6 S. 96 mit Hinweis).
2.
Die Beschwerdeführenden rügen eine offensichtlich unvollständige Sachverhaltsfeststellung und eine Verletzung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV). Die vorangegangenen kantonalen Instanzen hätten die Akten aus dem Kanton Zug zum Visumsgesuch aus dem Jahr 2013 nicht berücksichtigt und ausserdem nicht beachtet, dass die Geschwister der Beschwerdeführerin 3 Schweizer Bürger seien.
Zunächst ist diesen Vorbringen zu entgegnen, dass die Vorinstanz im angefochtenen Entscheid sehr wohl berücksichtigte, dass die Geschwister der Beschwerdeführerin 3 die Schweizer Staatsbürgerschaft besitzen. Es stellt keine Verletzung des rechtlichen Gehörs dar, dass sie daraus nicht die gleichen Schlüsse zog wie die Beschwerdeführenden. Mit ihren Ausführungen gelingt es den Beschwerdeführenden nicht, eine willkürliche Sachverhaltsfeststellung durch die Vorinstanz aufzuzeigen.
Die Vorinstanz gelangte in ihren Erwägungen zum Schluss, das im Mai 2014 im Kanton Zug eingeleitete Verfahren sei faktisch abgeschlossen worden und beim Familiennachzugsgesuch vom 27. März 2018 handle es sich um ein neues Gesuch. Für die Beschwerdeführerin 3 wäre auch das im Jahr 2014 gestellte Gesuch bereits verspätet gewesen, sie sei darin aber gar nicht genannt worden. Es wird im Folgenden zu prüfen sein, ob und inwieweit diese Erwägungen rechtlich haltbar sind und ob die Vorinstanz darauf verzichten durfte, auf die Akten aus dem Kanton Zug näher einzugehen (vgl. E. 4 hiernach).
3.
Gemäss Art. 42 Abs. 1 AIG haben ausländische Ehegatten und ledige Kinder unter 18 Jahren von Schweizerinnen und Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen. Der Anspruch auf Familiennachzug muss innert fünf Jahren geltend gemacht werden, Kinder über zwölf Jahre sind innerhalb von zwölf Monaten nachzuziehen (Art. 47 Abs. 1 AIG). Ein nachträglicher Familiennachzug wird nur bewilligt, wenn hierfür wichtige familiäre Gründe sprechen (Art. 47 Abs. 4 AIG). Die Fristen für ein Nachzugsgesuch von Familienangehörigen von Schweizerinnen und Schweizern (Art. 42 Abs. 1 AIG) beginnen mit deren Einreise in die Schweiz oder mit der Entstehung des Familienverhältnisses zu laufen (Art. 47 Abs. 3 lit. a AIG). Der Fristenlauf beginnt frühestens mit Inkrafttreten des Ausländergesetzes am 1. Januar 2008 (AS 2007 5489), sofern vor diesem Zeitpunkt die Einreise erfolgt oder das Familienverhältnis entstanden ist (Art. 126 Abs. 3 AIG). Ein Statuswechsel löst - da mit der Erteilung einer Niederlassungsbewilligung oder der Einbürgerung nachträglich ein Rechtsanspruch auf den Nachzug entsteht (Art. 42 und Art. 43 AIG) - eine neue Frist aus, falls das erste Gesuch wie auch das spätere innerhalb der gesetzlichen Frist gestellt wurden (<ref-ruling> E. 3.3 S. 397; Urteil 2C_323/2018 vom 21. September 2018 E. 3).
4.
Die Beschwerdeführenden 1 und 2 schlossen am 14. Januar 2013 die Ehe. Am 18. Februar 2013 stellte die Beschwerdeführerin 2 ein Visumsgesuch zwecks Familienzusammenführung und am 11. Mai 2014 ersuchte der Beschwerdeführer 1 beim Amt für Migration des Kantons Zug um Familiennachzug für seine Ehefrau und die beiden jüngsten (gemeinsamen) Kinder. Dass dieses Gesuch für die Beschwerdeführerin 2 fristgerecht erfolgte, wird von der Vorinstanz nicht bestritten. Die Beschwerdeführenden machen geltend, dieses Verfahren sei nach wie vor hängig und es sei im vorliegenden Verfahren für die Einhaltung der Nachzugsfrist auf das Gesuch vom 11. Mai 2014 abzustellen.
4.1. Die Vorinstanz führte unter Hinweis auf die Akten aus, im Zeitpunkt der Gesuchstellung im Kanton Zug hätten Unterlagen betreffend die Kinder sowie eine geeignete Wohnung gefehlt. Der Beschwerdeführer 1 habe, nachdem er diesbezüglich noch mit seiner Ehefrau habe Rücksprache halten wollen, sein Anliegen nicht mehr weiterverfolgt, keine weiteren Unterlagen eingereicht und keine anfechtbare Verfügung verlangt. Das erste Verfahren sei somit faktisch abgeschlossen worden, nachdem die zuständige Behörde sinngemäss ausgeführt habe, dass für die Kinder keine Unterlagen vorlagen und das Gesuch ohne grössere Wohnung nicht gutgeheissen werden könne, der Beschwerdeführer indes innert angemessener Frist keine grössere Wohnung habe zur Verfügung stellen können.
4.2. Die Beschwerdeführenden wenden zu Recht ein, dass das im Kanton Zug eingeleitete Verfahren nie abgeschlossen wurde. Bei den im angefochtenen Entscheid genannten "sinngemässen" Ausführungen der zuständigen Behörde handelt es sich um eine kurze Aktennotiz nach der Vorsprache des Beschwerdeführers 1 am Schalter des Amts für Migration des Kantons Zug vom 9. September 2014, welche mit der Bemerkung endet, dass er nochmals mit seiner Ehefrau Rücksprache halten werde. Darunter wurde vermerkt, es sei bis 16. April 2015 keine Reaktion erfolgt. Obwohl die Zuger Migrationsbehörden offenbar davon ausgingen, dass das Familiennachzugsgesuch mangels geeigneter Wohnung nicht gutgeheissen werden könne und Unterlagen zu den beiden im Gesuch eingeschlossenen (Schweizer) Kindern fehlen würden, erliessen sie keine anfechtbare Verfügung und setzten dem Beschwerdeführer 1 auch keine Frist, um allenfalls benötigte Unterlagen einzureichen. Von keiner Seite wird sodann behauptet, das Verfahren wäre infolge Rückzugs abgeschrieben worden. Es kann somit entgegen den vorinstanzlichen Ausführungen offensichtlich nicht davon ausgegangen werden, dass das Verfahren abgeschlossen worden sei.
4.3. Der Beschwerdeführer 1 ersuchte nach seinem Umzug auch in seinem neuen Wohnkanton Schwyz um Familiennachzug für die Beschwerdeführerin 2. Im Rahmen des ihm gewährten rechtlichen Gehörs zur beabsichtigten Abweisung des Gesuchs wies er auf das im Kanton Zug eingereichte Gesuch hin und reichte Akten aus diesem Verfahren ein. Das Amt für Migration des Kantons Schwyz wäre angesichts dieser Tatsache gehalten gewesen, mit den Migrationsbehörden des Nachbarkantons in Kontakt zu treten, um den Stand des hängigen Familiennachzugsverfahrens abzuklären und das weitere Vorgehen festzulegen. Namentlich hätte es das Verfahren aus dem Kanton Zug weiterführen und das erneute Gesuch um Familiennachzug in diesem Rahmen behandeln oder aber das Gesuch in einem neuen, separaten Verfahren bearbeiten müssen, welches bis zum Entscheid der Zuger Migrationsbehörden zu sistieren gewesen wäre.
4.4. Zusammenfassend ist festzuhalten, dass das rechtzeitig eingereichte Gesuch der Beschwerdeführerin 2 bis heute nicht entschieden wurde. Indem die vorangegangenen Instanzen das im Kanton Zug hängige Verfahren trotz ausdrücklichem Hinweis darauf nicht beachteten bzw. nicht in ihre Erwägungen einbezogen, verletzten sie die Rechte der Beschwerdeführenden 1 und 2 aus Art. 29 BV. Die Beschwerde ist folglich in Bezug auf die Beschwerdeführerin 2 gutzuheissen und die Sache entsprechend dem Eventualantrag zur materiellen Behandlung des Familiennachzugsgesuchs der Beschwerdeführerin 2 an das Amt für Migration des Kantons Schwyz zurückzuweisen.
5.
Die Beschwerdeführenden machen geltend, das Familiennachzugsgesuch sei mit dem Visumsantrag vom 18. Februar 2013 auch für die Beschwerdeführerin 3 fristgerecht gestellt worden, obwohl sie auf dem Visumsformular nicht erwähnt worden sei. Zudem würden wichtige familiäre Gründe für einen nachträglichen Nachzug vorliegen.
5.1. Die Beschwerdeführerin 3 wurde am 12. Dezember 2000 geboren. Die fünfjährige Frist für den Familiennachzug nach Art. 47 Abs. 1 AIG begann mit dem Inkrafttreten des AIG (damals AuG) am 1. Januar 2008 zu laufen (Art. 126 Abs. 3 AIG; vgl. E. 3 hiervor), da das Familienverhältnis zum Vater in diesem Zeitpunkt bereits bestand und er bereits Schweizer Bürger war. Die Frist endete mit Ablauf des fünften Jahres am 31. Dezember 2012, zumal die zwölfmonatige Frist gemäss Art. 47 Abs. 1 Satz 2 AIG die fünfjährige Frist gemäss Art. 47 Abs. 1 Satz 1 AIG nicht verlängern, sondern nur verkürzen kann (vgl. Urteile 2C_205/2011 vom 3. Oktober 2011 E. 3.5; 2C_201/2015 vom 16. Juli 2015 E. 3.2).
Das Familiennachzugsgesuch erfolgte für die Beschwerdeführerin 3 somit in jedem Fall verspätet. Die Argumentation in der Beschwerde, dass für sie bereits vor dem Jahr 2018 ein Gesuch gestellt worden sei, obwohl sie bis dahin im Unterschied zu zwei jüngeren Geschwistern unbestrittenermassen weder in einem Visumsantrag oder Familiennachzugsgesuch ihrer Mutter namentlich erwähnt wurde, noch ein eigenes Gesuch um Familiennachzug einreichte, ist im Übrigen offensichtlich nicht haltbar.
5.2. Zu prüfen bleibt, ob die Voraussetzungen für einen nachträglichen Familiennachzug im Sinne von Art. 47 Abs. 4 AuG erfüllt sind.
5.2.1. Wichtige familiäre Gründe im Sinne von Art. 47 Abs. 4 AIG liegen vor, wenn das Kindswohl nur durch einen Nachzug in die Schweiz sachgerecht gewahrt werden kann (Art. 75 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]). Entgegen dem Wortlaut der Verordnungsbestimmung ist dabei nach der Rechtsprechung jedoch nicht ausschliesslich auf das Kindswohl abzustellen; es bedarf vielmehr einer Gesamtschau unter Berücksichtigung aller relevanten Elemente im Einzelfall (Urteile 2C_943/2018 vom 22. Januar 2020 E. 3.2; 2C_888/2011 vom 20. Juni 2012 E. 3.1). Dabei ist auch dem Sinn und Zweck der Fristenregelung Rechnung zu tragen, wonach die Integration der Kinder bzw. Jugendlichen möglichst frühzeitig erfolgen soll. Zudem geht es darum, Nachzugsgesuchen entgegenzuwirken, die rechtsmissbräuchlich erst kurz vor Erreichen des erwerbstätigen Alters gestellt werden und im Resultat die erleichterte Zulassung zur Erwerbstätigkeit und nicht (mehr) die Bildung einer echten Familiengemeinschaft bezwecken (Urteile 2C_591/2017 vom 16. April 2018 E. 2.2.1; 2C_888/2011 vom 20. Juni 2012 E. 3.1). Die Bewilligung des Nachzugs nach Ablauf der Fristen hat nach dem Willen des Gesetzgebers die Ausnahme zu bleiben; dabei ist Art. 47 Abs. 4 Satz 1 AIG bzw. Art. 75 VZAE jeweils aber dennoch so zu handhaben, dass der Anspruch auf Schutz des Familienlebens nach Art. 8 EMRK bzw. Art. 13 BV nicht verletzt wird (Urteile 2C_943/2018 vom 22. Januar 2020 E. 3.2; 2C_767/2015 vom 19. Februar 2016 E. 5.1.1; je mit Hinweisen).
Ein Nachzug ausserhalb der gesetzlichen Fristen fällt ausser Betracht, wenn die hier lebende ausländische Person die Einhaltung der Fristen, die ihr die Zusammenführung der Gesamtfamilie ermöglicht hätte, versäumt hat und sie hierfür keine gewichtigen Gründe geltend machen kann. Es obliegt der nachzugswilligen Person, im Rahmen ihrer Mitwirkungspflichten die entsprechenden gewichtigen Gründe nicht nur zu behaupten, sondern auch zu belegen (vgl. Art. 90 AIG; Urteil 2C_363/2016 vom 25. August 2016 E. 2.4). Der Umstand, dass die Mutter gleichzeitig mit den Kindern nachgezogen werden soll, stellt gemäss der Rechtsprechung keinen wichtigen familiären Grund im Sinne von Art. 47 Abs. 4 AIG dar, um die Nachzugsfrist für die Kinder unbenutzt verstreichen zu lassen (vgl. Urteil 2C_363/2016 vom 25. August 2016 E. 2.4).
5.2.2. Die Beschwerdeführerin 3 bringt vor, zwar sei keine Betreuung durch ihre Mutter nötig, es seien aber die gesamten Umstände, in denen sie zurückgelassen würde, zu beachten. Sie sei als junge Frau alleine und ohne familiären Schutz in Ghana zahlreichen frauenspezifischen Risiken und einem erheblichen Druck einer viel zu raschen Verheiratung ausgesetzt. Es sei insbesondere im Licht von Art. 8 EMRK unzulässig und unverhältnismässig, das Zusammenleben der gesamten Familie in der Schweiz zu verhindern.
Zwar mag es zutreffen, dass ein Verbleib in Ghana für die inzwischen volljährige Beschwerdeführerin 3 ohne ihre Mutter und ihre Geschwister mit Schwierigkeiten verbunden ist, darin ist jedoch noch kein wichtiger Grund im Sinne von Art. 47 Abs. 4 AIG zu erblicken, zumal die allgemeinen Risiken für alleinstehende junge Frauen keine konkrete Gefährdung darstellen, welche im Rahmen einer Gesamtwürdigung eine Übersiedlung in die Schweiz erforderlich machen würden. Die Erwägung der Vorinstanz, dass die Beschwerdeführerin 3 bei einem Verbleib in Ghana in der ihr vertrauten Umgebung bleiben könne und ihr dortiges soziales Beziehungsnetz nicht verlassen müsse, ist nicht zu beanstanden. Es kann davon ausgegangen werden, dass die junge und soweit bekannt gesunde Beschwerdeführerin 3, die eigenen Angaben zufolge nicht in einem besonderen Abhängigkeitsverhältnis zu ihrer Mutter steht, in Ghana auch ohne die Anwesenheit ihrer Mutter und Geschwister zurechtkommen wird. Dass das (Kindes-) Wohl der Beschwerdeführerin 3 nur durch einen Nachzug in die Schweiz sachgerecht gewahrt werden könnte, ergibt sich aus ihren Vorbringen nicht.
5.2.3. Soweit sich die Beschwerdeführenden auf Art. 8 EMRK berufen, ist darauf hinzuweisen, dass diese Bestimmung in erster Linie die Kernfamilie, d.h. die Gemeinschaft der Ehegatten mit ihren minderjährigen Kindern schützt, sofern nicht ein besonderes Abhängigkeitsverhältnis besteht (<ref-ruling> E. 3.1 S. 230 f.; <ref-ruling> E. 3.4.2 S. 129). Während bei der Beurteilung des Familiennachzugs im Anwendungsbereich des AIG auf das Alter des Kindes im Zeitpunkt der Gesuchseinreichung abgestellt wird und ein hängiges Gesuch mithin auch gutgeheissen werden kann, wenn das Kind zwischenzeitlich volljährig geworden ist, ist für die Frage eines Anspruchs aus Art. 8 EMRK nach ständiger Rechtsprechung das Alter des Kindes im Zeitpunkt des bundesgerichtlichen Urteils massgebend (<ref-ruling> E. 3.1 S. 230 f., E. 5 ff. S. 232 ff. mit zahlreichen Hinweisen). Die Beschwerdeführerin 3 wurde im Dezember 2018 volljährig. Sie kann folglich aus Art. 8 EMRK keinen Anspruch auf Familiennachzug mehr ableiten.
5.2.4. Nach dem Gesagten ist das Vorliegen wichtiger Gründe für einen nachträglichen Familiennachzug von Beschwerdeführerin 3 zu verneinen. Die Beschwerde ist, soweit sie die Beschwerdeführerin 3 betrifft, abzuweisen. Der Vollständigkeit halber ist darauf hinzuweisen, dass es den Beschwerdeführenden nicht verwehrt ist, das Familienleben in der gemeinsamen ursprünglichen Heimat zu leben, wo sich für den Beschwerdeführer 1 gemäss den unbestrittenen vorinstanzlichen Feststellungen bereits in der Vergangenheit aus geschäftlichen Gründen teilweise längere Aufenthalte ergeben haben.
6.
6.1. Aufgrund dieser Erwägungen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Beschwerdeführerin 2 gutzuheissen und die Sache an das Amt für Migration des Kantons Schwyz zurückzuweisen. Im Übrigen ist die Beschwerde, was die Beschwerdeführerin 3 betrifft, abzuweisen.
6.2. Bei diesem Ausgang des Verfahrens ist von einem hälftigen Obsiegen der Beschwerdeführenden auszugehen. Nachdem sie keine Belege für die geltend gemachte Bedürftigkeit eingereicht haben, ist das Gesuch um unentgeltliche Rechtspflege und Verbeiständung abzuweisen (Art. 64 BGG). Dem Ausgang des Verfahrens entsprechend haben die Beschwerdeführenden 1 und 3 die hälftigen Gerichtskosten zu tragen (Art. 66 BGG). Den Beschwerdeführenden 1 und 2 ist eine Parteientschädigung zulasten des Kantons Schwyz zuzusprechen (Art. 68 Abs. 1 und 2 BGG). Der Kanton Schwyz hat keine Gerichtskosten zu tragen (vgl. Art. 66 Abs. 3 BGG); es ist ihm keine Entschädigung geschuldet (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird im Sinne der Erwägungen teilweise gutgeheissen. Das Urteil des Verwaltungsgerichts des Kantons Schwyz vom 29. August 2019 wird aufgehoben, soweit es das Gesuch um Familiennachzug der Beschwerdeführerin 2 betrifft, und die Sache wird an das Amt für Migration des Kantons Schwyz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
2.1. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung wird abgewiesen.
2.2. Die Gerichtskosten werden im Umfang von Fr. 1'000.- den Beschwerdeführenden 1 und 3 auferlegt.
2.3. Der Kanton Schwyz hat die Beschwerdeführenden 1 und 2 für das bundesgerichtliche Verfahren mit Fr. 1'250.- zu entschädigen.
2.4. Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 3. März 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Zünd
Die Gerichtsschreiberin: Straub