Sachverhalt:
A.
A.A._ (geb. 1954; serbischer Staatsangehöriger) lebt seit 1984 (gemäss eigener Aussage: 1978) in der Schweiz und ist im Besitz der Niederlassungsbewilligung. Mit seiner Frau, die 2003 verstarb und ebenfalls über die Niederlassungsbewilligung verfügte, hat A.A._ vier gemeinsame Kinder, die alle in der Schweiz zur Welt kamen und seit Geburt über die Niederlassungsbewilligung verfügten (B.A._, geb. 1997; C.A._, geb. 1999; D.A._, geb. 2000; E.A._, geb. 2001). Nach dem Tod seiner Ehefrau brachte A.A._ die vier Kinder zu seinem Bruder und dessen Familie nach Serbien; die Abmeldung in der Schweiz erfolgte per 31. August 2006. Die Kinder waren aber bereits 2004 aus der Schweiz ausgereist.
Am 18. September 2006 ersuchte A.A._ die damalige kantonale Fremdenpolizei um Reservation der Niederlassungsbewilligung für die Kinder. Sie würden sich seit dem Tod der Mutter im Ausland aufhalten, da in der Schweiz keine Betreuungsperson vorhanden sei, sollen aber später wieder in die Schweiz einreisen. Mit Schreiben vom 25. September 2006 wurde dem Gesuch nicht entsprochen. Aufgrund Betriebsschliessung verlor A.A._ 2008 seine Arbeitsstelle. Anschliessend war er arbeitslos und bezog Krankentaggelder sowie 2010 infolge eines Unfalls ein Taggeld der Suva. Ausserdem erhielt er seit dem Tod der Ehefrau eine Witwerrente sowie - für die Kinder - Waisenrenten. 2009 stellte A.A._ ausserdem einen Antrag auf Leistungen der IV. Nach verschiedenen Abklärungen verneinte die IV mit Vorbescheid von 2014 einen Rentenanspruch.
Am 12. Juni 2014 ersuchte A.A._ das Amt für Migration um Familiennachzug für seine vier Kinder. Mit Schreiben vom 26. Juni 2014 teilte ihm das Amt für Migration mit, auf das Gesuch werde nicht eingetreten, da die Wohnsituation und die finanziellen Verhältnisse ungenügend seien und verschiedene Gesuchsunterlagen veraltet seien oder fehlten.
Ein am 18. Dezember 2014 eingereichtes Gesuch auf Familiennachzug für den Sohn B.A._ sandte das Amt für Migration am 13. Februar 2015 als gegenstandslos zurück, da die Frist von 30 Tagen für den Antrag auf Erteilung eines Schengen-Visums abgelaufen sei; das Gesuch wurde als "annuliert" gekennzeichnet.
Am 27. Juli 2015 ersuchte A.A._ das Amt für Migration erneut um Familiennachzug für den ältesten Sohn B.A._. Am 19. Januar 2016 (nach Anhörung von B.A._ durch die Schweizer Botschaft in Belgrad vom 18. Dezember 2015 sowie der Anhörung des Beschwerdeführers vom 15. Januar 2016 durch das Amt für Migration) informierte das Amt für Migration A.A._ über die beabsichtigte Ablehnung des Gesuchs und gewährte das rechtliche Gehör. Am 22. Februar 2016 ersuchte A.A._ um Fristerstreckung. Gleichzeitig reichte er ein Gesuch auf Familiennachzug für alle vier Kinder ein. In einer Stellungnahme vom 1. März 2016 machte er Unrechtmässigkeit der Ablehnung des Familiennachzugsgesuchs für den ältesten Sohn geltend und bestätigte das Gesuch auf Familiennachzug für alle vier Kinder.
Nachdem sich der Gesundheitszustand von A.A._ weiter verschlechtert hatte, beschloss die IV am 25. April 2016, dass er seit dem 1. September 2014 Anspruch auf eine halbe IV-Rente habe. Da A.A._ als Witwer auch die Voraussetzungen für eine Hinterlassenenrente erfüllte, wurde ihm rückwirkend ab 1. September 2014 eine volle IV-Rente zugesprochen.
Nach der Anhörung der übrigen drei Kinder durch die Schweizer Botschaft in Belgrad und weiteren Sachverhaltsabklärungen informierte das Amt für Migration A.A._ am 28. März 2017 darüber, dass es das Gesuch auf Familiennachzug der vier Kinder abzulehnen gedenke. Nachdem A.A._ hierzu Stellung genommen hatte, wies das Amt für Migration das Gesuch auf Familiennachzug mit Verfügung vom 23. Juni 2017 ab.
B.
A.A._ erhob gegen die Verfügung des Amts für Migration Verwaltungsbeschwerde beim Regierungsrat, welche dieser mit Beschluss vom 23. Januar 2018 abwies. Hiergegen führte A.A._ Beschwerde beim Verwaltungsgericht des Kantons Schwyz. Dieses wies die Beschwerde mit Entscheid vom 24. April 2018 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. Juni 2018 beantragt der Beschwerdeführer Aufhebung des Entscheids des Verwaltungsgerichts des Kantons Schwyz vom 24. April 2017 [recte: 2018] und Bewilligung des Gesuchs um Familiennachzug sowie Ausstellung von Einreise- und Aufenthaltsbewilligungen für B.A._, C.A._, D.A._ und E.A._. Eventualiter sei das Verfahren zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Regierungsrat des Kantons Schwyz hat sich vernehmen lassen und beantragt Abweisung der Beschwerde, soweit darauf eingetreten werden könne.

Erwägungen:
1.
1.1. Auf dem Gebiet des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten im Zusammenhang mit Bewilligungen ausgeschlossen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (Art. 83 lit. c Ziff. 2 BGG). Ob die jeweiligen Bewilligungsvoraussetzungen erfüllt sind, ist eine Frage der materiellen Beurteilung; für das Eintreten genügt, dass ein entsprechender Anwesenheitsanspruch in vertretbarer Weise geltend gemacht wird (vgl. <ref-ruling> E. 1.1 S. 179).
1.2. Der Beschwerdeführer beruft sich auf einen Anspruch seiner Kinder auf Familiennachzug aus Art. 43 Abs. 1 und Art. 47 Abs. 4 AIG (SR 142.20; vormals: Bundesgesetz über die Ausländerinnen und Ausländer, AuG) sowie Art. 8 EMRK. Ob dieser Anspruch zu Recht geltend gemacht wird, bildet Gegenstand der materiellen Beurteilung (<ref-ruling> E. 1.1 S. 179). Vor diesem Hintergrund ist der Bewilligungsanspruch des Beschwerdeführers insgesamt in vertretbarer Weise geltend gemacht.
1.3. Als Vater der vier Kinder, auf deren Anspruch auf Familiennachzug er sich beruft, verfügt der Beschwerdeführer über ein eigenes schutzwürdiges Interesse an der Aufhebung und Abänderung des angefochtenen Urteils (Art. 89 Abs. 1 lit. c BGG; Urteil 2C_1040/2017 vom 21. Dezember 2018 E. 1.2; vgl. zu diesem Erfordernis bei Drittbeschwerden "pro Adressat" der belastenden Verfügung BERNHARD WALDMANN, in: Niggli/Uebersax/Wiprächtiger/Kneubühler [Hrsg.], Basler Kommentar zum BGG, 3. Aufl. 2018, N 28 zu Art. 89 BGG). Er hat am Verfahren vor der Vorinstanz teilgenommen (Art. 89 Abs. 1 lit. a BGG) und ist zur Beschwerde legitimiert.
1.4. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) eingereicht und richtet sich gegen einen Endentscheid einer letzten, oberen kantonalen Instanz (Art. 86 Abs. 1 lit. d und Abs. 2 BGG). Auf die Beschwerde ist einzutreten.
1.5. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Das Bundesgericht prüft zwar grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 1.4.1 S. 254). Es ist allerdings weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 3 S. 415). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (Art. 106 Abs. 2 BGG). Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde vorgebracht und begründet worden sind (<ref-ruling> E. 2.5 S. 314).
1.6. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 116). Der Beschwerdeführer kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Er hat deshalb substanziiert darzulegen, weswegen diese Voraussetzungen gegeben sein sollen; wird er dieser Anforderung nicht gerecht, bleibt es beim vorinstanzlich festgestellten Sachverhalt (<ref-ruling> E. 1.3.1 S. 18).
2.
2.1. Es ist unstrittig, dass die Frist für den Familiennachzug nach Art. 47 Abs. 1 AIG unbenutzt abgelaufen ist. Ebenso unbestritten ist, dass das Gesuch der Beschwerdeführer auf Familiennachzug - abgesehen von einem allfälligen Anspruch auf Vertrauensschutz (vgl. unten E. 4) - nur noch unter den Voraussetzungen von Art. 47 Abs. 4 AIG bewilligt werden kann. Danach kann ein nachträglicher Familiennachzug nur bewilligt werden, wenn wichtige familiäre Gründe geltend gemacht werden. Der Beschwerdeführer macht geltend, er habe das Gesuch auf Familiennachzug nicht fristgerecht eingereicht, weil er erkannt habe, dass er vor Erhalt der IV-Rente keine Chance auf Bewilligung gehabt hätte. Ausserdem sei das Verhältnis zwischen den Kindern und dem Onkel und der Tante, von welchen sie in Serbien betreut werden, schwierig geworden. Sodann sei den Kindern in einem psychologischen Bericht vom 12. Februar 2018 eine Depression attestiert worden.
2.2. Das Gesetz enthält keine Definition der wichtigen familiären Gründe. Klar ist aber, dass solche Gründe nur mit Zurückhaltung anzunehmen sind und der Begriff im Einklang mit den grundrechtlichen Vorgaben zur Achtung des Familienlebens (Art. 13 BV und Art. 8 EMRK) auszulegen ist. Der blosse Wunsch einer bisher getrennt lebenden Familie, fortan zusammenzuwohnen, stellt demnach keinen wichtigen familiären Grund dar, sondern ist Grundvoraussetzung eines jeden, fristgerechten Familiennachzugs (Art. 42 Abs. 1, Art. 43 Abs. 1 lit. a und Art. 44 Abs. 1 lit. a AIG; vgl. Urteile 2C_259/2018 vom 9. November 2018 E. 4.1; 2C_153/2018 vom 25. Juni 2018 E. 5.2; 2C_285/2015 vom 23. Juli 2015 E. 3.1).
2.3. Nach Art. 75 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit (VZAE; SR 142.201) liegt ein wichtiger familiärer Grund vor, wenn das Wohl des Kindes nur durch seinen Nachzug in die Schweiz sachgerecht gewahrt werden kann (vgl. dazu Urteile 2C_323/2018 vom 21. September 2018 E. 8.2.1; 2C_888/2011 vom 20. Juni 2012 E. 3.1). Entgegen dem Wortlaut der Verordnungsbestimmung ist aber nicht ausschliesslich auf das Kindeswohl abzustellen. Es bedarf vielmehr einer Gesamtschau unter Berücksichtigung aller relevanten Elemente im Einzelfall (vgl. Urteile 2C_1154/2016 vom 25. August 2017 E. 3.1; 2C_176/2015 vom 27. August 2015 E. 3.1; 2C_888/2011 vom 20. Juni 2012 E. 3.1), wobei grundsätzlich auf die frühere Praxis zum Familiennachzug abgestellt werden kann (<ref-ruling> E. 2.2 S. 289 und E. 2.3.1 S. 291; <ref-ruling> E. 4.7 S. 85 f.; Urteil 2C_147/2015 vom 22. März 2016 E. 2.4.3). Ein wichtiger Grund liegt demnach vor, wenn die weiterhin notwendige Betreuung der Kinder im Herkunftsland beispielsweise wegen des Todes oder der Krankheit der betreuenden Person nicht mehr gewährleistet ist und keine sinnvolle andere Alternative in der Heimat gefunden werden kann. Je älter das nachzuziehende Kind ist und je grösser die Integrationsschwierigkeiten erscheinen, die ihm hier drohen, desto weniger ist davon auszugehen, dass eine Betreuung in der Schweiz allfälligen Alternativen im Herkunftsland überlegen wäre (vgl. <ref-ruling> E. 2.2 S. 289; Urteile 2C_147/2015 vom 22. März 2016 E. 2.4.3; 2C_767/2015 vom 19. Februar 2016 E. 5.1.2). Es obliegt im Rahmen ihrer Mitwirkungspflichten der nachzugswilligen Person, die entsprechenden Umstände nicht nur zu behaupten, sondern auch Beweismittel dafür beizubringen (vgl. 90 AIG; Urteile 2C_1154/2016 vom 25. August 2017 E. 3.1; 2C_1/2017 vom 22. Mai 2017 E. 4.1.4; 2C_303/2014 vom 20. Februar 2015 E. 6.1 in fine).
2.4.
2.4.1. Die Vorinstanz hat in ihrem Urteil detailliert aufgezeigt, weswegen dem Wohl der Kinder besser gedient ist, wenn sie ihrem Umfeld in Serbien nicht entrissen werden und dort ihre Ausbildung abschliessen können. In diesem Zusammenhang stellte sie fest, dass keinerlei Anhaltspunkte dafür bestünden, dass der Verbleib in der bestehenden Betreuungssituation bei Onkel und Tante für die Kinder im nunmehr fortgeschrittenen Alter unzumutbar geworden sei. Im Gegenteil liessen die Befragungen der Kinder erkennen, dass ihre Beziehung zu Onkel und Tante intakt sei und sie die Freizeit in der Familie verbringen. Ausserdem hielt die Vorinstanz eine erfolgreiche Integration der Kinder in der Schweiz angesichts ihres fortgeschrittenen Alters und ihrer beschränkten Deutschkenntnisse für unwahrscheinlich.
Mit diesen Erkenntnissen der Vorinstanz setzt sich der Beschwerdeführer nicht auseinander. Er behauptet zwar, die Platzverhältnisse bei Onkel und Tante seien mittlerweile sehr knapp geworden, zeigt jedoch nicht auf, dass die Feststellungen der Vorinstanz diesbezüglich offensichtlich unrichtig gewesen wären (vgl. Art. 97 Abs. 1 BGG). Folglich ist er mit diesem Vorbringen nicht zu hören. Wenn der Beschwerdeführer sodann behauptet, die Integration der Kinder in der Schweiz würde voraussichtlich keine Probleme bereiten, setzt er sich in offenkundigen Widerspruch zu den Feststellungen der Vorinstanz, die den Kindern nur sehr beschränkte Deutschkenntnisse attestierte. Was schliesslich den Wunsch seiner Kinder angeht, bei ihm in der Schweiz zu leben, ist dem Beschwerdeführer mit der Vorinstanz zu entgegnen, dass dieser Wunsch zwar nachvollziehbar ist, aber für sich genommen keinen wichtigen familiären Grund im Sinne von Art. 47 Abs. 1 AIG darstellt (vgl. oben E. 2.2).
2.4.2. Ebenso unbehelflich ist das Argument des Beschwerdeführers, er hätte wegen seiner schlechten finanziellen Situation vorerst darauf verzichtet, ein Gesuch auf Familiennachzug zu stellen. Erst die Aussicht auf eine IV-Rente, die er im Jahr 2014 aus dem Kontakt mit den Gutachtern der IV gewonnen haben will, habe ihn zur Stellung eines entsprechenden Gesuchs motiviert. Allerdings hat die Vorinstanz nicht festgestellt, dass der Beschwerdeführer bereits 2014 Aussicht darauf gehabt hätte, dass ihm eine IV-Rente zugesprochen würde, hatte die IV den Anspruch mit einem Vorbescheid in jenem Jahr doch gerade verneint. Ausserdem waren die finanziellen Verhältnisse des Beschwerdeführers zumindest in den ersten Jahren nach dem Stellenverlust dank der Taggeldzahlungen nicht schlechter gewesen als zum Zeitpunkt der Gesuchseinreichung. Ein wichtiger familiärer Grund lässt sich in diesem Vorbringen des Beschwerdeführers nicht erkennen.
3.
3.1. Soweit sich der Beschwerdeführer zur Begründung des Gesuchs auf seine eigene schlechte gesundheitliche Situation beruft, liegt darin kein wichtiger familiärer Grund im Sinne von Art. 47 Abs. 4 AIG, der das Verpassen der Frist nach Art. 47 Abs. 1 AIG rechtfertigen könnte.
3.2. Auch aus Art. 8 EMRK kann der Beschwerdeführer insoweit nichts zu seinen Gunsten ableiten.
3.2.1. Nach ständiger Praxis des EGMR und des Bundesgerichts gewährt Art. 8 EMRK der ausländischen Familie nicht das Recht, frei wählen zu können, wo sie das Familienleben zu führen gedenken (<ref-ruling> E. 2b/cc; Urteile des EGMR i.S. Konstantinov gegen Niederlande vom 26. April 2007 [Nr. 16351/03] § 48; i.S. Gül gegen Schweiz vom 19. Februar 1996 § 38; NATHANAËL PETERMANN, Les obligations positives de l'Etat dans la jurisprudence de la Cour européenne des droits de l'homme, 2014, S. 286 ff.; MINH SON NGUYEN, in: Amarelle/Christen/Nguyen [Hrsg.], Migrations et regroupement familial, 2012, S. 146 ff.). Das in Art. 8 EMRK geschützte Recht auf Achtung des Familienlebens kann nur angerufen werden, wenn eine staatliche Entfernungs- oder Fernhaltemassnahme zur Trennung von Familienmitgliedern führt (<ref-ruling> E. 4.1.1). Muss ein Ausländer, dem eine ausländerrechtliche Aufenthaltsbewilligung verweigert worden ist, das Land verlassen oder kann nicht einreisen, haben dies seine hier lebenden Angehörigen - besondere Umstände vorbehalten - hinzunehmen, wenn ihnen eine Ausreise "ohne Schwierigkeiten" möglich ist; eine Interessenabwägung nach Art. 8 Ziff. 2 EMRK erübrigt sich unter diesen Umständen. Anders verhält es sich, falls die Ausreise für die Familienangehörigen "nicht von vornherein ohne weiteres zumutbar" erscheint. In diesem Fall ist immer eine Interessenabwägung nach Art. 8 Ziff. 2 EMRK geboten, welche sämtlichen Umständen des Einzelfalls umfassend Rechnung trägt (<ref-ruling> E. 2.1. S. 155 mit Hinweisen; <ref-ruling> E. 3d S. 158).
3.2.2. Unter Bezugnahme auf den Länderbericht "Focus Serbien, Medizinische Grundversorgung, insbesondere in Südserbien" des Staatssekretariat für Migration SEM vom 17. Mai 2017 hat sich die Vorinstanz eingehend mit der medizinischen Grundversorgung in Serbien und insbesondere in Südserbien auseinandergesetzt und aufgezeigt, dass diese gewährleistet ist. Die Herzbeschwerden des Beschwerdeführers können im Klinischen Zentrum in Nis, psychiatrische Leiden im Regionalspital Vranje und im Gesundheitszentrum Presevo angemessen behandelt werden. Medikamentenverschreibungen aus dem Ausland können in der Regel fortgeführt und medizinisch begleitet werden, auch wenn sie Medikamente der neusten Generation betreffen.
3.2.3. Der Beschwerdeführer zeigt nicht auf, dass diese Feststellungen offensichtlich unrichtig waren (Art. 97 Abs. 1 BGG). Er macht auch nicht geltend, ein besonderes Interesse daran zu haben, in der Schweiz zu verbleiben bzw. dass ihm die Ausreise nach Serbien unzumutbar sei. Es kann indessen offengelassen werden, ob ihm die Ausreise ohne weiteres zumutbar ist und deshalb keine Interessenabwägung nach Art. 8 Ziff. 2 EMRK stattzufinden hat. Denn jedenfalls ist ihm die Ausreise angesichts der ausreichenden medizinischen Versorgung in Serbien zumutbar (vgl. oben E. 3.2.2) und überwiegen die mit den Nachzugsfristen in Art. 47 Abs. 1 AIG verfolgten öffentlichen Interessen (namentlich Steuerung der Zuwanderung; vgl. dazu <ref-ruling> E. 2.1 S. 287 f.; Urteil 2C_323/2018 vom 21. September 2018 E. 6.5.1 m.H.) das private Interesse des Beschwerdeführers und seiner Kinder an einer Zusammenführung in der Schweiz.
4.
4.1. Der Beschwerdeführer macht schliesslich einen Anspruch aus Art. 9 BV geltend, wonach er in seinem Vertrauen auf die Richtigkeit einer Auskunft der Fremdenpolizei des Kantons Schwyz vom 25. September 2006 zu schützen sei. Die Fremdenpolizei hätte ihn über die damals bevorstehende Einführung der Nachzugsfristen informieren müssen. Gerade am Vortag der Auskunft (24. September 2006) habe das Stimmvolk nämlich über das Referendum gegen das AuG abgestimmt und dieses deutlich verworfen, d.h. das Gesetz angenommen. Als Fachbehörde habe die Fremdenpolizei aufgrund der Aktualität des Themas mit den vorgesehenen Änderungen vertraut gewesen sein müssen.
4.2. Der in Art. 9 BV verankerte Grundsatz von Treu und Glauben verleiht einer Person unter bestimmten Voraussetzungen Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden. Das Bundesgericht hat in seiner Rechtsprechung anerkannt, dass sich aus dem erwähnten Grundsatz unter Umständen auch ein Anspruch auf eine Aufenthaltsbewilligung ergeben kann (<ref-ruling> E. 3a S. 387). Vorausgesetzt ist jedoch, dass die Behörden eine Vertrauensgrundlage geschaffen haben, wie z.B. die Zusicherung einer Aufenthaltsbewilligung; die blosse Erteilung einer Aufenthaltsbewilligung begründet für sich allein kein schutzwürdiges Vertrauen in die Erneuerung derselben (<ref-ruling> E. 3b S. 387 f.; Urteile 2C_126/2007 vom 18. Juni 2007 E. 2.7; 2C_140/2010 vom 17. Juni 2010 E. 5.3; 2C_184/2014 vom 4. Dezember 2014 E. 4.3).
4.3. Vorliegend hat die zuständige Behörde dem Beschwerdeführer keinen Aufenthaltstitel für seine Kinder zugesichert. Vielmehr informierte sie ihn lediglich darüber, dass die Kinder auf Gesuch um Familiennachzug eine Niederlassungsbewilligung erhalten würden, sofern sie im Zeitpunkt des Gesuchs noch minderjährig und ledig seien und dem Gesuch entsprochen werden könne. Daraus durfte der Beschwerdeführer keinesfalls ableiten, dass einem erst rund acht (für den ältesten Sohn) bzw. zehn Jahre (für die übrigen Kinder) später eingereichten Gesuch ohne weiteres entsprochen werden würde. Im Gegenteil: Die Fremdenpolizei hatte den Beschwerdeführer in ihrem Schreiben vom 25. September 2006 sogar ausdrücklich darauf hingewiesen, dass mit der Einreise nicht zu lange zugewartet und das Gesuch vor Beendigung der obligatorischen Schulzeit gestellt werden solle, damit eine Integration noch möglich sein würde. An diese Vorgaben hat sich der Beschwerdeführer entweder nicht oder höchstens teilweise gehalten, wartete er doch ausgesprochen lange zu, bis er das Gesuch stellte, und hatten zumindest drei der vier Kinder zum Zeitpunkt des streitbetroffenen Gesuchs die obligatorische Schulzeit bereits hinter sich gebracht.
4.4. Die Auskunft der Fremdenpolizei des Kanton Schwyz vom 25. September 2006 stellte somit bereits unter damaligem Recht keine Vertrauensgrundlage dar, aufgrund derer der Beschwerdeführer Aufenthaltstitel für seine Kinder hätte reklamieren können. Wenn der Beschwerdeführer selbst nach altem Recht für sich nichts aus dieser Auskunft ableiten kann, braucht nicht geklärt zu werden, inwiefern die Fremdenpolizei den Beschwerdeführer auf die bevorstehende Verschärfung der Nachzugsregelung hätte informieren müssen.
5.
Das Urteil der Vorinstanz ist im Einklang mit Bundes- und Völkerrecht, sodass sich die Beschwerde dagegen als unbegründet erweist. Die Kosten des bundesgerichtlichen Verfahrens sind dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Das Amt für Migration des Kantons Schwyz obsiegt in seinem Wirkungskreis, sodass es keinen Anspruch auf Parteientschädigung hat (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Kosten des bundesgerichtlichen Verfahrens von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 23. August 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Seiler