Sachverhalt:
A. Der serbische Staatsangehörige albanischer Volkszugehörigkeit X._ (geb. 1962) war in den Jahren 1990 bis 1994 in der Schweiz als Saisonnier tätig. Im Jahr 1994 wurde ihm eine Aufenthaltsbewilligung erteilt und seit April 2001 ist er im Besitz der Niederlassungsbewilligung. Seit August 1992 ist er mit seiner Landsfrau Y._ (geb. 1968) verheiratet. Aus der Ehe gingen die Söhne A._ (geb. 1992), B._ (geb. 1995) und C._ (geb. 1997) hervor. Die Ehefrau und die Kinder haben - abgesehen von einigen Monaten im Jahr 1999, während denen sie sich in der Schweiz aufhielten und vergeblich ein Asylgesuch stellten - bisher in der Heimat gelebt.
Am 4. November 2009 ersuchte X._ um Familiennachzug für seine Ehefrau und die Söhne. Das Ausländeramt des Kantons St. Gallen (seit 1. März 2011 Migrationsamt) wies das Gesuch für die Söhne am 11. Februar 2010 ab. Nachdem X._ auf Nachfrage erklärt hatte, er halte trotzdem an seinem Antrag auf Nachzug seiner Ehefrau fest, bewilligte das Ausländeramt diesen Antrag am 17. Februar 2010. In der Folge erhob X._ erfolglos Rechtsmittel beim Sicherheits- und Justizdepartement sowie beim Verwaltungsgericht des Kantons St. Gallen gegen die Verweigerung des Nachzugs der Kinder.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. März 2011 beantragt X._ dem Bundesgericht, das kantonal zuletzt ergangene Urteil des Verwaltungsgerichts vom 26. Januar 2011 aufzuheben und das Migrationsamt anzuweisen, ihm die "Einreisebewilligung" für seine drei Söhne zu erteilen.
Das kantonale Sicherheits- und Justizdepartement sowie das Bundesamt für Migration beantragen Abweisung der Beschwerde. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das kantonale Migrationsamt hat sich nicht vernehmen lassen.
Erwägungen:
1. Die form- und fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist mit Blick auf die Ausschlussgründe des Art. 83 lit. c BGG zulässig, weil und soweit der Beschwerdeführer als niederlassungsberechtigter Ausländer nach Art. 43 AuG (Ausländergesetz; SR 142.20) und Art. 8 EMRK sowie Art. 13 BV einen grundsätzlichen Bewilligungsanspruch geltend machen kann. In Bezug auf Art. 43 AuG, nicht jedoch in Bezug auf Art. 8 EMRK und Art. 13 BV, ist unerheblich, dass der älteste Sohn A._ inzwischen über achtzehn Jahre alt ist, da er dieses Alter im Zeitpunkt der Einreichung des Nachzugsgesuchs noch nicht erreicht hatte (vgl. BGE 136 II 497 E. 3.2 - 3.9 S. 499 ff.). Der Niederlassungs- und Konsularvertrag zwischen der Schweiz und Serbien vom 16. Februar 1888 (SR 0.142.118.181) verschafft keinen Bewilligungsanspruch für die Familienangehörigen (Urteil des Bundesgerichts 2A.42/2001 vom 11. Mai 2001 E. 3b in fine; vgl. auch BGE 119 IV 65).
Ein schutzwürdiges Interesse an der Änderung des angefochtenen Entscheids nach Art. 89 Abs. 1 lit. c BGG besteht fort, auch wenn die Ehefrau und Kindsmutter die ihr erteilte Einreisebewilligung nicht innert Frist wahrgenommen hat und vorerst bei den Kindern in der Heimat geblieben ist. Ungeachtet der Frage, ob es darauf überhaupt ankommt, hat der Beschwerdeführer angekündigt, dass je nach Ausgang des Verfahrens betreffend die Söhne ein neues Nachzugsgesuch für die Kindsmutter gestellt würde.
2. 2.1 Die Vorinstanzen begründen die Bewilligungsverweigerung für die Kinder damit, dass das Gesuch nicht innert Frist nach Art. 47 Abs. 1 AuG gestellt worden sei und keine wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG gegeben seien, die eine nachträgliche Familienzusammenführung rechtfertigen würden.
2.2 Gemäss Art. 43 AuG haben ausländische Ehegatten und ledige Kinder unter 18 Jahren von Personen mit Niederlassungsbewilligung Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Abs. 1). Kinder unter zwölf Jahren haben Anspruch auf Erteilung der Niederlassungsbewilligung (Abs. 3). Nach Art. 47 Abs. 1 AuG muss der Anspruch auf Familiennachzug innerhalb von fünf Jahren geltend gemacht werden (Satz 1). Kinder über zwölf Jahre müssen innerhalb von zwölf Monaten nachgezogen werden (Satz 2). Die Fristen beginnen bei Familienangehörigen von Ausländern mit der Erteilung der Aufenthalts- oder Niederlassungsbewilligung oder der Entstehung des Familienverhältnisses (Art. 47 Abs. 3 lit. b AuG). Die Fristen nach Art. 47 Abs. 1 AuG beginnen allerdings erst mit dem Inkrafttreten des Ausländergesetzes - am 1. Januar 2008 (AS 2007 5489) -, sofern vor diesem Zeitpunkt die Einreise erfolgt oder das Familienverhältnis entstanden ist (Art. 126 Abs. 3 AuG). Wurde der Nachzug innert der Fristen des Art. 47 Abs. 1 AuG beantragt, so ist er zu bewilligen, wenn gemäss Art. 51 Abs. 2 AuG kein Rechtsmissbrauch oder Widerrufsgründe nach Art. 62 AuG gegeben sind, die nachziehenden Eltern das Sorgerecht haben und das Kindeswohl dem Nachzug nicht entgegensteht (vgl. BGE 136 II 78 E. 4.7 und 4.8 S. 85 ff.). Ein nachträglicher Familiennachzug wird dagegen nur bewilligt, wenn wichtige familiäre Gründe geltend gemacht werden (Art. 47 Abs. 4 Satz 1 AuG).
3. 3.1 Den Vorinstanzen zufolge habe die Frist für den Nachzug gemäss Art. 47 Abs. 1 AuG für alle drei Söhne zwölf Monate betragen, weil diese im Zeitpunkt der Gesuchseinreichung über zwölf Jahre alt gewesen seien. Da das Familienverhältnis bereits vor dem Inkrafttreten des Ausländergesetzes am 1. Januar 2008 bestanden und der Beschwerdeführer auch schon vor diesem Datum über die Niederlassungsbewilligung verfügt habe, sei für den Beginn des Laufs der Frist auf Art. 126 Abs. 3 AuG abzustellen. Mithin habe die erwähnte zwölfmonatige Frist ab dem 1. Januar 2008 zu laufen begonnen und für alle drei Söhne am 31. Dezember 2008 geendet. Der Familiennachzug sei demnach im November 2009 nach Fristablauf beantragt worden.
3.2 Der Beschwerdeführer räumt ein, dass die Frist nach Art. 47 Abs. 1 AuG für die beiden älteren Söhne bereits abgelaufen war. Er bestreitet jedoch, dass dies für seinen jüngsten Sohn C._ der Fall war. Dieser sei Ende April 1997 geboren, habe demnach erst im April 2009 seinen zwölften Geburtstag gehabt und sei bei Gesuchseinreichung erst zwölfeinhalb Jahre alt gewesen. Die zwölfmonatige Frist laufe ab dem 1. Januar 2008 nur für Kinder, die zu diesem Zeitpunkt bereits zwölf Jahre alt gewesen seien, nicht jedoch für Kinder wie C._, die dieses Alter erst später erreichten. Für Letztere laufe diese kurze Frist erst ab dem zwölften Geburtstag. Als das Nachzugsgesuch im November 2009 gestellt wurde, sei deshalb erst etwa die Hälfte von der zwölfmonatigen Frist nach Art. 47 Abs. 1 Satz 2 AuG verstrichen gewesen.
3.3 Das Bundesgericht hat in BGE 136 II 497 festgehalten, dass für die Frage, ob die Altersgrenze von 18 Jahren nach Art. 42 Abs. 1 bzw. Art. 43 Abs. 1 AuG eingehalten worden sei, das Alter des Kindes bei Gesuchseinreichung entscheidend ist (dortige E. 3.7 S. 504). Auf den letztgenannten Zeitpunkt kommt es auch für die weitere Frage an, ob das Gesuch rechtzeitig innert der Fristen nach Art. 47 Abs. 1 AuG gestellt worden sei und ob die ein- oder fünfjährige Frist gelte (dortige E. 3.4 S. 502). Insoweit erweist sich die vorinstanzliche Auffassung zur Geltung der zwölfmonatigen Frist als korrekt, da die drei Kinder bei Gesuchseinreichung am 4. November 2009 über zwölf Jahre alt waren. Damit ist aber noch nicht gesagt, ab wann die kurze, einjährige Frist zu laufen beginnt. Die Vorinstanzen gehen vom 1. Januar 2008 aus.
3.4 Da der Beschwerdeführer vor dem Inkrafttreten des Ausländergesetzes am 1. Januar 2008 bereits in die Schweiz eingereist war und zu diesem Zeitpunkt das Familienverhältnis zu den Kindern auch schon bestand, ist auf die Übergangsbestimmung des Art. 126 Abs. 3 AuG und nicht auf Art. 47 Abs. 3 AuG abzustellen (vgl. dazu Urteile des Bundesgerichts 2C_154/2010 vom 8. November 2010 E. 2.5 und 2C_181/2010 vom 1. Oktober 2010 E. 5.2). Diese besagt wörtlich, dass "die Fristen nach Art. 47 Absatz 1 [AuG] mit dem Inkrafttreten" des Ausländergesetzes zu laufen beginnen.
Als das Ausländergesetz am 1. Januar 2008 in Kraft trat, war der jüngste Sohn C._ erst rund zehn Jahre und acht Monate, die beiden anderen Söhne zwölf Jahre und zehn Monate bzw. fünfzehn Jahre und drei Monate alt. Mithin galt für den Jüngsten damals gemäss Art. 47 Abs. 1 AuG noch die Frist von fünf Jahren und nicht bereits die einjährige Frist wie für die beiden älteren Brüder.
Die Rechtsanwendung der Vorinstanzen führt insoweit zu einem logischen Widerspruch. Hätte der Beschwerdeführer das Nachzugsgesuch bis zum zwölften Geburtstag seines jüngsten Sohnes im April 2009 gestellt, wäre auf dieses auch nach ihrer Auffassung noch die Fünfjahresfrist, die am 1. Januar 2008 zu laufen begann, anzuwenden gewesen. Sie hätten den Nachzugsantrag für diesen Sohn dann als fristgerecht behandelt. Wird der Nachzug aber nach dessen zwölften Geburtstag beantragt, kommen sie zum Schluss, für ihn habe die nunmehr geltende Zwölfmonatsfrist bereits ab dem 1. Januar 2008 zu laufen begonnen und sei damit schon am 1. Januar 2009 verstrichen gewesen. Das würde aber heissen, dass dann im Grunde auch die zwischen dem letztgenannten Datum und dem zwölften Geburtstag gestellten Anträge als verspätet zu gelten hätten. Der sich insoweit ergebende Widerspruch entspricht denn auch nicht dem Sinn des Gesetzes. Diesem zufolge soll die verkürzte einjährige Frist erst ab dem zwölften Lebensjahr der Kinder - und damit selbstverständlich ohne Rückwirkung - greifen, während vorher noch die längere Frist nach Art. 47 Abs. 1 Satz 1 AuG gelten soll (zum Sinn und zur Ermittlung der Fristen s. auch sogleich E. 3.5).
3.5 Zwar ist - wie erwähnt (E. 3.3. hievor) - für die Bestimmung der anwendbaren Frist nach Art. 47 Abs. 1 AuG auf das Alter der Kinder im Zeitpunkt der Gesuchseinreichung abzustellen. Beim jüngsten Sohn C._ beträgt diese Frist wie für seine Brüder zwölf Monate, da das Nachzugsgesuch nach Vollendung des zwölften Lebensjahres gestellt wurde. Das heisst - entgegen der Ansicht der Vorinstanzen - jedoch nicht, dass diese kürzere Frist für alle Kinder bereits ab dem 1. Januar 2008 galt. Vielmehr bleibt die Fünfjahresfrist nach Art. 47 Abs. 1 Satz 1 AuG bis zum zwölften Geburtstag massgebend, unabhängig davon ob die Frist nach Art. 47 Abs. 3 AuG oder nach Art. 126 Abs. 3 AuG zu laufen begann. Erst ab dem zwölften Geburtstag verkürzt sich die Nachzugsfrist gemäss Art. 47 Abs. 1 Satz 2 AuG auf - maximal noch - ein Jahr.
Waren seit dem Beginn des Fristenlaufs von den ursprünglichen fünf Jahren noch weniger als vier verstrichen, verbleibt somit ab dem zwölften Geburtstag eine Frist von einem Jahr. Waren schon mehr als vier Jahre vergangen, endet die Frist allerdings mit Ablauf des fünften Jahres. Denn die zwölfmonatige Frist gemäss Art. 47 Abs. 1 Satz 2 AuG bildet nicht eine zusätzliche Frist neben der fünfjährigen nach Art. 47 Abs. 1 Satz 1 AuG, sondern stellt nur eine Verkürzung der letztgenannten Frist dar. Ansonsten würde die fünfjährige Frist für jüngere Kinder wenig Sinn machen, wenn ab dem zwölften Geburtstag eine zusätzliche, neue Frist zu laufen begänne. Art. 47 Abs. 1 Satz 2 AuG soll die Eltern im Sinne der erwünschten frühzeitigen Einschulung und Integration (vgl. Botschaft zum AuG, in BBl 2002 3754 Ziff. 1.3.7.7; BGE 133 II 6 E. 5.4 S. 20) dazu anhalten, die Kinder binnen Jahresfrist nachzuziehen, sobald das Kind seinen zwölften Geburtstag hatte und sofern die möglicherweise bereits laufende Fünfjahresfrist nicht sogar vorher verstreicht bzw. schon verstrichen ist.
3.6 Auf den Sohn C._ bezogen ergibt sich nach dem Dargelegten Folgendes: Als dieser zwölf Jahre alt wurde, waren von der ursprünglichen fünfjährigen Frist mit Blick auf Art. 126 Abs. 3 AuG erst ein Jahr und knapp vier Monate verstrichen. Zwar betrug die Nachzugsfrist danach nicht noch die Differenz von drei Jahren und acht Monaten. Vielmehr verkürzte sie sich mit Blick auf Art. 47 Abs. 1 Satz 2 AuG auf ein Jahr. Demnach war für C._ das Nachzugsgesuch spätestens bis zu seinem 13. Geburtstag Ende April 2010 zu stellen, um die Fristen zu wahren. Diese wurden für ihn mit dem Gesuch vom November 2009 eingehalten.
Demzufolge bedarf es für den im erwähnten Zeitpunkt beantragten Nachzug von C._ keiner wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG. Der Nachzug ist daher zu bewilligen, wenn er nicht rechtsmissbräuchlich geltend gemacht wird und keine Widerrufsgründe nach Art. 62 AuG vorliegen (vgl. Art. 51 Abs. 2 AuG). Zu prüfen ist insoweit auch noch, ob der Nachzug nicht in klarer Missachtung des Wohls sowie der familiären Bindungen des Kindes in seinem Heimatstaat erfolgen soll und wie sich die Betreuungssituation gestalten wird (vgl. zu Art. 43 AuG: Urteile des Bundesgerichts 2C_44/2010 vom 26. August 2010 E. 2.1.3 und 2C_526/2009 vom 14. Mai 2010 E. 9.1; zu Art. 42 Abs. 1 AuG: BGE 136 II 78 E. 4.8 S. 87 f.; Urteil 2C_606/2009 vom 17. März 2010 E. 2.2). Abgesehen von besonderen Umständen ist nicht allein deshalb, weil die älteren Geschwister möglicherweise nicht mehr nachgezogen werden können, davon auszugehen, dass das Wohl von C._ seinem Nachzug entgegensteht. Andernfalls würden die - allenfalls kürzeren - Nachzugsfristen für die älteren Kinder immer auch auf die jüngeren Geschwister durchschlagen, was nicht im Gesetz vorgesehen ist. Eine Rolle kann jedoch spielen, wie es um die Beziehung von C._ zu seinen Eltern steht, wo die Mutter zu verbleiben gedenkt und wer ihn in der Schweiz betreuen wird.
4. In Bezug auf die beiden älteren Kinder ergibt sich aus dem in Erwägung 3 Dargelegten, dass alle Verfahrensbeteiligten zu Recht vom Ablauf der Nachzugsfristen nach Art. 47 Abs. 1 in Verbindung mit Art. 126 Abs. 3 AuG ausgehen. Deshalb bedarf es gemäss Art. 47 Abs. 4 AuG wichtiger familiärer Gründe, um einen rechtlich durchsetzbaren Anspruch auf Nachzug dieser Söhne zu begründen.
4.1 Der Beschwerdeführer macht sinngemäss geltend, es sei nicht der Sinn des Gesetzes, der Kindsmutter den Nachzug zum Ehemann zu erlauben und ihn gleichzeitig den gemeinsamen Kindern, die mit ihrer Mutter zusammenleben, zu verweigern. Im Übrigen würden weder die serbische noch die schweizerische Rechtsordnung akzeptieren, dass Eltern ihre minderjährigen Kinder alleine zurücklassen. Namentlich würden dann vormundschaftliche Massnahmen ergriffen. Die Vorinstanz hält dem unter anderem entgegen, es sei nicht schon deshalb von wichtigen familiären Gründen auszugehen, weil dem Gesuch um Nachzug der Mutter entsprochen werde. Andernfalls würden dadurch die für den Nachzug der Kinder bestehenden Fristen umgangen. Der Gesetzgeber habe aber die unterschiedlichen Fristen für Kinder und Ehepartner gewollt. Auch sei die Kindsmutter nicht gezwungen, ihren Lebensmittelpunkt zum Ehemann in die Schweiz zu verlegen und ihre Kinder zu verlassen.
4.2 Die wichtigen familiären Gründe im Sinne von Art. 47 Abs. 4 AuG sind in einer mit dem Grundrecht der Achtung des Familienlebens nach Art. 13 BV und Art. 8 EMRK vereinbaren Weise auszulegen (Urteil des Bundesgerichts 2C_709/2010 vom 25. Februar 2011 E. 5.1.1 in fine; Weisungen und Erläuterungen des Bundesamts für Migration, Abschnitt I. Ausländerbereich, Version 1. Januar 2011, Stand 1. Juli 2011, Ziff. 6.10.4 in fine). Solche Gründe liegen etwa dann vor, wenn das Kindeswohl nur durch einen Nachzug in die Schweiz sachgerecht gewahrt werden kann (vgl. Art. 75 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]; BGE 2C_711/2010 vom 1. April 2011 E. 2.3.1 in fine und Urteil 2C_44/2010 vom 26. August 2010 E. 2.1.2 in fine). Unter Hinweis auf BGE 126 II 329 führt die Botschaft vom 8. März 2002 zum Ausländergesetz als Beispiel an, dass die weiterhin notwendige Betreuung der Kinder im Herkunftsland etwa wegen des Todes oder der Krankheit der betreuenden Person nicht mehr gewährleistet ist (BBl 2002 3794 zu Art. 46 E-AuG). Allerdings lehnte es der Gesetzgeber ab, nur Änderungen bei den Betreuungsverhältnissen anzuerkennen, die nicht vorhersehbar waren (AB 2004 N 759-765). Im Übrigen soll mit der Fristenregelung unter anderem verhindert werden, dass Gesuche um Nachzug von Kindern rechtsmissbräuchlich erst kurz vor Erreichen des erwerbsfähigen Alters gestellt werden. Denn in diesen Fällen steht laut Botschaft oft die erleichterte Zulassung zur Erwerbstätigkeit im Vordergrund, ohne dass eine echte Familiengemeinschaft angestrebt wird (BBl 2002 3754 Ziff. 1.3.7.7).
Bei der Beurteilung, ob wichtige familiäre Gründe vorliegen, kommt mithin im Wesentlichen die unter dem früheren Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG, BS 1 121 und Änderungen gemäss der Fussnote zur Ziff. I des Anhangs 2 zum AuG) entwickelte Praxis zum Nachzug zu nur einem Elternteil zum Tragen (BGE 136 II 78 E. 4.7 S. 86; erwähnter BGE 2C_711/2010 E. 2.3.1 in fine und erwähntes Urteil 2C_709/2009 E. 5.1.1; vgl. zu dieser Praxis: BGE 136 II 78 E. 4.1 S. 80, 120 E. 2.1 S. 123 f.; 133 II 6 E. 3.1, 5.3 und 5.5 S. 9 ff.; 126 II 329 E. 2 und 3 S. 330 ff.; je mit Hinweisen). Diese lässt indessen offen, was gilt, wenn der in der Schweiz wohnhafte Elternteil neben den Kindern gleichzeitig auch den anderen Elternteil, der bisher die hauptsächliche Betreuung im Herkunftsland wahrgenommen hat, zu sich holen will.
4.3 Insoweit fragt sich, ob dieser Umstand - gleichzeitiger Nachzug des betreuenden Elternteils - einen wichtigen familiären Grund darstellt. In den Materialien finden sich dazu keine ausdrücklichen Angaben (vgl. AB 2004 N 759-765; 2005 N 1239; 2005 S 304-308). Der ursprüngliche Entwurf des Bundesrates zum Ausländergesetz sah noch eine einheitliche Frist von fünf Jahren für den Ehepartner und sämtliche minderjährigen Kinder vor (vgl. Botschaft zum AuG, in BBl 2002 3794 und 3863). Unter dem früheren Recht war ein Nachzug der Gesamtfamilie - Ehepartner und gemeinsame minderjährige Kinder - grundsätzlich jederzeit möglich und stand nur unter dem Vorbehalt des Rechtsmissbrauchs (vgl. BGE 126 II 329; 129 II 11 E. 3.1.2 S. 14). Der Gesetzgeber wollte mit dem neuen Ausländergesetz aber eben keinen jederzeitigen Nachzug mehr zulassen, weshalb er die neue Fristenregelung vorsah und dabei sogar unterschiedliche Fristen für Kinder einführte.
4.4 Soweit sich die Literatur zur vorliegenden Problematik überhaupt äussert, tendiert sie zur Bejahung eines wichtigen familiären Grundes zugunsten des Kindernachzugs. Die Zusammenführung der Gesamtfamilie entspreche in aller Regel dem Kindeswohl (vgl. Rumo-Jungo/ Spescha, Kindeswohl, Kindesanhörung und Kindeswille in ausländerrechtlichen Kontexten, AJP 2009 S. 1111 insb. Fn. 60; Martina Caroni, Bundesgesetz über die Ausländerinnen und Ausländer, Caroni/ Gächter/Thurnherr [Hrsg.], 2010, N. 24 zu Art. 47 AuG).
Diese Auffassung übergeht, dass eine Übersiedlung in ein anderes Land vor allem für Kinder bzw. Jugendliche, die mindestens schon ihren 13. Geburtstag hatten (vgl. dazu Art. 47 Abs. 1 Satz 2 AuG), einen bedeutenden Eingriff darstellt. Insbesondere dann, wenn sie die Sprache der Gegend, in welche sie nachziehen sollen, nicht beherrschen, führt der Wechsel zu einer empfindlichen Entwurzelung und ist - zumindest anfänglich - mit erheblichen Problemen verbunden. Das Kindeswohl kann also auch für die Beibehaltung des bisherigen Zustandes sprechen. Letztlich bedarf es einer Gesamtschau. Dabei ist zu berücksichtigen, dass die Bewilligung des Nachzugs nach Ablauf der Fristen dem Willen des Gesetzgebers zufolge die Ausnahme und nicht die Regel bilden soll. Ein solcher Nachzug kommt nicht in Betracht, wenn der Nachzugswillige die Einhaltung von Fristen, die ihm die Zusammenführung der Gesamtfamilie ermöglicht hätte, versäumt hat und er keine gewichtigen Gründe geltend macht, um erst später einen derartigen Nachzug zu beantragen.
4.5 Der Beschwerdeführer behauptet nicht, dass er, seine Ehefrau und die Kinder ihre Beziehung ohne den Nachzug in die Schweiz nicht mehr wie in den vergangenen Jahren, als sie an getrennten Orten wohnten, weiterleben können. Er macht auch nicht geltend, seine Ehefrau werde neuerdings daran gehindert, die Betreuung der Kinder in der Heimat wahrzunehmen. Es ist deshalb davon auszugehen, dass die Ehefrau wie bisher bei ihren Kindern in Serbien bleiben und das Familienleben im selben Umfang weitergeführt werden kann. Ausserdem hatte der Beschwerdeführer freiwillig seine Familie verlassen und die ganzen Jahre über von ihnen getrennt in der Schweiz gewohnt. Dass ihm heute eine Rückkehr in seine Heimat nicht mehr möglich wäre, ist nicht erstellt. Art. 8 EMRK und Art. 13 BV garantieren dem Ausländer nicht das Recht, frei wählen zu können, wo er das Familienleben zu führen gedenkt (vgl. Urteil des Europäischen Gerichtshofs für Menschenrechte [EGMR] Ahmut gegen Niederlande vom 28. November 1996, Recueil CourEDH 1996-VI S. 2017, insbes. §§ 67-71). Der EGMR mutete insoweit sogar einem niederländisch-marokkanischen Staatsangehörigen zu, die Niederlande zu verlassen und mit seiner marokkanischen Ehefrau nach Marokko zurückzukehren, falls er mit seinem dort wohnhaften marokkanischen Sohn leben möchte. Demzufolge ergibt sich aus der Bewilligung des Nachzugs der Mutter und allenfalls des jüngsten Kindes vorliegend kein wichtiger familiärer Grund im Sinne von Art. 47 Abs. 4 AuG für den Nachzug der beiden älteren Söhne.
Daran ändert nichts, dass sich die Ehefrau und Kindsmutter im Falle ihrer Einreise selber grundsätzlich ebenfalls auf die Nachzugsfristen nach Art. 47 AuG oder Art. 73 VZAE berufen könnte. Denn bei der vorliegenden Konstellation wäre nicht davon auszugehen, dass dann neue Fristen für die gemeinsamen Kinder zu laufen beginnen. Wollte man das Gegenteil annehmen, würden die Fristbestimmungen, die zur baldigen Einschulung in der Schweiz und damit zur besseren Integration einen frühest möglichen Nachzug fordern, ausgehöhlt. Eltern, die zusammenleben bzw. das Zusammenwohnen beabsichtigen, sind insoweit als Einheit zu betrachten, so dass sich die Mutter die vom Vater bereits versäumten Fristen entgegenhalten lassen müsste.
4.6 Der Beschwerdeführer macht zusätzlich geltend, seine Ehefrau habe in der Heimat neben den Kindern auch ihre Eltern bzw. Schwiegereltern - seit dem Jahr 2002 nur noch ihre Schwiegermutter - betreuen müssen. Er setzt sich insoweit jedoch nicht mit dem Schluss der Vorinstanz auseinander, es erscheine unwahrscheinlich, dass nicht wie bei zahlreichen Landsleuten früher eine andere Lösung hätte gefunden werden können. Er beschränkt sich darauf zu erklären, für Albaner gebe es in Serbien keine mit Alters- und Pflegeheimen vergleichbaren Institutionen. Er legt hingegen nicht dar, dass und wie sich die Familie ernsthaft um alternative Betreuungsmöglichkeiten - z.B. durch andere Verwandte oder Dritte - für die (Schwieger-)Mutter bemüht hätte und warum solche dann doch nicht in Betracht kamen. Mithin erweist sich der diesbezügliche Schluss der Vorinstanz als nicht willkürlich. Hat sich der Beschwerdeführer insoweit nicht ernsthaft um andere Betreuungsmöglichkeiten bemüht, kann er hernach nicht die Pflege der Schwiegermutter zur Rechtfertigung eines verspäteten Nachzugsgesuchs bzw. zur Begründung eines wichtigen familiären Grundes im Sinne von Art. 47 Abs. 4 AuG anrufen. Unbehelflich ist schliesslich die durch nichts belegte und zudem als Novum (dazu BGE 133 III 393 E. 3 S. 395) aus dem Recht zu weisende Behauptung, der Nachzug sei "versprochen" worden, sobald die anderweitige Betreuung der Schwiegermutter geregelt sei.
4.7 Der Beschwerdeführer und seine Ehefrau werden demnach entscheiden müssen, ob sie das Familienleben entweder im bisherigen Umfang weiterführen oder - falls die Mutter allenfalls mit dem jüngsten Sohn in die Schweiz nachzieht - für eine anderweitige Betreuung der älteren Söhne etwa in einem Internat oder bei Verwandten sorgen. Im erwähnten Urteil des EGMR (Ahmut gegen Niederlande) war der Sohn im Herkunftsland in einem Internat untergebracht. Es ist zudem gerichtsnotorisch, dass oftmals auch für eine Betreuung durch Verwandte wie Onkel und Tanten - allenfalls gegen einen finanziellen Beitrag - optiert wird. Mindestens ein solcher Familienangehöriger ist den eigenen Ausführungen des Beschwerdeführers zufolge in der Heimat vorhanden; er soll angeblich die Betreuung der Schwiegermutter weiterführen, welche bis anhin von der Kindsmutter wahrgenommen worden war. Immerhin sind die beiden älteren Söhne heute knapp neunzehn und sechzehneinhalb Jahre alt und waren bei Stellung des Nachzugsgesuchs bereits siebzehn und vierzehneinhalb Jahre alt und bedürfen nicht mehr der gleich intensiven Betreuung wie ein Kleinkind.
5. 5.1 Dem Dargelegten zufolge ist die Beschwerde betreffend den Nachzug der beiden älteren Kinder A._ und B._ unbegründet und damit abzuweisen. Die Beschwerde betreffend den Nachzug des jüngsten Kindes C._ ist gutzuheissen. Die Sache ist insoweit an die erstverfügende Behörde, das kantonale Migrationsamt, gemäss Art. 107 Abs. 2 Satz 2 BGG zurückzuweisen. Dieses wird im Sinne der Erwägungen (s. E. 3 hievor) neu zu entscheiden haben, wobei der Beschwerdeführer ihm verbindlich mitzuteilen haben wird, ob er für seine Ehefrau ein neues Nachzugsgesuch stellt.
5.2 Diesem Ausgang entsprechend hat der Beschwerdeführer die Gerichtskosten von Fr. 2'000.-- anteilsmässig zu tragen (Art. 65 f. BGG). Vom Kanton St. Gallen sind gemäss Art. 66 Abs. 4 BGG keine Kosten zu erheben. Allerdings hat dieser dem Beschwerdeführer einen Teil der Anwaltskosten zu erstatten (vgl. Art. 68 BGG). Über die Kosten und Parteientschädigungen in den vorinstanzlichen Verfahren wird das Verwaltungsgericht neu zu befinden haben (vgl. Art. 67 und Art. 68 Abs. 5 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird betreffend den Sohn C._ (geb. 1997) gutgeheissen, das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 26. Januar 2011 aufgehoben und die Sache an das Migrationsamt des Kantons St. Gallen zu neuem Entscheid im Sinne der Erwägungen zurückgewiesen. Betreffend die Söhne A._ und B._ (geb. 1992 und 1995) wird die Beschwerde abgewiesen. In Bezug auf die Kosten und Parteientschädigungen in den vorinstanzlichen Verfahren wird die Sache an das Verwaltungsgericht zu neuem Entscheid zurückgewiesen.
2. Dem Beschwerdeführer werden anteilsmässige Gerichtskosten in Höhe von Fr. 1'300.-- auferlegt.
3. Der Kanton St. Gallen hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'000.-- zu bezahlen.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 3. Oktober 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz