Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1961) reiste mit seiner Familie (Ehefrau Y._ und vier Kinder) 1991 als Asylbewerber in die Schweiz ein. 1993 wurde sein Asylgesuch letztinstanzlich abgewiesen. Im Jahr 2002 kehrte die Familie in den Kosovo zurück. Im selben Jahr wurde die Ehe geschieden und das elterliche Sorgerecht der Mutter übertragen, obwohl diese schon damals an psychischen Problemen litt. 2004 reiste X._ erneut als Asylbewerber in die Schweiz ein und heiratete eine Schweizer Bürgerin, worauf er eine Aufenthaltsbewilligung erhielt. Ein Gesuch um Nachzug seines ältesten Sohnes scheiterte im Jahr 2005. X._ wurde 2009 erleichtert eingebürgert.
B. Nachdem am 24. November 2009 das Amtsgericht von Peja (Kosovo) aufgrund der psychischen Probleme der Kindsmutter das elterliche Sorgerecht über die beiden damals noch minderjährigen Kinder Z._ (geb. 1992) und W._ (geb. 1994) auf ihn übertragen hatte, stellte X._ am 11. März 2010 ein Nachzugsgesuch für diese beiden Kinder. Das Migrationsamt des Kantons Zürich wies das Gesuch am 9. November 2010 ab, und ein dagegen erhobener Rekurs blieb erfolglos (Entscheid der Sicherheitsdirektion des Kantons Zürich vom 12. Oktober 2011); mit Urteil vom 17. Januar 2012 hat auch das Verwaltungsgericht des Kantons Zürich eine dagegen erhobene Beschwerde abgewiesen.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 20. Februar 2012 beantragt X._, das in dieser Sache zuletzt ergangene Urteil des Verwaltungsgerichts des Kantons Zürich aufzuheben und dem Gesuch um Familiennachzug zu entsprechen.
Das Verwaltungsgericht und (sinngemäss) die Sicherheitsdirektion verzichten auf eine Vernehmlassung, das kantonale Migrationsamt hat sich nicht vernehmen lassen. Das Bundesamt für Migration beantragt, die Beschwerde abzuweisen.

Erwägungen:
1. Die form- und fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist mit Blick auf die Ausschlussgründe des <ref-law> zulässig, weil und soweit der Beschwerdeführer als Schweizer Bürger nach Art. 42 AuG (Ausländergesetz; SR 142.20) und Art. 8 EMRK sowie <ref-law> einen grundsätzlichen Bewilligungsanspruch geltend machen kann. Dass die Kinder inzwischen über 18 Jahre alt sind, ist für das Glaubhaftmachen eines Anspruchs gestützt auf Art. 42 AuG unerheblich, da sie dieses Alter bei Einreichung des Nachzugsgesuchs noch nicht erreicht hatten (vgl. <ref-ruling> E. 3.2 - 3.9 S. 499 ff.).
2. Gemäss Art. 42 AuG haben ausländische Ehegatten und ledige Kinder unter 18 Jahren von Schweizerinnen und Schweizern Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Abs. 1). Kinder unter zwölf Jahren haben Anspruch auf Erteilung der Niederlassungsbewilligung (Abs. 4). Nach Art. 47 Abs. 1 AuG muss der Anspruch auf Familiennachzug innerhalb von fünf Jahren geltend gemacht werden (Satz 1). Kinder über zwölf Jahre müssen innerhalb von zwölf Monaten nachgezogen werden (Satz 2). Die Fristen beginnen bei Familienangehörigen von Schweizerinnen und Schweizern mit deren Einreise oder der Entstehung des Familienverhältnisses (Art. 47 Abs. 3 lit. a AuG). Die Fristen nach Art. 47 Abs. 1 AuG laufen allerdings erst mit dem Inkrafttreten des Ausländergesetzes - am 1. Januar 2008 (AS 2007 5489) -, sofern vor diesem Zeitpunkt die Einreise erfolgt oder das Familienverhältnis entstanden ist (Art. 126 Abs. 3 AuG). Wurde der Nachzug innert der Fristen des Art. 47 Abs. 1 AuG beantragt, so ist er zu bewilligen, wenn gemäss Art. 51 Abs. 1 AuG kein Rechtsmissbrauch oder Widerrufsgründe nach Art. 63 AuG gegeben sind, die nachziehenden Eltern das Sorgerecht haben und das Kindeswohl dem Nachzug nicht entgegensteht (vgl. <ref-ruling> E. 4.7 und 4.8 S. 85 ff.). Ein nachträglicher Familiennachzug wird dagegen nur bewilligt, wenn wichtige familiäre Gründe geltend gemacht werden (Art. 47 Abs. 4 Satz 1 AuG; vgl. Urteile 2C_247/2012 vom 2. August 2012 E. 3.1; 2C_888/2011 vom 20. Juni 2012 E. 2.1; 2C_205/2011 vom 3. Oktober 2011 E. 2.2).
3. 3.1 Der Beschwerdeführer bringt vor, die von der Vorinstanz als massgeblich erachtete einjährige Nachzugsfrist könne auf seinen Fall keine Anwendung finden, denn er sei erst seit November 2009 sorgeberechtigt. Zuvor habe er gestützt auf die bundesgerichtliche Praxis den Familiennachzug noch gar nicht beantragen können bzw. ein entsprechender Antrag wäre aussichtslos gewesen. Mit seinem Nachzugsgesuch vom 11. März 2010 habe er die Jahresfrist seit Erteilung des elterlichen Sorgerechts eingehalten.
3.2 Tatsächlich hat das Bundesgericht in <ref-ruling> E. 4.8 S. 86 ff. festgehalten, der Familiennachzug müsse in Übereinstimmung mit den Regeln des Zivilrechts erfolgen. Daraus lässt sich indessen nicht schliessen, die Fristen von Art. 47 AuG würden generell erst mit der Übertragung des Sorgerechts zu laufen beginnen. Denn es liegt in der Verantwortung der Eltern, eine sachgerechte Regelung des Sorgerechts sicherzustellen, wenn sie sich scheiden lassen und der eine Elternteil das Heimatland verlässt. Vorliegend haben sich der Beschwerdeführer und seine Frau dazu entschieden, ihre Kinder bei der Mutter im Kosovo aufwachsen zu lassen, obwohl diese bereits damals psychisch erkrankt war. Der Beschwerdeführer und seine Frau haben sich bis ins Jahr 2009 hinein gegen den Nachzug der Kinder in die Schweiz zum Vater entschieden, weshalb kein Grund besteht, die Frist erst ab der Übertragung des Sorgerechts laufen zu lassen (vgl. Urteil 2C_305/2012 vom 1. Oktober 2012 E. 4.5); es ist vielmehr auf die üblichen Fristen abzustellen:
Der Beschwerdeführer ist vor dem Inkrafttreten des Ausländergesetzes am 1. Januar 2008 in die Schweiz eingereist und zu diesem Zeitpunkt bestand das Familienverhältnis zu den Kindern bereits. Zur Bestimmung der massgeblichen Frist für das Nachzugsgesuch ist folglich auf die Übergangsbestimmung von Art. 126 Abs. 3 AuG, wonach die Fristen nach Art. 47 Abs. 1 AuG mit Inkrafttreten des Ausländergesetzes zu laufen beginnen, und nicht auf Art. 47 Abs. 3 AuG abzustellen (<ref-ruling> E. 3.1 S. 394 f.; vgl. auch die Urteile des Bundesgerichts 2C_132/2012 vom 19. September 2012 E. 2.2; 2C_205/2011 vom 3. Oktober 2011 E. 3.4 und 2C_154/2010 vom 8. November 2010 E. 2.5).
Als das Ausländergesetz am 1. Januar 2008 in Kraft trat, waren die beiden jüngeren Kinder, um die es im vorliegenden Verfahren geht, älter als zwölf Jahre, mithin galt für sie die einjährige Frist gemäss dem zweiten Satz von Art. 47 Abs. 1 AuG. Diese ist am Ende des Jahres 2008 abgelaufen, ohne dass der Beschwerdeführer um die Bewilligung des Nachzugs seiner Kinder nachgesucht hätte. Auch die Einbürgerung des Beschwerdeführers im Jahr 2009 vermag für sich allein keinen neuen Fristenlauf zu begründen, wenn er nicht zuvor fristgerecht um Familiennachzug ersucht hatte (<ref-ruling> E. 3.3 S. 397; Urteil 2C_888/2011 vom 20. Juni 2012 E. 2.5). Ein Nachzug innerhalb der Fristen ist damit ausgeschlossen.
4. Der Beschwerdeführer bringt weiter vor, es bestünden aufgrund der veränderten Betreuungssituation unabhängig der geltenden Fristen wichtige familiäre Gründe im Sinne von Art. 47 Abs. 4 AuG, um den Nachzug seiner beiden Kinder auch nachträglich zu bewilligen: Weder die psychisch kranke Mutter noch der Onkel, der die Kinder zeitweilig betreut habe, seien in der Lage, dies weiterhin zu tun.
4.1 Wichtige familiäre Gründe liegen etwa dann vor, wenn das Kindeswohl nur durch einen Nachzug in die Schweiz sachgerecht gewahrt werden kann (vgl. Art. 75 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]; <ref-ruling> E. 2.3.1 am Ende). Entgegen dem Wortlaut dieser Verordnungsbestimmung ist dabei nach der Rechtsprechung jedoch nicht ausschliesslich auf das Kindeswohl abzustellen; es bedarf vielmehr einer Gesamtschau unter Berücksichtigung aller relevanten Elemente im Einzelfall. Dabei ist dem Sinn und Zweck der Fristenregelung Rechnung zu tragen, welche die Integration der Kinder erleichtern will, indem diese durch einen frühzeitigen Nachzug unter anderem auch eine möglichst umfassende Schulbildung in der Schweiz geniessen sollen. Zudem geht es darum, Nachzugsgesuchen entgegenzuwirken, die rechtsmissbräuchlich erst kurz vor Erreichen des erwerbstätigen Alters gestellt werden, wobei die erleichterte Zulassung zur Erwerbstätigkeit und nicht (mehr) die Bildung einer echten Familiengemeinschaft im Vordergrund steht (BBl 2002 3754 f. Ziff. 1.3.7.7). Die Bewilligung des Nachzugs nach Ablauf der Fristen hat nach dem Willen des Gesetzgebers die Ausnahme zu bleiben; dabei ist Art. 47 Abs. 4 Satz 1 AuG jeweils aber dennoch so zu handhaben, dass der Anspruch auf Schutz des Familienlebens nach Art. 8 EMRK bzw. <ref-law> nicht verletzt wird (Urteile 2C_780/2012 vom 3. September 2012 E. 2.2.; 2C_532/2012 vom 12. Juni 2012 E. 2.2; 2C_765/2011 vom 28. November 2011 E. 2.1; 2C_205/2011 vom 3. Oktober 2011 E. 4.2; 2C_709/2010 vom 25. Februar 2011 E. 5.1.1).
4.2 Nach den unbestrittenen Feststellungen der Vorinstanz waren die Kinder des Beschwerdeführers im Zeitpunkt der - für die Beurteilung massgeblichen - Einreichung des Nachzugsgesuchs 17 3/4 bzw. gut 16 Jahre alt. In diesem Alter ist der Ablösungsprozess der Kinder vom Elternhaus regelmässig weit fortgeschritten, ohne allerdings bereits abgeschlossen zu sein. Während Jugendliche in der Lage sind, die täglichen Verrichtungen selbstständig wahrzunehmen, erscheinen eine finanzielle Unterstützung und auch eine gewisse Betreuung in schwierigeren Lebenssituationen weiterhin nötig, wobei diese grundsätzlich auch von einer Vertrauensperson ausserhalb der engeren Familie wahrgenommen werden kann. Wie die Vorinstanz festgestellt hat, kommt der Beschwerdeführer für den Lebensunterhalt seiner beiden jüngeren Kinder im Kosovo auf, sodass ihre materiellen Bedürfnisse als abgedeckt gelten können. Darüber hinaus hat sie bisher ein Onkel betreut, der sich nun aber offenbar aus kaum substanziierten - und angesichts des Alters der Kinder auch nicht ganz nachvollziehbaren - Gründen ausserstande sehen will, diese Aufgabe wahrzunehmen. Wie aus den obenstehenden Ausführungen hervorgeht, erscheint dies aber auch nicht erforderlich, denn es kann - auch mangels abweichender Hinweise in der Beschwerdeschrift - davon ausgegangen werden, dass die 17 3/4- bzw. 16-jährigen Kinder des Beschwerdeführers bereits ein altersgemäss hohes Mass an Selbstständigkeit erreicht haben. Sollten die beiden Jugendlichen dennoch gelegentlich auf die Unterstützung eines Erwachsenen angewiesen sein, haben sie, neben dem erwähnten Onkel, noch zwei erwachsene Geschwister im Kosovo, die ihnen zur Seite stehen könnten. Es besteht auch kein Anlass, die beiden jüngeren Kinder des Beschwerdeführers kurz vor Eintritt ins Erwachsenenalter und den Arbeitsmarkt aus der gewohnten Umgebung in die Schweiz nachzuziehen. Der Beschwerdeführer hatte sich während mehrerer Jahre, als seine Kinder noch kleiner waren, nicht hierum bemüht (vgl. oben E. 3.2 sowie die Urteile 2C_780/2012 vom 3. September 2012 E. 2.3.2; 2C_888/2011 vom 20. Juni 2012 E. 3.2 und 2C_506/2012 vom 12. Juni 2012 E. 2).
5. 5.1 Zusammengefasst ist festzuhalten, dass der Beschwerdeführer die gesetzliche Frist für den Nachzug seiner Kinder in die Schweiz verpasst hat, und keine wichtigen familiären Gründe für einen nachträglichen Familiennachzug ersichtlich sind. Die Beschwerde erweist sich als unbegründet. Sie ist abzuweisen.
5.2 Bei diesem Ausgang hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 22. Oktober 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Hänni