Erwägungen:
1. 1.1 Der serbische Staatsangehörige X._ (geb. 1974) heiratete am 4. November 2001 in seiner Heimat seine Landsfrau Y._ (geb. 1980). Die Eheleute X._ reisten am 5. Februar 2002 illegal in die Schweiz ein und ersuchten hier erfolglos um Asyl. Nachdem die Gesuche am 27. Mai 2002 vom damaligen Bundesamt für Flüchtlinge abgewiesen und die Eheleute weggewiesen wurden, galten beide ab dem 2. September 2002 als verschwunden. Noch während des Aufenthalts als Asylbewerber in der Schweiz liessen sich die Eheleute am 1. März 2002 in ihrer Heimat - in Unkenntnis der Schweizer Behörden - scheiden. Im Juli 2002 kam der gemeinsame Sohn Z.A._ zur Welt.
1.2 Am 2. März 2003 heiratete X._ in seiner Heimat die kroatische Staatsangehörige A._ (geb. 1982), die in der Schweiz niederlassungsberechtigt ist. Er reiste am 26. Juli 2004 erneut in die Schweiz ein und erhielt eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau im Kanton Zürich. Während der Ehe mit A._ gebar Y._, die Ex-Frau von X._, im September 2007 in Serbien den gemeinsamen Sohn Z.B._. Am 20. August 2009 wurde X._ die Niederlassungsbewilligung für den Kanton Zürich erteilt.
1.3 Am 8. Juli 2010 wurde die kinderlos gebliebene Ehe mit A._ in Serbien geschieden. Am 19. November 2010 heiratete X._ in seiner Heimat erneut Y._ und ersuchte am 10. Dezember 2010 um Nachzug seiner Ehefrau und der beiden gemeinsamen Söhne.
1.4 Nach Gewährung des rechtlichen Gehörs widerrief das Migrationsamt des Kantons Zürich mit Verfügung vom 25. Mai 2011 die Niederlassungsbewilligung von X._ und setzte ihm Frist zum Verlassen der Schweiz bis 31. August 2011. Die Gesuche um Familiennachzug wurden abgewiesen. Die Sicherheitsdirektion sowie das Verwaltungsgericht des Kantons Zürich bestätigten am 3. Februar bzw. 27. April 2012 diesen Entscheid.
1.5 X._ beantragt mit Eingabe vom 1. Juni 2012, das angefochtene Urteil des Verwaltungsgerichts des Kantons Zürich sei aufzuheben bzw. es sei festzustellen, dass die Niederlassungsbewilligung dem Beschwerdeführer zu belassen sei. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
1.6 Mit Verfügung vom 6. Juni 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt. Auf die Anordnung eines Schriftenwechsels wurde verzichtet.
2. Gegen Entscheide über den Widerruf einer Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist (<ref-ruling> E. 1.2.1 S. 4). Die Verfassungsbeschwerde ist im Verhältnis zur Beschwerde in öffentlich-rechtlichen Angelegenheiten subsidiär (<ref-law>). Da hier die Letztere zur Verfügung steht, ist die vom Beschwerdeführer - sinngemäss - gleichzeitig erhobene Verfassungsbeschwerde nicht zulässig, weshalb darauf nicht eingetreten werden kann.
3. 3.1 Gemäss Art. 43 AuG (SR 142.20) haben ausländische Ehegatten von Personen mit Niederlassungsbewilligung Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wenn sie mit diesen zusammenwohnen (Abs. 1). Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren haben die Ehegatten Anspruch auf Erteilung der Niederlassungsbewilligung (Abs. 2). Die Ansprüche nach Art. 43 AuG erlöschen, wenn sie rechtsmissbräuchlich geltend gemacht werden, namentlich um Vorschriften des AuG und seiner Ausführungsbestimmungen über die Zulassung und den Aufenthalt zu umgehen (Art. 51 Abs. 2 lit. a AuG). Erfasst wird davon die sogenannte Scheinehe bzw. Ausländerrechtsehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen (<ref-ruling> E. 2.1 S. 151 mit Hinweisen). Der Anspruch entfällt darüber hinaus auch bei rechtsmissbräuchlicher Berufung auf eine nur noch formell und ohne Aussicht auf Aufnahme bzw. Wiederaufnahme einer ehelichen Gemeinschaft bestehende Ehe (<ref-ruling> E. 2.2 S. 151 mit Hinweisen).
3.2 Nach Art. 63 Abs. 1 lit. a in Verbindung mit 62 lit. a AuG kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat. Das Bundesgericht hat ausgeführt, dass die unter dem alten Recht (Art. 9 Abs. 2 lit. a und Abs. 4 lit. a ANAG) zu diesem Widerrufsgrund entwickelte Praxis im Wesentlichen auch für Art. 62 lit. a AuG gilt. Namentlich muss die falsche Angabe oder das Verschweigen wesentlicher Tatsachen in der Absicht erfolgt sein, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Der Ausländer ist verpflichtet, den Behörden wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann (Art. 3 Abs. 2 und Art. 13f ANAG bzw. Art. 90 AuG). Wesentlich sind nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein können (Urteile 2C_656/2011 vom 8. Mai 2012 E. 2.1; 2C_15/2011 vom 31. Mai 2011 E. 4.2.1).
3.3 Das Verwaltungsgericht geht in seinem Entscheid von der dargestellten Rechtsprechung aus und hat diese korrekt angewandt.
Der Beschwerdeführer heiratete 2001 zum ersten Mal seine heutige Ehefrau, die er seit seinem 18. Lebensjahr kennt, da sie in der gleichen Stadt aufgewachsen sind. Das Ehepaar liess sich nach nur vier Monaten Ehe noch während des Asylverfahrens scheiden. Gut vier Monate später kam der erste Sohn Z.A._ zur Welt. Bereits ein Jahr nach der Scheidung heiratete der Beschwerdeführer eine in der Schweiz niederlassungsberechtigte Kroatin. Er hatte erst zirka zweieinhalb Jahre mit seiner zweiten Ehefrau zusammengelebt, als er an Weihnachten 2006 seinen Sohn und seine erste Ehefrau in Serbien besuchte und während dieser Zeit den zweiten Sohn Z.B._ zeugte. Der Kontakt zu seiner ersten Ehefrau brach gemäss den verbindlichen Feststellungen der Vorinstanz nie ab. Die kinderlos gebliebene zweite Ehe wurde rund zehn Monate, nachdem dem Beschwerdeführer im August 2009 die Niederlassungsbewilligung erteilt worden war, geschieden. Rund ein halbes Jahr später heiratete der Beschwerdeführer erneut seine erste Ehefrau und ersuchte umgehend um Nachzug seiner Ehefrau und der gemeinsamen Kinder (vgl. angefochtener Entscheid E. 4.2).
Aus dem zeitlichen Ablauf der Ereignisse ergibt sich eindeutig, dass der Beschwerdeführer nach einem aus zahlreichen Verfahren bekannten Verhaltensmuster (vgl. dazu etwa Urteile 2C_540/2010 vom 8. März 2011; 2C_47/2010 vom 16. Juni 2010; 2C_734/2009 vom 19. April 2010; 2C_559/2009 vom 11. Februar 2010; 2C_311/2009 vom 5. Januar 2010) planmässig vorgegangen ist, um sich in der Schweiz ein Anwesenheitsrecht zu verschaffen und seiner Familie den Nachzug zu ermöglichen. Ob eine Scheinehe vorliegt, kann trotz einiger Indizien dahingestellt bleiben. Jedenfalls bestand die Ehe mit der niedergelassenen zweiten Ehefrau schon vor Erteilung der Niederlassungsbewilligung nur noch formell und wurde vom Beschwerdeführer aufrechterhalten zum alleinigen Zweck, die Erteilung der Niederlassungsbewilligung zu erwirken. Er beabsichtigte keineswegs, diese Ehe weiterzuführen, und hat die Behörden diesbezüglich jahrelang gezielt getäuscht. Damit hat der Beschwerdeführer wissentlich wesentliche Tatsachen verschwiegen, um sich ein Anwesenheitsrecht in der Schweiz zu verschaffen. Ob die verschwiegene aussereheliche Vaterschaft für sich allein zum Entzug der Bewilligung geführt hätte, ist nicht entscheidend. Durch die Bekanntgabe der Existenz des ausserehelichen Sohnes, dessen Mutter seine erste Ehefrau ist, hätte sich die Ausländerbehörde jedenfalls veranlasst gesehen bzw. sehen müssen, die Beziehung der Ehegatten näher zu überprüfen, womit ihr die effektiven ehelichen Umstände bekannt geworden wären. Hätten somit die Fremdenpolizeibehörden von seinen tatsächlichen familiären Verhältnissen und seinen Plänen Kenntnis gehabt, wäre dem Beschwerdeführer die Niederlassungsbewilligung nicht erteilt worden. Die Voraussetzungen für deren Widerruf gemäss Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG sind somit erfüllt. Ergänzend kann auf die überzeugenden Erwägungen im angefochtenen Entscheid (insb. E. 4.3 - 4.7) verwiesen werden (<ref-law>).
Der Beschwerdeführer bestreitet zwar nach wie vor ein planmässiges Vorgehen zur Erlangung der Niederlassungsbewilligung bzw. das Verschweigen von wesentlichen Tatsachen. Er führt dazu aber lediglich aus, es erscheine willkürlich, wie die Vorinstanz den Sachverhalt gewertet habe. Zudem habe sich die Vorinstanz mit der Argumentation des Beschwerdeführers nicht auseinandergesetzt, weshalb sie das rechtliche Gehör verletzt habe. Diese Einwände sind jedoch nicht geeignet, die Feststellungen und Schlussfolgerungen der Vorinstanzen als bundesrechtswidrig erscheinen zu lassen (vgl. auch Art. 97 und 105 BGG). Der Beschwerdeführer beschränkt sich im Wesentlichen darauf, die Feststellungen und Schlussfolgerungen der Vorinstanzen bloss zu bestreiten. Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht jedoch nicht ein (<ref-ruling> E. 2.8 S. 494 mit Hinweisen).
3.4 Der Widerruf der Niederlassungsbewilligung ist unter den gegebenen Umständen auch verhältnismässig. Zwar scheint der Beschwerdeführer zumindest beruflich integriert zu sein. Von einer eigentlichen Verwurzelung in der Schweiz kann jedoch nicht gesprochen werden. Der Beschwerdeführer lebte bis zum 28. Altersjahr in seiner Heimat und hat damit die prägenden Lebensjahre in Serbien verbracht. Seine Aufenthaltsdauer in der Schweiz ist zudem insofern zu relativieren, als er sich davon gut zwei Jahre (von 2002 bis 2004) als Asylbewerber hier aufhielt bzw. als verschwunden galt und seine Anwesenheit seit Ende 2006 im Wesentlichen auf der Irreführung der Fremdenpolizei beruhte. Es darf davon ausgegangen werden, dass er mit den kulturellen und gesellschaftlichen Gepflogenheiten seines Heimatlandes nach wie vor bestens vertraut ist. Ins Gewicht fällt zudem, dass seine heutige Ehefrau und seine beiden Söhne sowie weitere Verwandte dort leben. Dem Beschwerdeführer ist somit zuzumuten, in seine Heimat zurückzukehren.
4. Der verfügte Widerruf der Niederlassungsbewilligung erweist sich damit als bundesrechtskonform. Ist die Niederlassungsbewilligung des Beschwerdeführers widerrufen, haben auch seine Ehefrau und seine Kinder keinen Anspruch auf Aufenthaltsbewilligung. Die Beschwerde ist somit als offensichtlich unbegründet im vereinfachten Verfahren nach <ref-law> abzuweisen.
Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, der Sicherheitsdirektion und dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 30. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger