Sachverhalt:
A. Der serbische Staatsangehörige X._ (geb. 1966) hat mit der in Serbien lebenden Y._ den Sohn Z._ (geb. 28. März 1998) und die Tochter W._ (geb. 21. Dezember 2000). Am 31. Oktober 2002 heiratete er in Serbien die im Kanton Aargau wohnhafte Schweizerin V._. Am 9. Februar 2003 reiste er in die Schweiz ein; er erhielt vom Kanton Aargau zunächst eine Aufenthalts-, und am 3. Juli 2008 die Niederlassungsbewilligung. Am 28. August 2008 wurde die Ehe geschieden, und X._ zog anfangs September 2008 nach Schlieren (ZH). Das Migrationsamt des Kantons Zürich erteilte ihm daraufhin die Niederlassungsbewilligung.
B. Am 2. Mai 2009 heiratete X._ in Serbien Y._ und ersuchte am 7. Juli 2009 für sie und die beiden gemeinsamen Kinder um Bewilligung der Einreise im Rahmen des Familiennachzugs.
Mit Verfügung vom 1. November 2010 widerrief das Migrationsamt des Kantons Zürich die Niederlassungsbewilligung von X._ und lehnte das Familiennachzugsbegehren ab. Zur Begründung führte das Amt im Wesentlichen aus, X._ habe nie die Absicht gehabt, mit V._ eine wirkliche Ehe zu führen. Aufgrund der zeitlichen Abfolge der Ereignisse sei davon auszugehen, dass er planmässig über Jahre hinweg allein mit dem Ziel vorgegangen sei, zuerst die Aufenthaltsbewilligung und später die Niederlassungsbewilligung zu erhalten, um anschliessend seine Familie aus Serbien in die Schweiz nachzuziehen.
C. Den gegen diese Verfügung erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich mit Entscheid vom 30. November 2011 ab. Auch sie erkannte zahlreiche Indizien für eine Ausländerrechtsehe und führte weiter aus, selbst wenn anfänglich von einer aufrichtigen Ehe zwischen X._ und V._ ausgegangen würde, wäre diese Gemeinschaft längst nur noch formell und damit rechtsmissbräuchlich weitergeführt worden. Jedenfalls bestünden keine Zweifel daran, dass das Migrationsamt des Kantons Aargau bei Kenntnis der tatsächlichen Verhältnisse X._ keine Niederlassungsbewilligung erteilt hätte.
Die gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 7. März 2012 ab.
D. Mit Eingabe vom 25. April 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das genannte Urteil aufzuheben und die Niederlassungsbewilligung nicht zu widerrufen; eventuell sei die Sache zur Abklärung des Sachverhalts und erneuten Entscheidfindung an die Vorinstanz zurückzuweisen, subeventuell die Angelegenheit "zur Prüfung der Erteilung einer B-Aufenthaltsbewilligung zurückzuweisen".
Die kantonalen Akten sind eingeholt, ein Schriftenwechsel ist nicht durchgeführt worden.
E. Mit Verfügung vom 2. Mai 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung erteilt.

Erwägungen:
1. 1.1 Gegen kantonal letztinstanzliche Entscheide über den Widerruf der Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 82 lit. a, Art. 83 lit. c Ziff. 2 [e contrario] und <ref-law>; <ref-ruling> E. 1.2.1 S. 4) und der Beschwerdeführer ist zur Ergreifung dieses Rechtsmittels befugt (<ref-law>).
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil die Sachverhaltsfeststellungen der Vorinstanz zugrunde (<ref-law>). In Ergänzung zu den Rügen, die sich auf Art. 95 f. BGG stützen, sind unter den engen Voraussetzungen von <ref-law> zwar auch Vorbringen gegen die Sachverhaltsfeststellung zulässig. Ein solcher Einwand kann nach der letztgenannten Bestimmung aber nur erhoben werden, wenn die Feststellung des Sachverhalts durch die Vorinstanz offensichtlich unrichtig, d.h. willkürlich ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398). Zudem ist vom Beschwerdeführer aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind (<ref-ruling> E. 1.4.3 S. 254).
2. Der Beschwerdeführer rügt zunächst eine "grobe Verweigerung des rechtlichen Gehörs", indem sich das Verwaltungsgericht nicht ausreichend mit seinen Argumenten auseinandergesetzt und pauschal auf den vorinstanzlichen Entscheid verwiesen habe.
Wesentlicher Bestandteil des Anspruchs auf rechtliches Gehör ist die Begründungspflicht. Diese soll verhindern, dass sich die Behörde von unsachlichen Motiven leiten lässt, und dem Betroffenen ermöglichen, die Verfügung gegebenenfalls sachgerecht anzufechten. Dies ist nur möglich, wenn sowohl er wie auch die Rechtsmittelinstanz sich über die Tragweite des Entscheides ein Bild machen können. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf welche sich ihr Entscheid stützt. Dies bedeutet indessen nicht, dass sie sich ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (<ref-ruling> E. 5.2 S. 236; <ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.1 S. 277; je mit Hinweisen).
Inwiefern der angefochtene Entscheid ungenügend begründet sein sollte, ist nicht ersichtlich. Es ergibt sich daraus mit genügender Klarheit, weshalb die Vorinstanz im Widerruf der Niederlassungsbewilligung bzw. in der Verweigerung des Familiennachzugs keine Rechtsverletzung erkannte. Der Beschwerdeführer vermochte das verwaltungsgerichtliche Urteil denn auch durchaus sachgerecht anzufechten.
3. 3.1 Nach dem hier anwendbaren Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; vgl. nicht publizierte E. 1 von <ref-ruling> mit Hinweisen) kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat (Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG). Die unter dem alten Recht (Art. 9 Abs. 2 lit. a und Abs. 4 lit. a ANAG) zu diesem Widerrufsgrund entwickelte Praxis gilt im Wesentlichen auch für Art. 62 lit. a AuG. Namentlich muss die falsche Angabe oder das Verschweigen wesentlicher Tatsachen in der Absicht erfolgt sein, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Der Ausländer ist verpflichtet, den Behörden wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann (Art. 3 Abs. 2 und Art. 13 f ANAG bzw. Art. 90 AuG). Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein können (Urteile 2C_656/2011 vom 8. Mai 2012 E. 2.1, 2C_15/2011 vom 31. Mai 2011 E. 4.2.1). Als wesentlicher Umstand gilt gemäss ständiger Rechtsprechung insbesondere das Vorhandensein von vor- bzw. ausserehelichen Kindern bei Gesuchen zum Verbleib beim in der Schweiz ansässigen Ehepartner bzw. bei der Ehepartnerin (vgl. die Urteile 2C_595/2011 vom 24. Januar 2012 E. 3.4, 2C_243/2008 vom 18. Juni 2008 E. 2.3; 2A.423/2006 vom 26. Oktober 2006 E. 2.1; 2A.346/2004 vom 10. Dezember 2004 E. 2.2, in: Pra 2005 Nr. 100 S. 716; je mit Hinweisen), ebenso auch die Absicht der Nichtfortsetzung einer bisherigen bzw. der Begründung einer neuen Ehe (vgl. Urteil 2A.346/2004 vom 10. Dezember 2004 E. 2.2). Das Fehlen konkreter Fragen entbindet den Antragsteller nicht von vornherein, über wesentliche Tatsachen von sich aus zu informieren: Wie das Bundesgericht festgehalten hat, liegt ein "Verschweigen" im Sinne von Art. 62 lit. a AuG jedenfalls dann vor, wenn der Ausländer aufgrund seiner Gesuchsbegründung bzw. anderer von ihm zu vertretender Umstände bei den Behörden einen falschen Anschein über eine wesentliche Tatsache erweckt bzw. aufrecht erhält und insofern eine Täuschungshandlung begeht. Ergibt sich demgegenüber aus den konkreten Umständen des Einzelfalls, dass die Bewilligungsvoraussetzungen genauerer Abklärung bedürfen, so obliegt es kraft des im Verwaltungsverfahren geltenden Untersuchungsgrundsatzes in erster Linie den Behörden, entsprechende Fragen an den Ausländer zu richten (Urteile 2C_211/2012 vom 3. August 2012 E. 3.1, 2C_595/2011 vom 24. Januar 2012 E. 3.4, und 2C_403/2011 vom 2. Dezember 2011 E. 3.3.3).
3.2 Das Verwaltungsgericht stellte fest, der Beschwerdeführer und Y._ seien seit ihrer Kindheit miteinander bekannt. Ab 1996/97 hätten sie eine intensivere Beziehung geführt und kurz darauf sei Y._, die 1998 und 2000 vom Beschwerdeführer zwei Kinder bekommen habe, zu diesem in dessen Elternhaus gezogen. Den Eheschluss mit V._ habe er vor der Mutter seiner Kinder zunächst geheimgehalten. V._ sei stark verschuldet gewesen und habe ihre Schulden durch den Beschwerdeführer begleichen lassen. Ebenso habe dieser jeden Monat Fr. 500.-- zur Unterstützung der ganzen Familie nach Kovin geschickt, was gemäss den Angaben von Y._ zutreffe. Gemäss eigenen Angaben habe er ausserdem nach zwei Jahren Ehe wieder nach Serbien zurückkehren wollen. Daraus zog das Verwaltungsgericht den Schluss, es könne offen bleiben, ob eine Scheinehe vorliege, denn die Ehe (mit V._) sei spätestens nach zwei Jahren bloss noch aus migrationsrechtlichen Gründen aufrecht erhalten worden. Damit aber wäre dem Beschwerdeführer die Niederlassungsbewilligung nie erteilt worden, und die Voraussetzungen für einen Widerruf der Niederlassungsbewilligung gemäss Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG seien erfüllt.
3.3 Der Beschwerdeführer stellt in Abrede, dass er mit seiner heutigen Ehefrau bis unmittelbar vor der Heirat mit V._ zusammengelebt hat. Die Trennung von Y._ sei schon früher definitiv gewesen. Allein der Umstand, dass es nach zwei Jahren Ehe mit V._ zu einer Ehekrise gekommen sei, lasse keinen Schluss über einen fortan fehlenden Ehewillen zu. Hätte er die Ehe einzig aufrecht erhalten, um in den Besitz der Niederlassungsbewilligung zu kommen, wäre er nicht "kurz vor dem Ziel das Risiko eingegangen, alles mit einer Scheidung noch aufs Spiel zu setzen". Die Scheidung sei vielmehr eingegeben worden, "lange bevor der Gesuchsteller sicher wusste, dass ihm die Niederlassungsbewilligung erteilt werde".
3.4 Diese Einwände sind nicht geeignet, die vorinstanzlichen Feststellungen als offensichtlich unrichtig oder unvollständig erscheinen zu lassen. Insbesondere tut der Beschwerdeführer nicht dar, inwiefern die Behebung eines diesbezüglichen allfälligen Mangels für den Ausgang des Verfahrens entscheidend sein könnte (vorne E. 1.3): Die Niederlassungsbewilligung wurde dem Beschwerdeführer am 3. Juli 2008 aufgrund der Ehe mit V._ und dem Zusammenwohnen mit ihr erteilt (vgl. Art. 42 Abs. 3 AuG). Für die Behörden bestand damals aufgrund der konkreten Umstände kein erkennbarer Anlass, an diesem anspruchsbegründenden Verhältnis zu zweifeln. Daran ändert nichts, dass der Beschwerdeführer in seinem Gesuch um "Umwandlung der Aufenthaltsbewilligung in eine Niederlassungsbewilligung" auf eigene im Ausland lebende Kinder hingewiesen hat. Denn die Feststellungen des Verwaltungsgerichts lassen keinen anderen Schluss zu, als dass der Beschwerdeführer während seiner Ehe mit V._ und im Zeitpunkt der Erteilung der Niederlassungsbewilligung eine Parallelbeziehung mit Y._ führte (vgl. auch die Ausführungen der Sicherheitsdirektion in ihrem Entscheid vom 30. November 2011 [S. 10] über die regelmässigen gegenseitigen Besuchsaufenthalte). Diese Tatsache hätte, in Verbindung mit dem Umstand, dass der Beschwerdeführer mit Y._ zwei Kinder hat, zumindest Zweifel erweckt und Anlass zu vertieften Abklärungen gegeben. Dasselbe gilt, wenn der Beschwerdeführer damals offen gelegt hätte, dass die Scheidung von V._ "schon lange" eingegeben worden sei, die Ehe also nicht fortgesetzt werden sollte. Unter diesen Umständen wäre es Sache des Beschwerdeführers gewesen, die Ausländerbehörden von sich aus auf die wahren familiären Verhältnisse hinzuweisen und den diesbezüglich erweckten falschen Anschein zu korrigieren (vgl. Urteil 2C_211/2012 vom 3. August 2012 E. 3.3). Hätte er dies getan, wäre ihm die Niederlassungsbewilligung im Kanton Aargau nicht erteilt worden und damit später auch nicht diejenige im Kanton Zürich.
Damit ist der Widerrufsgrund von Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 Abs. 1 lit. a AuG erfüllt.
3.5 Der Widerruf einer Niederlassungsbewilligung ist allerdings nur zulässig, wenn er aufgrund der relevanten Gesamtumstände verhältnismässig ist (vgl. [statt vieler] Urteil 2C_656/2011 vom 8. Mai 2012 E. 2.1).
Das Verwaltungsgericht hat diesbezüglich erwogen, der Beschwerdeführer habe den grössten Teil seines Lebens in Serbien verbracht (Einreise in die Schweiz mit 37 Jahren). Auch während seines nunmehr neun Jahren dauernden hiesigen Aufenthalts habe er dorthin einen regen Kontakt gepflegt und sich mindestens einmal jährlich dort aufgehalten.
Mit seinen Einwendungen, er habe einen guten Leumund, habe keine Betreibungen und beziehe keine Sozialhilfe, vermag der Beschwerdeführer die genannten entscheidwesentlichen Feststellungen des Verwaltungsgerichts nicht zu entkräften. Wenn er darüber hinaus geltend macht, er sei am Arbeitsplatz beliebt und habe zahlreiche Freunde, Bekannte und Verwandte in der Schweiz, so sind damit besonders intensive, über eine normale Integration hinausgehende private Bindungen zur oder in der Schweiz nicht dargetan (<ref-law>), welche ihm allenfalls ein Anwesenheitsrecht gestützt auf die Achtung des Privatlebens (Art. 8 EMRK) verschaffen könnten (vgl. <ref-ruling> E. 3.2.1). Hinzu kommt, dass seine Ehefrau und seine Kinder seit je in Serbien gelebt haben und heute noch leben, so dass das Familienleben ohne weiteres dort geführt werden kann.
3.6 Die vom Beschwerdeführer subeventualiter beantragte Rückweisung der Sache zur Erteilung einer Aufenthaltsbewilligung steht ausser Frage: Auch wenn es sich beim Widerruf der Niederlassungsbewilligung im Sinne von Art. 63 AuG im Unterschied zur altrechtlichen Ausweisung nicht zugleich um eine Entfernungs- und Fernhaltemassnahme handelt, welche per se im Widerspruch zur Erteilung einer Anwesenheitsbewilligung stünde (Urteil 2C_761/2009 vom 18. Mai 2010 E. 7.4.2), geht es nicht an, beim Vorliegen eines Widerrufsgrundes, welcher wie im Falle von Art. 62 lit. a AuG alle Bewilligungsarten betrifft, den fremdenpolizeilichen Status (vom Niedergelassenen zum Aufenthalter) zu ändern (Urteil 2C_254/2010 vom 15. Juli 2010 E. 4.3, vgl. auch Urteil 2C_268/2011 vom 22. Juli 2011 E. 7.2 und die dort zitierten Urteile).
Steht dem Beschwerdeführer demzufolge heute kein Anspruch auf ein Anwesenheitsrecht in der Schweiz zu, entfällt auch jede Grundlage für entsprechende Ansprüche seiner Familienmitglieder.
3.7 Dies führt zur Abweisung der Beschwerde.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, der Sicherheitsdirektion und dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 3. September 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein