Sachverhalt: A. Der serbische Staatsangehörige X._ (geb. 1966) hat mit der in Serbien lebenden Y._ den Sohn Z._ (geb. 28. März 1998) und die Tochter W._ (geb. 21. Dezember 2000). Am 31. Oktober 2002 heiratete er in Serbien die im Kanton Aargau wohnhafte Schweizerin V._. Am 9. Februar 2003 reiste er in die Schweiz ein; er erhielt vom Kanton Aargau zunächst eine Aufenthalts-, und am 3. Juli 2008 die Niederlassungsbewilligung. Am 28. August 2008 wurde die Ehe geschieden, und X._ zog anfangs September 2008 nach Schlieren (ZH). Das Migrationsamt des Kantons Zürich erteilte ihm daraufhin die Niederlassungsbewilligung. B. Am 2. Mai 2009 heiratete X._ in Serbien Y._ und ersuchte am 7. Juli 2009 für sie und die beiden gemeinsamen Kinder um Bewilligung der Einreise im Rahmen des Familiennachzugs. Mit Verfügung vom 1. November 2010 widerrief das Migrationsamt des Kantons Zürich die Niederlassungsbewilligung von X._ und lehnte das Familiennachzugsbegehren ab. Zur Begründung führte das Amt im Wesentlichen aus, X._ habe nie die Absicht gehabt, mit V._ eine wirkliche Ehe zu führen. Aufgrund der zeitlichen Abfolge der Ereignisse sei davon auszugehen, dass er planmässig über Jahre hinweg allein mit dem Ziel vorgegangen sei, zuerst die Aufenthaltsbewilligung und später die Niederlassungsbewilligung zu erhalten, um anschliessend seine Familie aus Serbien in die Schweiz nachzuziehen. C. Den gegen diese Verfügung erhobenen Rekurs wies die Sicherheitsdirektion des Kantons Zürich mit Entscheid vom 30. November 2011 ab. Auch sie erkannte zahlreiche Indizien für eine Ausländerrechtsehe und führte weiter aus, selbst wenn anfänglich von einer aufrichtigen Ehe zwischen X._ und V._ ausgegangen würde, wäre diese Gemeinschaft längst nur noch formell und damit rechtsmissbräuchlich weitergeführt worden. Jedenfalls bestünden keine Zweifel daran, dass das Migrationsamt des Kantons Aargau bei Kenntnis der tatsächlichen Verhältnisse X._ keine Niederlassungsbewilligung erteilt hätte. Die gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 7. März 2012 ab. D. Mit Eingabe vom 25. April 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das genannte Urteil aufzuheben und die Niederlassungsbewilligung nicht zu widerrufen; eventuell sei die Sache zur Abklärung des Sachverhalts und erneuten Entscheidfindung an die Vorinstanz zurückzuweisen, subeventuell die Angelegenheit "zur Prüfung der Erteilung einer B-Aufenthaltsbewilligung zurückzuweisen". Die kantonalen Akten sind eingeholt, ein Schriftenwechsel ist nicht durchgeführt worden. E. Mit Verfügung vom 2. Mai 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung erteilt.