Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1973) reiste im Jahre 1994 in die Schweiz ein, durchlief erfolglos ein Asylverfahren und wurde schliesslich vorläufig aufgenommen.1999 lernte er in Zürich seine Landsfrau Y._(geb. 1973) kennen. Diese gebar ihm Juli 2000 in der Schweiz die Tochter A._.
Im Juli 2000 heiratete X._ in O._ die Schweizer Bürgerin Z._ (geb. 1937). Er erhielt gestützt auf diese Eheschliessung die Aufenthalts- und am 23. Juni 2005 die Niederlassungsbewilligung. Im August 2006 wurde die Ehe geschieden.
Inzwischen - am 16. April 2002 bzw. am 28. Oktober 2003 - hatte die im September 2000 in den Kosovo zurückgekehrte Y._ die Söhne B._ und C._ geboren, deren Vater ebenfalls X._ ist.
X._ und Y._ heirateten im Januar 2008.
B. Im Dezember 2008 ersuchte X._ um Bewilligung des Familiennachzugs für seine Ehefrau und die gemeinsame Tochter A._; später, am 27. Juli 2009, erweiterte er das Gesuch auf die beiden Söhne B._ und C._.
Am 23. April 2010 gewährte die Sicherheitsdirektion des Kantons Zürich (Migrationsamt) X._ zum beabsichtigten Widerruf der Niederlassungsbewilligung und zur beabsichtigten Verweigerung des Familiennachzugs das rechtliche Gehör. X._ bezeichnete in der Folge einen Vertreter, verlangte Akteneinsicht, erhielt diese und nahm schliesslich mit Eingabe vom 18. Juni 2010 Stellung. Dort monierte er, die ihm zur Verfügung gestellten Akten seien unvollständig. So vermisse er "namentlich die Befragung von Y._ vor der schweizerischen Vertretung in Pristina". In materieller Hinsicht machte er geltend, er habe die "Existenz seiner mit Y._ gezeugten Kinder nie geleugnet", sondern er habe "sich vielmehr dazu bekannt, indem er diesbezüglich regelmässig die Vaterschaft anerkannt" habe.
In der Tat ist X._ am 10. Mai 2002 bzw. am 12. November 2003 als Vater von B._ bzw. C._ im Geburtsregister der "United Nations Interim Administrative Mission in Kosovo" eingetragen worden.
X._ führte die Zeugung dieser Kinder in seiner Eingabe vom 18. Juni 2010 auf "mehrere Affären mit seiner Landsfrau, Y._" zurück, "als Folge deren die bereits erwähnten Kinder hervorgegangen sind".
Mit Verfügung vom 23. November 2010 widerrief das Migrationsamt die Niederlassungsbewilligung von X._, setzte ihm eine Frist bis zum 23. Februar 2011 zum Verlassen der Schweiz und wies die Nachzugsgesuche für die Ehefrau und die gemeinsamen Kinder ab. Zur Begründung führte das Amt im Wesentlichen aus, X._ habe nie die Absicht gehabt, mit Z._ eine wirkliche Ehe zu führen. Vielmehr habe er während dieser Ehe immer wieder Kontakt mit Y._ gehabt und mit dieser weitere Kinder gezeugt, was sich erst nachträglich herausgestellt habe. Damit sei davon auszugehen, dass X._ planmässig über Jahre hinweg mit dem Ziel vorgegangen sei, zuerst die Aufenthalts- und dann die Niederlassungsbewilligung zu erhalten, um anschliessend seine Familie in die Schweiz nachzuziehen. Ein solches Vorgehen sei krass rechtsmissbräuchlich.
Den gegen diese Verfügung gerichteten Rekurs wies die Sicherheitsdirektion des Kantons Zürich am 25. November 2011 ab.
C. Gegen den abschlägigen Direktionsentscheid gelangte X._ mit einem neuen Rechtsvertreter an das Verwaltungsgericht und verlangte Rückweisung der Angelegenheit, ausserdem seien ihm "sämtliche Akten des Migrationsamtes" zur Einsichtnahme zuzustellen. Dem letzteren Ansuchen gab das Verwaltungsgericht statt. Der Rechtsvertreter nahm Kenntnis und monierte mit Eingabe vom 10. Februar 2012, den Akten nicht bei läge "nach wie vor (...)" die "Befragung von Y._ seitens der schweizerischen Vertretung in Pristina".
Mit Urteil vom 20. Februar 2012 wies das Verwaltungsgericht die Beschwerde ab. Auf die von X._ verlangten weiteren Beweismassnahmen, namentlich auf die Anordnung weiterer Abklärungen der Schweizer Vertretung vor Ort, hatte es verzichtet.
D. Mit Eingabe vom 26. März 2012 führt X._ - unter Vorlage zahlreicher neuer Beweismittel - beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das letztgenannte Urteil aufzuheben und die Sache zur Neubeurteilung an das Migrationsamt des Kantons Zürich zurückzuweisen.
Die kantonalen Verfahrensbeteiligten haben sich nicht vernehmen lassen bzw. ausdrücklich auf Vernehmlassung verzichtet. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
E. Mit Verfügung vom 29. März 2012 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt.
X._ hat von der Möglichkeit, sich nochmals zu äussern, keinen Gebrauch gemacht. Hingegen reichte er dem Bundesgericht am 2. April 2012 eine weitere Beweismitteleingabe ein.

Erwägungen:
1. 1.1 Der Beschwerdeführer stellt wie bereits vor der Vorinstanz ein rein kassatorisches Begehren, was infolge der reformatorischen Natur der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) grundsätzlich nicht zulässig ist. Aus dem Rubrum und der Begründung der Beschwerde geht indessen hervor, dass sie sich sowohl gegen den Widerruf seiner Niederlassungsbewilligung als auch gegen die Verweigerung des Familiennachzugs richtet. Da der Beschwerdeführer einen grundsätzlichen Rechtsanspruch auf Beibehaltung der Niederlassungsbewilligung wie auch - so lange diese besteht - auf Familiennachzug hat (Art. 43 AuG), ist in beiderlei Hinsicht die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den kantonal letztinstanzlichen Endentscheid zulässig (Art. 82 lit. a, Art. 83 lit. c Ziff. 2 (e contrario) und <ref-law>), und der Beschwerdeführer ist zur Ergreifung dieses Rechtsmittels legitimiert (<ref-law>).
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Das Bundesgericht prüft, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287). Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein. Mit einer Beschwerde in öffentlich-rechtlichen Angelegenheiten können die Sachverhaltsfeststellungen der Vorinstanz nur dann gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich sind (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398) oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Zudem ist vom Beschwerdeführer aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind (<ref-ruling> E. 1.4.3 S. 254).
1.3 Das Vorbringen von neuen Tatsachen oder Beweismitteln ist nur insofern möglich, als erst der Entscheid der Vorinstanz dazu Anlass gegeben hat (<ref-law>, vgl. <ref-ruling> E. 1.5 S. 146 f.). Tatsachen oder Beweismittel, welche sich auf das vorinstanzliche Prozessthema beziehen, sich jedoch erst nach dem angefochtenen Entscheid ereigneten oder entstanden sind, können von vornherein nicht durch das angefochtene Urteil veranlasst worden sein (vgl. Urteil 2C_94/2009 vom 16. Juni 2009, E.2.2). Soweit sich der Beschwerdeführer auf solche Beweismittel beruft, handelt es sich um so genannte "echte Noven", welche im bundesgerichtlichen Verfahren in jedem Fall unzulässig sind (<ref-ruling> E. 2.1 S. 344). Es betrifft dies namentlich die eidesstattliche Erklärung der neuen Ehefrau vom 20. März 2012, wonach sie ihrem heutigen Mann von den Kindern erst im Jahre 2007 erzählt habe bzw. wonach B._ und C._ allein gestützt auf Krankenhausangaben und ohne Wissen des Vaters im Geburtsregister eingetragen worden seien; ebenso um den Bericht des Standesamtes Peje vom 13. März 2012, aber auch um die übrigen eidesstattlichen Erklärungen von den Eltern und dem Bruder der Ehefrau, wonach der Beschwerdeführer bis 2007 nichts von seiner Vaterschaft gewusst habe und davon auch nichts habe wissen können.
1.4 Im Bereich der Beweiswürdigung steht dem Sachgericht ein erheblicher Ermessensspielraum zu (<ref-ruling> E. 4b S. 40). Nach der Rechtsprechung kann es ausserdem das Beweisverfahren schliessen, wenn die Beweisanträge eine nicht erhebliche Tatsache betreffen oder offensichtlich untauglich sind oder wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde. Das Bundesgericht greift nur ein, wenn die Beweiswürdigung offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, auf einem offensichtlichen Versehen beruht oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1 S. 428; <ref-ruling> E. 4a S. 211).
2. Der Beschwerdeführer macht zunächst eine Verletzung des "Zugangsrechts zu amtlichen Dokumenten" geltend und sieht sich damit in seinem Anspruch auf rechtliches Gehör (<ref-law>) verletzt. Er behauptet, es habe eine Befragung seiner neuen Ehefrau durch die schweizerische Vertretung in Pristina stattgefunden, wobei das entsprechende Dokument in den Akten fehle und ihm der Zugang dazu verweigert werde.
Das Verwaltungsgericht hat sich in E. 3.2 und E. 3.3 des angefochtenen Entscheides einlässlich mit dieser Rüge befasst. Es hat willkürfrei dargelegt, weshalb angenommen werden darf, dass ein solches Dokument nicht existiert bzw. eine Befragung der Ehefrau in Pristina nicht stattgefunden hat, und es stellte fest, dass keine Hinweise bestünden, wonach die kantonalen Behörden ihre Entscheide auf Erkenntnisse gestützt hätten, die anlässlich einer solchen Befragung zu gewinnen gewesen wären. Ferner hat die Vorinstanz dem Beschwerdeführer aufgezeigt, weshalb es einen diesbezüglichen allfälligen Mangel als geheilt betrachtete (E. 3.3). Der Beschwerdeführer setzt sich mit diesen Erwägungen des Verwaltungsgerichts in keiner Weise auseinander und genügt insoweit seiner Begründungspflicht nicht (vorne E. 1.2). Ohnehin wäre die Gehörsrüge aber unbegründet: Aus dem Umstand, dass die Schweizerische Vertretung in ihrem Begleitschreiben vom 28. Juli 2009 eine "Befragung der beiden Verlobten" empfohlen hat, kann nicht gefolgert werden, eine solche Beweismassnahme hätte bezüglich der Ehefrau auch tatsächlich stattgefunden. Die - ausgebliebene - Befragung von Y._ war im Übrigen für den Ausgang des Verfahrens auch nicht entscheidwesentlich (vorne E. 1. 2 und nachfolgend E. 3.3).
3. 3.1 Nach dem hier anwendbaren Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; vgl. nicht publizierte E. 1 von <ref-ruling> mit Hinweisen) kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat (Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG). Die unter dem alten Recht (Art. 9 Abs. 2 lit. a und Abs. 4 lit. a ANAG) zu diesem Widerrufsgrund entwickelte Praxis gilt im Wesentlichen auch für Art. 62 lit. a AuG. Namentlich muss die falsche Angabe oder das Verschweigen wesentlicher Tatsachen in der Absicht erfolgt sein, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Der Ausländer ist verpflichtet, den Behörden wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann (Art. 3 Abs. 2 und Art. 13 f ANAG bzw. Art. 90 AuG). Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein können (Urteile 2C_656/2011 vom 8. Mai 2012 E. 2.1, 2C_15/2011 vom 31. Mai 2011 E. 4.2.1). Als wesentlicher Umstand gilt gemäss ständiger Rechtsprechung insbesondere das Vorhandensein von vor- bzw. ausserehelichen Kindern bei Gesuchen zum Verbleib beim in der Schweiz ansässigen Ehepartner bzw. bei der Ehepartnerin (vgl. die Urteile 2C_595/2011 vom 24. Januar 2012 E. 3.4, 2C_243/2008 vom 18. Juni 2008 E. 2.3; 2A.423/2006 vom 26. Oktober 2006 E. 2.1; 2A.346/2004 vom 10. Dezember 2004 E. 2.2, in: Pra 2005 Nr. 100 S. 716; je mit Hinweisen), ebenso auch die Absicht der Nichtfortsetzung einer bisherigen bzw. der Begründung einer neuen Ehe (vgl. Urteil 2A.346/2004 vom 10. Dezember 2004 E. 2.2). Das Fehlen konkreter Fragen entbindet den Antragsteller nicht von vornherein, über wesentliche Tatsachen von sich aus zu informieren: Wie das Bundesgericht festgehalten hat, liegt ein "Verschweigen" im Sinne von Art. 62 lit. a AuG jedenfalls dann vor, wenn der Ausländer aufgrund seiner Gesuchsbegründung bzw. anderer von ihm zu vertretender Umstände bei den Behörden einen falschen Anschein über eine wesentliche Tatsache erweckt bzw. aufrecht erhält und insofern eine Täuschungshandlung begeht. Ergibt sich demgegenüber aus den konkreten Umständen des Einzelfalls, dass die Bewilligungsvoraussetzungen genauerer Abklärung bedürfen, so obliegt es kraft des im Verwaltungsverfahren geltenden Untersuchungsgrundsatzes in erster Linie den Behörden, entsprechende Fragen an den Ausländer zu richten (Urteile 2C_211/2012 vom 3. August 2012 E. 3.1, 2C_595/2011 vom 24. Januar 2012 E. 3.4 und 2C_403/2011 vom 2. Dezember 2011 E. 3.3.3).
3.2 Das Verwaltungsgericht stellte fest, der Beschwerdeführer habe bereits in der Schweiz mit Y._ eine Beziehung geführt, aus der die Tochter A._ hervorgegangen sei. Später - während der Ehe mit Z._ - habe er Y._ regelmässig besucht und mit ihr weitere zwei Kinder gezeugt. Weder anlässlich des erstmaligen Gesuchs um Erteilung einer Aufenthaltsbewilligung noch bei späteren Verlängerungsgesuchen oder bei jenem um Erteilung der Niederlassungsbewilligung habe er das Migrationsamt aber über die Geburt der Söhne informiert, sondern das Vorhandensein vor- bzw. ausserehelicher Kinder erstmals im Gesuch um Familiennachzug bekanntgegeben. Aufgrund der tatsächlichen Umstände (vorne lit. A und B) schloss das Verwaltungsgericht, der Beschwerdeführer habe im Zeitpunkt der Erteilung der Aufenthalts- bzw. der Niederlassungsbewilligung um die Existenz der Kinder gewusst; es sei unglaubhaft, dass er, der Y._ während der Ehe mit Z._ regelmässig im Kosovo besucht habe, keine Ahnung davon hätte haben sollen, dass es sich um seine Kinder handle. Daran ändere auch nichts, dass er erst Ende 2008 Anspruch auf Kinderzulagen angemeldet habe.
3.3 Der Einwand des Beschwerdeführers, das Verwaltungsgericht habe seinen Entscheid auf ungenügender Grundlage gefällt und es seien "insbesondere im Kosovo umfangreiche Zusatzabklärungen zu erheben" - zumal es aufgrund der bisherigen Aktenlage durchaus möglich sei, dass er "zu Zeiten tatsächlich keine Kenntnis betreffend seine Vaterschaft hatte" - sind nicht geeignet, die vorinstanzlichen Feststellungen als offensichtlich unrichtig oder unvollständig erscheinen zu lassen. Insbesondere tut der Beschwerdeführer nicht dar, inwiefern die Behebung eines diesbezüglichen allfälligen Mangels für den Ausgang des Verfahrens entscheidend sein könnte (vorne E. 1.3): Die Niederlassungsbewilligung wurde dem Beschwerdeführer am 23. Juni 2005 aufgrund der Ehe mit Z._ und dem Zusammenwohnen mit ihr erteilt (vgl. Art. 42 Abs. 3 AuG). Für die Behörden bestand damals aufgrund der konkreten Umstände kein erkennbarer Anlass, an diesem anspruchsbegründenden Verhältnis zu zweifeln. Der Beschwerdeführer aber hatte während der Ehe mit Z._ - mindestens im Sommer 2001 und zu Beginn 2003 - intime Kontakte mit Y._, aus welchen zwei weitere Kinder hervorgingen. Wenn das Verwaltungsgericht aufgrund der vorhandenen Beweismittel sodann schloss, der Beschwerdeführer habe - währenddem er mit Z._ verheiratet war - von der Existenz dieser Kinder gewusst, erscheint dies nicht willkürlich. Insbesondere muss sich der Beschwerdeführer auf die im Widerrufsverfahren gemachten Angaben behaften lassen. Seine Darlegung, wonach er die Existenz seiner Kinder nie geleugnet und diesbezüglich regelmässig die Vaterschaft anerkannt habe (vgl. vorne lit. B), zeigt, dass er sich damals seiner Vaterschaft sehr wohl bewusst war, was seine heutige gegenteilige Darstellung als blosse Schutzbehauptung erscheinen lässt, zu deren Entkräftung es keiner weiteren Beweisabnahmen - auch nicht einer Befragung der neuen Ehefrau - mehr bedurfte (vorne E. 1.4). Die Feststellungen des Verwaltungsgerichts lassen keinen anderen Schluss zu, als dass der Beschwerdeführer während seiner Ehe mit Z._ und im Zeitpunkt der Erteilung der Niederlassungsbewilligung eine Parallelbeziehung mit Y._ führte und mit ihr im Kosovo eine Parallelfamilie aufbaute. Diese Tatsache hätte, wäre sie vom Beschwerdeführer anlässlich der Erteilung und Verlängerung der Aufenthaltsbewilligung sowie bei der Erteilung der Niederlassungsbewilligung bekanntgegeben worden, zumindest Zweifel an der Art seiner Ehe mit Z._ erweckt und Anlass zu vertieften Abklärungen gegeben. Somit wäre es Sache des Beschwerdeführers gewesen, die Ausländerbehörden von sich aus auf die wahren familiären Verhältnisse hinzuweisen und den diesbezüglich erweckten falschen Anschein zu korrigieren (vgl. Urteil 2C_211/2012 vom 3. August 2012 E. 3.3). Hätte er dies getan, wäre ihm die Niederlassungsbewilligung gar nicht erteilt worden.
Damit ist der Widerrufsgrund von Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 Abs. 1 lit. a AuG erfüllt.
3.4 Der Widerruf einer Niederlassungsbewilligung ist allerdings nur zulässig, wenn er aufgrund der relevanten Gesamtumstände verhältnismässig ist (vgl. [statt vieler] Urteil 2C_656/2011 vom 8. Mai 2012 E. 2.1).
Dass dem nicht so sei, macht der Beschwerdeführer zu Recht nur am Rande geltend (vgl. S. 11 der Beschwerdeschrift). Er ist gemäss eigenen Angaben zwar seit seiner Einreise im Wesentlichen dauernd erwerbstätig. Besonders intensive, über eine normale Integration hinausgehende private Bindungen zur oder in der Schweiz, welche ihm allenfalls ein Anwesenheitsrecht gestützt auf die Achtung des Privatlebens (Art. 8 EMRK) verschaffen könnten (vgl. <ref-ruling> E. 3.2.1), sind damit aber nicht dargetan. Hinzu kommt, dass seine Ehefrau und seine Kinder im Kosovo leben, so dass das Familienleben ohne weiteres dort geführt werden kann. Es mag zwar zutreffen, dass dem Beschwerdeführer im Kosovo nicht die gleichen wirtschaftlichen Perspektiven offen stehen wie in der Schweiz. Dies ist jedoch nicht ausschlaggebend (vgl. Urteil 2C_679/2011 vom 21. Februar 2012, E. 3.4.2).
3.5 Steht dem Beschwerdeführer demzufolge heute kein Anspruch auf ein Anwesenheitsrecht in der Schweiz zu, entfällt auch jede Grundlage für entsprechende Ansprüche seiner Familienmitglieder.
4. Die Beschwerde erweist sich demzufolge als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, der Sicherheitsdirektion und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 2. November 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein