Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1970) reiste am 23. November 1995 in die Schweiz ein und stellte erfolglos ein Asylgesuch. Der ihm zwei Mal angesetzten Ausreisefrist kam er nicht nach, sondern er heiratete im Januar 1999 die drogensüchtige Schweizerin Y._ (geb. 1970). Gestützt auf diese Ehe erhielt er am 9. März 1999 eine Aufenthaltsbewilligung. Im Herbst 1999 wurde Y._ in Untersuchungshaft versetzt und in der Folge zu einer Freiheitsstrafe verurteilt, deren Vollzug zugunsten einer stationären Massnahme aufgehoben wurde. Seither lebten die Eheleute getrennt. Am 23. April 2004 erhielt X._ die Niederlassungsbewilligung. Mitte Januar 2007 wurde die kinderlos gebliebene Ehe auf gemeinsames Begehren geschieden.
B. Wenig später, am 11. April 2007, heiratete X._ in der Heimat seine Landsfrau Z._, die er im Jahre 2001 kennengelernt hatte und mit der er zwei Töchter hat (A._, geb. 2002, und B._, geb. 2005). Am 15. Mai 2007 stellte X._ für seine neue Ehefrau und die beiden Kinder ein Gesuch um Familiennachzug.
Nachdem die Sicherheitsdirektion des Kantons Zürich (Migrationsamt) ein entsprechendes Verfahren eingeleitet und X._ am 30. November 2007 das rechtliche Gehör gewährt hatte, wies sie mit Verfügung vom 6. März 2008 das Familiennachzugsgesuch ab, widerrief die Niederlassungsbewilligung von X._ und setzte diesem Frist zum Verlassen des Kantonsgebiets. Zur Begründung wurde im Wesentlichen ausgeführt, X._ sei über Jahre hinweg planmässig mit dem Ziel vorgegangen, zuerst die Aufenthalts- und später die Niederlassungsbewilligung zu erhalten, um dann - nach erfolgter Scheidung von der schweizerischen Ehefrau - seine Familie aus dem Kosovo nachziehen zu können. Die Niederlassungsbewilligung sei deshalb zu widerrufen.
Ein gegen diese Verfügung erhobener Rekurs beim Regierungsrat des Kantons Zürich blieb erfolglos, und mit Entscheid vom 12. Mai 2009 wies das Verwaltungsgericht des Kantons Zürich eine gegen den regierungsrätlichen Beschluss vom 5. November 2008 gerichtete Beschwerde ebenfalls ab, soweit es darauf eintrat.
C. Mit Eingabe vom 12. Juni 2009 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 12. Mai 2009 aufzuheben, vom Widerruf der Niederlassungsbewilligung abzusehen und die Sicherheitsdirektion des Kantons Zürich anzuweisen, den Familiennachzug (von Ehefrau und Kindern) zu bewilligen.
Die Staatskanzlei des Kantons Zürich beantragt - für den Regierungsrat - Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Das Bundesamt für Migration beantragt, die Beschwerde abzuweisen.
Erwägungen:
1. 1.1 Art. 83 lit. c Ziff. 2 BGG schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Praxisgemäss bleibt indessen, in analoger Anwendung von Art. 126 Abs. 1 AuG, das bisherige Recht anwendbar, wenn ein Widerrufs- oder Ausweisungsverfahren noch vor Inkrafttreten des neuen Rechts eröffnet worden ist (vgl. Urteile 2C_371/2008 vom 9. Februar 2009, E. 2.1 und 2C_43/2009 vom 4. Dezember 2009, E. 1.3). Das vorliegende Verfahren auf Widerruf der Niederlassungsbewilligung wurde spätestens am 30. November 2007 - also noch unter der Herrschaft des bisherigen Rechts - mit der Gewährung des rechtlichen Gehörs eingeleitet. Die Streitsache ist daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen zu beurteilen.
1.3 Die Aufenthalts- und (später) die Niederlassungsbewilligung wurden dem Beschwerdeführer gestützt auf die inzwischen geschiedene Ehe mit der Schweizerin Y._ erteilt: Gemäss Art. 7 Abs. 1 Satz 1 ANAG hat der ausländische Ehegatte eines Schweizer Bürgers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung. Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat er gemäss Satz 2 derselben Bestimmung Anspruch auf die Niederlassungsbewilligung. Kein Anspruch besteht, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern und namentlich jene über die Begrenzung der Zahl der Ausländer zu umgehen (Scheinehe bzw. Ausländerrechtsehe, Art. 7 Abs. 2 ANAG) oder sich die Berufung auf die Ehe anderweitig als rechtsmissbräuchlich erweist (BGE 127 II 49 E. 5a S. 56 mit Hinweisen). Sind die Voraussetzungen gemäss Art. 7 Abs. 1 Satz 2 ANAG erfüllt, so erwirbt der ausländische Ehegatte ein eigenes und selbständiges Niederlassungsrecht, welches mit dem Wegfall der Ehe nicht automatisch erlischt, sondern allenfalls widerrufen werden kann (und zwar nicht nach den allgemeinen Regeln über den Widerruf von Verfügungen, sondern ausschliesslich unter den Voraussetzungen von Art. 9 Abs. 4 ANAG, BGE 112 Ib 161 E. 3 S. 162 f., 473 E. 2 S. 475). Gegen solche kantonal letztinstanzliche Entscheide ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (vgl. Urteil 2C_21/2007 vom 16. April 2007, E. 1.2).
1.4 Grundlage für den Widerruf bildet vorliegend Art. 9 Abs. 4 lit. a ANAG, wonach die Niederlassungsbewilligung widerrufen werden kann, "wenn der Ausländer sie durch falsche Angaben oder wissentliches Verschweigen wesentlicher Tatsachen erschlichen hat". Dass der Beschwerdeführer während der inzwischen geschiedenen Ehe mit der Schweizerin Y._ eine im Heimatland lebende Landsfrau kennengelernt hat und mit dieser Kinder zeugte (wobei eines schon vor dem Erhalt der Niederlassungsbewilligung), wird in der Beschwerdeschrift nicht bestritten. Es kann alsdann einzig darum gehen, ob der Beschwerdeführer durch falsche Angaben oder durch wissentliches Verschweigen wesentlicher Tatsachen gegenüber den Migrationsbehörden die ihm erteilte Niederlassungsbewilligung erschlichen und damit einen Widerrufsgrund gemäss Art. 9 Abs. 4 lit. a ANAG gesetzt hat. Zu prüfen ist ferner, ob der Widerruf der Niederlassungsbewilligung verhältnismässig erscheint. Trifft auch dies zu und erweist sich die genannte fremdenpolizeiliche Sanktion damit als bundesrechtskonform, kann der Beschwerdeführer weder aus Art. 7 ANAG noch aus einer anderen gesetzlichen oder staatsvertraglichen Bestimmung einen Anspruch auf eine Anwesenheitsbewilligung ableiten. Dies gilt gleichermassen für seine heutige Ehefrau und seine mit ihr gezeugten zwei Kinder (vgl. Urteil 2C_235/2008 vom 16. Oktober 2008, E. 1.4).
1.5 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. 2.1 Der Widerruf der Niederlassungsbewilligung setzt voraus, dass der Betroffene wissentlich falsche Angaben gemacht oder wesentliche Tatsachen verschwiegen hat, in der Absicht, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten (Urteil 2A.423/ 2006 vom 26. Oktober 2006, E. 2.1). Nach Art. 3 Abs. 2 ANAG ist der Ausländer verpflichtet, der Behörde wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann. Hievon ist er selbst dann nicht befreit, wenn die Fremdenpolizeibehörde die fragliche Tatsache bei gebotener Sorgfalt selbst hätte ermitteln können. Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sind (Urteile 2A. 595/2006 vom 6. Februar 2007, E. 4.3, 2A.511/2001 vom 10. Juni 2002, publ. in: Pra 2002 Nr. 163, E. 3.2; 2A.57/2002 vom 20. Juni 2002, publ. in: Pra 2002 Nr. 165, E. 2.2, je mit Hinweisen). Dazu gehört etwa die Absicht der Nichtfortsetzung der bisherigen bzw. der Begründung einer neuen Ehe (vgl. Urteil 2A.551/2003 vom 21. November 2003, E. 2.1). Ein Erschleichen der Niederlassungsbewilligung kann nach der Praxis auch darin liegen, dass die Angaben, auf die sich die Behörden bei der seinerzeitigen Erteilung der Aufenthaltsbewilligung gestützt hatten oder die bei späteren Verlängerungen der Aufenthaltsbewilligung oder bei der Erteilung der Niederlassungsbewilligung mangels anderer Angaben immer noch als massgebend betrachtet werden durften, falsch oder unvollständig waren. Es ist nicht erforderlich, dass die Bewilligung bei richtigen und vollständigen Angaben notwendigerweise zu verweigern gewesen wäre (Urteil 2A.432/2002 vom 5. Februar 2003, E. 3.5, mit Hinweisen). Immerhin ist die kantonale Behörde ihrerseits verpflichtet, vor Erteilung der Niederlassungsbewilligung "das bisherige Verhalten des Ausländers nochmals eingehend zu prüfen" (Art. 11 Abs. 1 ANAV).
2.2 Der Beschwerdeführer hat auf entsprechende Anfragen des Migrationsamtes (bzw. der damaligen Fremdenpolizei) wiederholt erklärt, es bestünden keine Scheidungsabsichten (vgl. schon die Eingabe vom 20. April 2001 betreffend Verlängerung der Aufenthaltsbewilligung). Die Ehefrau ihrerseits gab - in Beantwortung entsprechender Fragen - mit Schreiben vom 28. Januar 2004 an, mit einer Wiederaufnahme der ehelichen Gemeinschaft sei nicht zu rechnen; ebenso habe sie die Scheidung in Auftrag gegeben. Der Beschwerdeführer bestätigte mit Eingabe vom 10. Februar 2004 zwar, dass mit einer "baldigen Wiederaufnahme der ehelichen Gemeinschaft" "nicht zu rechnen" sei, er machte aber geltend, ebenso wenig werde eine Scheidung ins Auge gefasst; im Moment würden beide Ehegatten abwarten. Nach einigen weiteren Abklärungen (u.a. beim Sozialamt) erteilte das Migrationsamt schliesslich die Niederlassungsbewilligung. Weder in den einschlägigen Formularen noch in der Korrespondenz mit den betroffenen Eheleuten war nach der allfälligen Existenz von Kindern gefragt worden.
2.3 In der Beschwerdeschrift wird mit Grund hervorgehoben, dass die kantonale Ausländerbehörde vorliegend bei der Verlängerung der Aufenthaltsbewilligungen und insbesondere bei der Erteilung der Niederlassungsbewilligung ihrer Prüfungspflicht gemäss Art. 11 Abs. 1 ANAV nicht hinreichend nachgekommen ist. Der Vorwurf, der Beschwerdeführer habe sich durch wissentliches Verschweigen wesentlicher Tatsachen die Niederlassungsbewilligung erschlichen, ist damit aber nicht entkräftet:
Nach der Rechtsprechung ist der Ausländer auch zur Offenlegung von Tatsachen verpflichtet, nach denen nicht ausdrücklich gefragt wird, sofern er wissen muss, dass sie für den geltend gemachten Bewilligungsanspruch von Belang sein können (vgl. vorne E. 2.1). Dies ist bei einem gestützt auf Art. 7 oder 17 ANAG anwesenheitsberechtigten Ausländer, der in einer eheähnlichen Parallelbeziehung Kinder zeugt, für welche bei Erteilung einer Niederlassungsbewilligung im Grundsatz ein Nachzugsrecht entsteht (vgl. Art. 17 Abs. 2 ANAG), der Fall (Urteil 2C_235/2008 vom 16. Oktober 2006, E. 2.3). Zwar versucht der Beschwerdeführer heute, die Geburt des ersten Kindes im Jahre 2002 als Folge eines "Seitensprungs" darzustellen (vgl. S. 8 der Beschwerdeschrift). Wie die Vorinstanz aber - für das Bundesgericht grundsätzlich verbindlich (vorne E. 1.5) - festgestellt hat, lebt die jetzige Ehefrau von X._ mitsamt den beiden gemeinsamen Kindern im Elternhaus des Ehemannes, und zwar "seit der Geburt des ersten Kindes im Jahre 2002". Weiter gab der Beschwerdeführer im Rahmen des Begehrens um Familiennachzug an, im selben Haus lebten auch seine Eltern, so dass durch den Umzug der Ehefrau mit dem Kind in sein Elternhaus eine "familienähnliche Gemeinschaft" entstanden sei. Auch habe er die Bekanntschaft mit Z._ bis zur Heirat regelmässig gepflegt.
Vorliegend hatte die Ausländerbehörde von der Existenz dieser Parallelfamilie keine Kenntnis. Bei rechtzeitiger Offenlegung der soeben dargestellten Verhältnisse durch den Beschwerdeführer wäre diesem die Niederlassungsbewilligung, wie ohne weiteres angenommen werden darf und was auch dem Beschwerdeführer klar sein musste, nicht erteilt worden. Der Beschwerdeführer hat sich diese Bewilligung durch Verschweigung seiner besonderen Familienverhältnisse und seiner wahren Absichten im Sinne von Art. 9 Abs. 4 lit. a ANAG erschlichen, womit ein Widerrufsgrund gegeben ist.
2.4 Der ausgesprochene Widerruf der Niederlassungsbewilligung erscheint aufgrund der konkreten Umstände auch nicht unverhältnismässig: Der Beschwerdeführer ist erst als Erwachsener im Alter von 25 Jahren in die Schweiz gekommen. Zwar ist er im Besitz guter Arbeitszeugnisse und kann insoweit als gut integriert gelten. Er verfügt aber klarerweise nicht über besonders intensive, über eine normale Integration hinausgehende Bindungen zur oder in der Schweiz, welche ihm allenfalls ein Anwesenheitsrecht gestützt auf die Garantie der Achtung des Privatlebens (Art. 8 EMRK) verschaffen könnten (BGE 130 II 281 E. 3.2.1 S. 286 mit Hinweisen, vgl. zur Integration des Beschwerdeführers S. 8 des angefochtenen Entscheides). Seine beruflichen Fertigkeiten (als Bodenleger) werden ihm auch im Kosovo von Nutzen sein, zumal angenommen werden darf, dass er zu seinem Heimatland, wo seine heutige Ehefrau und die mit ihr gezeugten Kinder leben, aufgrund der regelmässigen Besuche noch eine lebendige Beziehung hat. Eine Rückkehr dorthin ist ihm zumutbar.
3. 3.1 Der verfügte Widerruf der Niederlassungsbewilligung erscheint damit bundesrechts- und konventionskonform.
Mit dem Hinfall der Niederlassungsbewilligung des Beschwerdeführers ist auch dem für Ehefrau und Kinder gestellten Nachzugsgesuch sowohl nach Art. 17 ANAG als auch nach Art. 8 EMRK die Grundlage entzogen (vorne E. 1.4). Auf das entsprechende Beschwerdebegehren ist mangels eines Rechtsanspruches nicht einzutreten (Art. 83 lit. c Ziff. 2 BGG).
3.2 Nach dem Gesagten ist die Beschwerde als unbegründet abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 23. Dezember 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Klopfenstein