Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1968) reiste erstmals 1989 als Saisonnier in die Schweiz ein. Nachdem er im Oktober 1992 mit einer für zwei Jahre gültigen Einreisesperre belegt worden war, heiratete er die in der Schweiz niederlassungsberechtigte Y._ und kehrte am 15. März 1993 unter Missachtung der Einreisesperre hierher zurück. Am 20. September 1994 wurde die Ehe rechtskräftig geschieden.
Am 26. September 1995 brachte X._'s Landsfrau A._ (geb. 1970) in der Heimat das von diesem gezeugte Kind B._ zur Welt. Zwei weitere Kinder folgten (C._, geb. 1997, und D._, geb. 2000). In der Schweiz jedoch war X._ seit dem 9. September 1995 in kinderloser Ehe mit Z._ (geb. 1951) verheiratet. Gestützt auf diese Ehe - welche am 28. Juli 1998 für die Dauer von drei Jahren gerichtlich getrennt wurde - erhielt er zunächst eine Aufenthaltsbewilligung und später, am 11. Dezember 2000, die Niederlassungsbewilligung. Am 16. Juli 2001 wurde auch diese Ehe geschieden.
B. Am 3. Januar 2002 heiratete X._ in seiner Heimat A._ und ersuchte am 11. Mai 2004 für sie und die gemeinsamen drei Kinder um Familiennachzug.
Mit Verfügung vom 1. Oktober 2004 trat die Direktion für Soziales und Sicherheit des Kantons Zürich (Migrationsamt) auf dieses Gesuch nicht ein, widerrief die Niederlassungsbewilligung von X._ und setzte diesem Frist zum Verlassen des Kantonsgebiets. Zur Begründung führte das Migrationsamt im Wesentlichen aus, X._ sei über Jahre planmässig in dem Sinne vorgegangen, als er zunächst die Aufenthalts- und später die Niederlassungsbewilligung erschlichen habe, allein deshalb, um seine Familie aus Serbien nachziehen zu können. Seine Niederlassungsbewilligung sei deshalb zu widerrufen.
Ein gegen diese Verfügung erhobener Rekurs beim Regierungsrat des Kantons Zürich blieb erfolglos, und mit Entscheid vom 23. Januar 2008 wies das Verwaltungsgericht des Kantons Zürich eine gegen den regierungsrätlichen Entscheid vom 15. August 2007 gerichtete Beschwerde ebenfalls ab, soweit es darauf eintrat.
C. Mit Eingabe vom 17. März 2008 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 23. Januar 2008 aufzuheben, vom Widerruf der Niederlassungsbewilligung abzusehen, der Ehefrau und den gemeinsamen Kindern die Einreise in die Schweiz zu bewilligen und ihnen eine Niederlassungs- bzw. eventuell eine Aufenthaltsbewilligung zu erteilen.
Die Staatskanzlei des Kantons Zürich beantragt - für den Regierungsrat - Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Migration beantragt, die Beschwerde abzuweisen.
Erwägungen:
1. 1.1 Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt.
1.2 Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) in Kraft getreten, doch bestimmt dessen Art. 126 Abs. 1, dass auf Gesuche, die vor dem Inkrafttreten dieses Gesetzes eingereicht worden sind, noch das bisherige Recht anwendbar bleibt. Gleiches muss gelten, wenn der angefochtene (erstinstanzliche) Entscheid über den Widerruf einer Bewilligung noch unter der Herrschaft des bisherigen Rechts ergangen ist (vgl. Urteil 2C_19/2008 vom 18. Juni 2008, E. 1.2). Die vorliegende Streitsache beurteilt sich daher allein nach dem inzwischen aufgehobenen Bundesgesetz vom 26. Mai 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) und seinen Ausführungserlassen.
1.3 Die Aufenthalts- und (später) die Niederlassungsbewilligung wurden dem Beschwerdeführer gestützt auf die inzwischen geschiedene Ehe mit der Schweizerin Z._ erteilt: Gemäss Art. 7 Abs. 1 Satz 1 ANAG hat der ausländische Ehegatte eines Schweizer Bürgers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung. Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat er gemäss Satz 2 derselben Bestimmung Anspruch auf die Niederlassungsbewilligung. Kein Anspruch besteht, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern und namentlich jene über die Begrenzung der Zahl der Ausländer zu umgehen (Scheinehe bzw. Ausländerrechtsehe, Art. 7 Abs. 2 ANAG) oder sich die Berufung auf die Ehe anderweitig als rechtsmissbräuchlich erweist (BGE 127 II 49 E. 5a S. 56 mit Hinweisen). Sind die Voraussetzungen gemäss Art. 7 Abs. 1 Satz 2 ANAG erfüllt, so erwirbt der ausländische Ehegatte ein eigenes und selbständiges Niederlassungsrecht, welches mit dem Wegfall der Ehe nicht automatisch erlischt, sondern allenfalls widerrufen werden kann (und zwar nicht nach den allgemeinen Regeln über den Widerruf von Verfügungen, sondern ausschliesslich unter den Voraussetzungen von Art. 9 Abs. 4 ANAG, BGE 112 Ib 161 E. 3 S. 162 f., 473 E. 2 S. 475). Gegen solche kantonal letztinstanzliche Entscheide ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (vgl. Urteil 2C_21/2007 vom 16. April 2007, E. 1.2).
1.4 Grundlage für den Widerruf bildet vorliegend Art. 9 Abs. 4 lit. a ANAG, wonach die Niederlassungsbewilligung widerrufen werden kann, "wenn der Ausländer sie durch falsche Angaben oder wissentliches Verschweigen wesentlicher Tatsachen erschlichen hat". Dass der Beschwerdeführer während der inzwischen geschiedenen Ehe mit der um 17 Jahre älteren Schweizerin Z._ eine eheähnliche Parallelbeziehung mit der im Heimatland lebenden Landsfrau A._ geführt hat und mit dieser Kinder zeugte, wird in der Beschwerdeschrift nicht bestritten. Es kann alsdann einzig darum gehen, ob der Beschwerdeführer durch falsche Angaben oder durch wissentliches Verschweigen wesentlicher Tatsachen gegenüber den Migrationsbehörden die ihm erteilte Niederlassungsbewilligung erschlichen und damit einen Widerrufsgrund gemäss Art. 9 Abs. 4 lit. a ANAG gesetzt hat. Zu prüfen ist ferner, ob der Widerruf der Niederlassungsbewilligung verhältnismässig erscheint. Trifft auch dies zu und erweist sich die genannte fremdenpolizeiliche Sanktion damit als bundesrechtskonform, kann der Beschwerdeführer weder aus Art. 7 ANAG noch aus einer anderen gesetzlichen oder staatsvertraglichen Bestimmung einen Anspruch auf eine Anwesenheitsbewilligung ableiten. Dies gilt gleichermassen für seine Ehefrau und seine mit ihr gezeugten drei Kinder (vgl. Urteil 2A.595/2006 vom 6. Februar 2007, E. 3).
1.5 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. 2.1 Der Widerruf der Niederlassungsbewilligung setzt voraus, dass der Betroffene wissentlich falsche Angaben gemacht oder wesentliche Tatsachen verschwiegen hat, in der Absicht, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten (Urteil 2A.423/2006 vom 26. Oktober 2006, E. 2.1). Nach Art. 3 Abs. 2 ANAG ist der Ausländer verpflichtet, der Behörde wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann. Hievon ist er selbst dann nicht befreit, wenn die Fremdenpolizeibehörde die fragliche Tatsache bei gebotener Sorgfalt selbst hätte ermitteln können. Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sind (Urteile 2A. 595/2006 vom 6. Februar 2007, E. 4.3, 2A.511/2001 vom 10. Juni 2002, publ. in: Pra 2002 Nr. 163, E. 3.2; 2A.57/2002 vom 20. Juni 2002, publ. in: Pra 2002 Nr. 165, E. 2.2, je mit Hinweisen). Dazu gehört etwa die Absicht der Nichtfortsetzung der bisherigen bzw. der Begründung einer neuen Ehe (vgl. Urteil 2A.551/2003 vom 21. November 2003, E. 2.1). Ein Erschleichen der Niederlassungsbewilligung kann nach der Praxis auch darin liegen, dass die Angaben, auf die sich die Behörden bei der seinerzeitigen Erteilung der Aufenthaltsbewilligung gestützt hatten oder die bei späteren Verlängerungen der Aufenthaltsbewilligung oder bei der Erteilung der Niederlassungsbewilligung mangels anderer Angaben immer noch als massgebend betrachtet werden durften, falsch oder unvollständig waren. Es ist nicht erforderlich, dass die Bewilligung bei richtigen und vollständigen Angaben notwendigerweise zu verweigern gewesen wäre (Urteil 2A.432/2002 vom 5. Februar 2003, E. 3.5, mit Hinweisen). Immerhin ist die kantonale Behörde ihrerseits verpflichtet, vor Erteilung der Niederlassungsbewilligung "das bisherige Verhalten des Ausländers nochmals eingehend zu prüfen" (Art. 11 Abs. 1 ANAV; SR 142.201).
2.2 Nachdem der Beschwerdeführer und seine damalige schweizerische Ehefrau am 28. Juli 1998 gerichtlich getrennt worden waren, äusserte letztere - in Beantwortung von Fragen der Fremdenpolizeibehörde nach den Umständen und Gründen der Trennung sowie der Aussicht auf Wiedervereinigung - mit Schreiben vom 20. Oktober 1998 unter anderem die Vermutung, dass der Beschwerdeführer im Kosovo "noch Frau und Kind" habe. Die Ausländerbehörde ging diesem Hinweis, soweit ersichtlich, nie weiter nach. Sie beschränkte sich in einem weiteren Schreiben an die Eheleute vom 11. Oktober 2000 im Wesentlichen auf die Frage, ob bzw. wann mit einer Wiederaufnahme der ehelichen Gemeinschaft bzw. mit einer Scheidung zu rechnen sei. Nachdem beide Partner die Frage nach der Möglichkeit einer Wiederaufnahme der ehelichen Gemeinschaft mit "vielleicht" beantwortet hatten, erhielt der Beschwerdeführer - der gemäss Auszug aus dem Schweizerischen Strafregister vom 27. November 2000 bis dahin sechs Mal zu kurzen Freiheitsstrafen verurteilt und mehrmals fremdenpolizeilich verwarnt worden war - am 11. Dezember 2000 die Niederlassungsbewilligung. In den einschlägigen Formularen war nie nach der allfälligen Existenz von Kindern gefragt worden.
2.3 In der Beschwerdeschrift wird mit Grund hervorgehoben, dass die kantonale Ausländerbehörde vorliegend bei der Verlängerung der Aufenthaltsbewilligungen und insbesondere bei der Erteilung der Niederlassungsbewilligung ihrer Prüfungspflicht gemäss Art. 11 Abs. 1 ANAV nicht hinreichend nachgekommen ist. Der Vorwurf, der Beschwerdeführer habe sich durch wissentliches Verschweigen wesentlicher Tatsachen die Niederlassungsbewilligung erschlichen, ist damit aber nicht entkräftet:
Nach der Rechtsprechung ist der Ausländer auch zur Offenlegung von Tatsachen verpflichtet, nach denen nicht ausdrücklich gefragt wird, sofern er wissen muss, dass sie für den geltend gemachten Bewilligungsanspruch von Belang sein können (vgl. vorne E. 2.1). Dies ist bei einem gestützt auf Art. 7 oder 17 ANAG anwesenheitsberechtigten Ausländer, der in einer eheähnlichen Parallelbeziehung Kinder zeugt, für welche bei Erteilung einer Niederlassungsbewilligung im Grundsatz ein Nachzugsrecht entsteht (vgl. Art. 17 Abs. 2 ANAG), der Fall. Der Hinweis des Beschwerdeführers auf den im Urteil 2A.46/2002 vom 23. Mai 2002 beurteilten Sachverhalt ist unbehelflich: In jenem Fall war die Ausländerbehörde über die familiären Verhältnisse des Betroffenen bereits bei Erteilung der Niederlassungsbewilligung umfassend im Bilde, weshalb die fraglichen Umstände, auch wenn die Erteilung der Niederlassungsbewilligung auf einer fehlerhaften Beurteilung derselben beruhte ("Betriebsunfall"), den Widerruf dieser Bewilligung nicht rechtfertigen konnten. Vorliegend aber hatte die Ausländerbehörde von der Existenz der Parallelfamilie keine Kenntnis. Bei Offenlegung der Verhältnisse durch den Beschwerdeführer wäre diesem die Niederlassungsbewilligung, wie ohne weiteres angenommen werden darf und was auch dem Beschwerdeführer klar sein musste, nicht erteilt worden. Der Beschwerdeführer hat sich diese Bewilligung durch Verschweigung seiner besonderen Familienverhältnisse und seiner wahren Absichten im Sinne von Art. 9 Abs. 4 lit. a ANAG erschlichen, womit ein Widerrufsgrund gegeben ist.
2.4 Der ausgesprochene Widerruf der Niederlassungsbewilligung erscheint aufgrund der konkreten Umstände auch nicht unverhältnismässig: Der Beschwerdeführer lebt zwar schon längere Zeit in der Schweiz. Sein hiesiges Verhalten gab aber immer wieder zu Klagen Anlass (vorne E. 2.2). Es kann sodann angenommen werden, dass er zu seinem Heimatland, wo seine heutige Ehefrau und die mit ihr gezeugten Kinder leben, noch eine lebendige Beziehung hat. Eine Rückkehr dorthin ist ihm zumutbar.
3. Erweist sich nach dem Gesagten der Widerruf der Niederlassungsbewilligung als zulässig, besteht kein Rechtsanspruch auf eine Aufenthaltsbewilligung. Die kantonale Behörde entscheidet, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung (Art. 4 ANAG). Gegen die Verweigerung einer solchen Bewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten ausgeschlossen (Art. 83 lit. c Ziff. 2 BGG, vorne E. 1.1). Auf das betreffende Eventualbegehren des Beschwerdeführers ist daher nicht einzutreten.
Mit dem Hinfall der Niederlassungsbewilligung des Beschwerdeführers ist auch dem für Ehefrau und Kinder gestellten Nachzugsgesuch sowohl nach Art. 17 ANAG als auch nach Art. 8 EMRK die Grundlage entzogen (vorne E. 1.4). Auf das entsprechende Beschwerdebegehren ist mangels eines Rechtsanspruches ebenfalls nicht einzutreten (Art. 83 lit. c Ziff. 2 BGG).
4. Nach dem Gesagten ist die Beschwerde als unbegründet abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Parteientschädigungen sind nicht geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien sowie dem Verwaltungsgericht des Kantons Zürich (2. Kammer) und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 16. Oktober 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Klopfenstein