Erwägungen:
1. 1.1 X._, geb. 1963, Staatsangehöriger von Serbien und Kroatien, wurde 1992 als Kriegsverfolgter in der Schweiz vorläufig aufgenommen. Mit Bundesratsbeschluss vom 25. Februar 1998 wurde die vorläufige Aufnahme aufgehoben, und X._ wurde in der Folge weggewiesen. Ein Gesuch um Anerkennung als schwerwiegender persönlicher Härtefall blieb erfolglos.
Am 20. Mai 1999 heiratete X._ die im Kanton Zürich niedergelassene bosnische Staatsangehörige Y._, geb. 1980, worauf er die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau und am 5. Mai 2004 die Niederlassungsbewilligung erhielt. Anfang November 2004 lösten die Ehegatten den gemeinsamen Wohnsitz auf, und am 14. Januar 2005 wurde die kinderlos gebliebene Ehe Gladovic-Stevic geschieden.
Am 31. August 2005 heiratete X._ die kroatische Staatsangehörige A._, mit der er die zwei gemeinsamen, während seiner Ehe mit Y._ in den Jahren 2000 und 2003 geborenen Kinder B._ und C._ hat.
1.2 Am 16. Februar 2006 widerrief das Migrationsamt der Sicherheitsdirektion des Kantons Zürich die Niederlassungsbewilligung von X._, verfügte gegen diesen die Wegweisung und wies gleichzeitig ein Gesuch um Familiennachzug der Ehefrau und der gemeinsamen Kinder ab. Mit Entscheid vom 25. Juni 2008 wies der Regierungsrat des Kantons Zürich einen dagegen erhobenen Rekurs ab. Am 21. Januar 2009 wies das Verwaltungsgericht, 2. Kammer, des Kantons Zürich eine dagegen eingereichte Beschwerde ab.
1.3 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. März 2009 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben und auf den Widerruf der Niederlassungsbewilligung zu verzichten oder ihm eventuell eine Aufenthaltsbewilligung zu erteilen. Zugleich sei das Gesuch um Nachzug der Ehefrau und der gemeinsamen Kinder gutzuheissen oder es sei eventuell das Migrationsamt anzuweisen, das Nachzugsgesuch inhaltlich zu prüfen.
Der Regierungsrat und das Verwaltungsgericht des Kantons Zürich sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
1.4 Mit verfahrensleitender Verfügung vom 10. März 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung zuerkannt.
2. 2.1 Anwendbar ist im vorliegenden Fall unbestrittenermassen noch das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG). Gegen Entscheide über den Widerruf einer Niederlassungsbewilligung sowie über den Familiennachzug eines Niedergelassenen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (vgl. <ref-ruling> E. 1.2.1 S. 4 sowie <ref-law> in Verbindung mit Art. 17 Abs. 2 ANAG).
2.2 Nach Art. 9 Abs. 4 lit. a ANAG kann die Niederlassungsbewilligung widerrufen werden, wenn die ausländische Person diese durch falsche Angaben oder wissentliches Verschweigen wesentlicher Tatsachen erschlichen hat. Das Verwaltungsgericht ist mit seinen Vorinstanzen davon ausgegangen, der Beschwerdeführer sei planmässig vorgegangen, um in der Schweiz die Niederlassungsbewilligung zu erhalten und seine in Kroatien lebende Parallelfamilie nachzuziehen. Im Gesuch um Erteilung der Niederlassungsbewilligung habe er seine ausserehelichen familiären Verhältnisse, insbesondere die Existenz seiner beiden Kinder, verschwiegen. Damit sei der Tatbestand des Widerrufs erfüllt, und ein solcher sei auch verhältnismässig.
2.3 Das angefochtene Urteil verletzt Bundesrecht nicht. Das Bundesgericht ist an die tatsächlichen Feststellungen der Vorinstanz gebunden, wenn diese nicht offensichtlich unrichtig sind oder auf einer massgeblichen Rechtsverletzung (im Sinne von <ref-law>) beruhen (vgl. Art. 97 und 105 BGG). Der Beschwerdeführer legt nicht dar und es ist nicht ersichtlich, dass die Feststellung des Sachverhalts im angefochtenen Entscheid an einem derartigen Mangel leiden würde. Gestützt auf diese tatsächliche Grundlage ist die Folgerung nicht zu beanstanden, es habe sich bei der früheren Ehe des Beschwerdeführers um eine Scheinehe oder jedenfalls um eine bereits kurze Zeit danach definitiv gescheiterte Ehe gehandelt, mit der er bezweckte, zu einer Aufenthalts- und später Niederlassungsbewilligung zu gelangen, um danach seine eigentliche Familie in die Schweiz nachzuziehen. Nicht nur entspricht der Ablauf der Ereignisse einem aus etlichen anderen Fällen bekannten Verhaltensmuster, sondern es gibt auch im vorliegenden Fall konkrete Anhaltspunkte für ein solches geplantes Vorgehen. Was der Beschwerdeführer dagegen einwendet, überzeugt nicht und wurde bereits vom Verwaltungsgericht nachvollziehbar als wenig glaubwürdige Schutzbehauptung gewürdigt. Hat der Beschwerdeführer damit im Verfahren um die Erteilung der Niederlassungsbewilligung wissentlich wesentliche Tatsachen verschwiegen, lag ein Widerrufsgrund vor (vgl. dazu <ref-ruling> E. 4.1 und 4.2 S. 9 f.). Überdies ist der Widerruf gemessen an den gesamten Umständen des Einzelfalles verhältnismässig. Insbesondere ist es dem Beschwerdeführer zumutbar, mit seiner Familie im Heimatland zu leben. Demnach entfällt auch die Grundlage für das Gesuch um Nachzug der Familiengehörigen (in Anwendung von Art. 17 Abs. 2 ANAG), wie das Verwaltungsgericht ebenfalls zutreffend ausgeführt hat.
3. 3.1 Die Beschwerde erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren nach <ref-law> abzuweisen. Ergänzend wird auf die zutreffenden Erwägungen des angefochtenen Entscheids verwiesen (<ref-law>).
3.2 Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat sowie dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 4. August 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Uebersax