Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1971) heiratete am 23. März 1995 in seinem Heimatland eine in der Schweiz niedergelassene (inzwischen hier eingebürgerte) Mazedonierin. Am 14. Juni 1995 reiste er in die Schweiz ein, wo ihm eine Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau erteilt wurde. Am 17. Oktober 2002 wurde die Ehe geschieden und die elterliche Sorge für den gemeinsamen Sohn (geb. 1997) der Mutter zugesprochen.
Seit dem 25. Oktober 2002 verfügte X._ über die Niederlassungsbewilligung (zuletzt kontrollbefristet bis 13. Juni 2008). Am 20. April 2004 heiratete er die serbische Staatsangehörige Y._ (geb. 1976), der gestützt auf die Heirat eine Aufenthaltsbewilligung (letztmals verlängert bis zum 19. April 2008) erteilt wurde. Die beiden aus dieser Ehe hervorgegangenen Kinder A._ (geb. 2005) und B._ (geb. 2006) wurden in die Niederlassungsbewilligung von X._ einbezogen.
B. Am 4. Mai 2007 meldete sich X._ mit seiner Familie beim Einwohneramt H._ per 31. Mai 2007 nach Serbien und Montenegro ab. Er liess sich sein Pensionskassenguthaben wegen Ausreise ins Ausland auszahlen. Nach eigenen Angaben verliess die Familie am 23./24. Mai 2007 die Schweiz. Am 27. Oktober 2007 kehrte sie über Frankreich wieder zurück und am 1. November 2007 unterzeichneten die Eheleute X._ - Y._ bei der Einwohnerkontrolle Gesuchsformulare betreffend Erteilung einer Niederlassungs- bzw. Aufenthaltsbewilligung. Das Migrationsamt der Sicherheitsdirektion des Kantons Zürich teilte X._ und seiner Familie mit, dass sie den Entscheid im Ausland abzuwarten hätten, und wies die Stadtpolizei Winterthur an, eine Ausreisefrist anzusetzen und die Massnahme durchzusetzen.
C. X._ ersuchte am 25. Januar 2008 das Migrationsamt des Kantons Zürich, entweder die Niederlassungs- und Aufenthaltsbewilligungen zu bestätigen oder einen anfechtbaren Entscheid darüber zu fällen, dass die Bewilligungen erloschen seien. Am 12. Februar 2008 forderte das Migrationsamt X._ auf, mit seiner Familie die Schweiz unverzüglich zu verlassen. Mit Eingabe vom 18. Februar 2008 an den Regierungsrat des Kantons Zürich beantragte X._, die Gültigkeit der Niederlassungs- bzw. Aufenthaltsbewilligungen festzustellen und der Beschwerde aufschiebende Wirkung zu erteilen. Die Staatskanzlei untersagte darauf superprovisorisch alle Vollzugshandlungen.
D. Mit Verfügung vom 19. März 2008 stellte das Migrationsamt fest, dass die Niederlassungsbewilligungen von X._ und seiner Kinder sowie die Aufenthaltsbewilligung der Ehegattin erloschen seien, und wies die Gesuche um Wiedererteilung der Bewilligungen ab. Die Voraussetzungen für die Erteilung von Aufenthaltsbewilligungen aus wichtigen Gründen bzw. aufgrund eines Härtefalls erachtete es als nicht erfüllt und setzte den Betroffenen Frist zum Verlassen des Kantonsgebietes bis zum 2. Juni 2008.
X._ rekurrierte dagegen an den Regierungsrat des Kantons Zürich. Mit Beschluss vom 9. Juli 2008 wies dieser den Rekurs ab und bestätigte sowohl das Erlöschen der früheren Bewilligungen als auch die Verweigerung der Erteilung von neuen Niederlassungs- bzw. Aufenthaltsbewilligungen.
Die von X._ gegen den Regierungsratsbeschluss erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Entscheid vom 10. Dezember 2008 ab, soweit es darauf eintrat.
E. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. Februar 2009 beantragt X._ Aufhebung des Entscheids des Verwaltungsgerichts vom 10. Dezember 2008 und Rückweisung an die Vorinstanz zwecks Feststellung des Nichterlöschens der Bewilligungen bzw. zwecks Erteilung der Aufenthaltsbewilligung an den Beschwerdeführer und seine Familie, eventualiter Feststellung des Nichterlöschens der Bewilligungen bzw. Billigungserteilung durch das Bundesgericht selber. Zudem stellt er das Begehren, der Beschwerde aufschiebende Wirkung zu erteilen.
Die Staatskanzlei des Kantons Zürich - im Auftrag des Regierungsrates - und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
F. Mit Verfügung vom 13. Februar 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.
G. Mit Eingaben vom 12. Juni bzw. 8. September 2009 meldete die Staatsanwaltschaft Winterthur/Unterland dem Bundesgericht eine Strafuntersuchung bzw. Anklageerhebung gegen X._ betreffend Vergehen gegen das Ausländergesetz.
Erwägungen:
1. 1.1 Auf dem Gebiete des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt (Art. 83 lit. c Ziff. 2 BGG). Gegen Entscheide über den Widerruf oder die Feststellung des Erlöschens einer Anwesenheitsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten, ähnlich wie dies bereits früher bei der Verwaltungsgerichtsbeschwerde zutraf (vgl. Urteil 2A.595/2006 vom 6. Februar 2007 E. 2.1 mit Hinweisen), zulässig, weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist.
1.2 Gemäss Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20), welches am 1. Januar 2008 in Kraft getreten ist, bleibt für Gesuche, die vor diesem Zeitpunkt gestellt worden sind, das bisherige Recht anwendbar. Das vorliegend streitige Gesuch wurde am 1. November 2007 gestellt und beurteilt sich daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen.
1.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Die Sachverhaltsfeststellung kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig erfolgt ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG bzw. Art. 105 Abs. 2 BGG). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 BGG), setzt zudem voraus, dass die Behebung des Mangels sich für den Ausgang des Verfahrens als entscheidend erweisen kann (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. 2.1 Gemäss Art. 9 Abs. 3 lit. c ANAG erlischt die Niederlassungsbewilligung "durch Abmeldung oder wenn sich der Ausländer während sechs Monaten tatsächlich im Ausland aufhält; stellt er vor deren Ablauf das Begehren, so kann diese Frist bis auf zwei Jahre verlängert werden".
Der tatsächliche Aufenthalt im Ausland lässt mithin die Niederlassungsbewilligung erst nach Ablauf von sechs Monaten erlöschen, wobei auf Gesuch hin diese Frist auf zwei Jahre verlängert werden kann. Demgegenüber erlischt die Niederlassungsbewilligung im Fall der Abmeldung (Art. 9 Abs. 3 lit. c ANAG) nicht erst nach einer bestimmten Frist, sondern schon mit der Abmeldung selber. Deshalb kommt einer Abmeldung die weitreichende Konsequenz, die Bewilligung erlöschen zu lassen, nur zu, wenn sie klar und eindeutig dahin zu verstehen ist, dass der Aufenthalt in der Schweiz definitiv aufgegeben werden soll. Dies trifft zu, wenn die Erklärung, die der Ausländer abgibt, frei von Willensmängeln dahin zu verstehen ist, dass er definitiv in seine Heimat zurückkehrt. Ausländer mit Niederlassungsbewilligung sind bei der Abmeldung daher ausdrücklich auf die weitreichenden Folgen derselben hinzuweisen (ANDREAS ZÜND, Beendigung der Anwesenheit, Entfernung und Fernhaltung, in: Uebersax/Münch/ Geiser/Arnold, Ausländerrecht, Basel 2002, S. 210, Rz. 6.9; Urteile 2A.357/2000 vom 22. Januar 2000 E. 2a und 2A. 149/2002 vom 31. August 2001 E. 3a mit Hinweisen).
2.2 Die Aufenthaltsbewilligung erlischt dagegen mit dem Ablauf der Bewilligungsfrist (Art. 9 Abs. 1 lit. a ANAG) sowie mit der Abmeldung oder wenn der Aufenthalt tatsächlich aufgegeben ist (Art. 9 Abs. 1 lit. c ANAG). Im Unterschied zur Niederlassungsbewilligung bleibt sie somit nicht während wenigstens sechs Monaten bestehen, und es ist auch nicht vorgesehen, dass sie nach dem Verlassen des Landes auf Gesuch hin aufrechterhalten werden könnte. Die Aufenthaltsbewilligung der Ehefrau ist daher wohl schon mit der tatsächlichen Aufgabe des Aufenthalts in der Schweiz, aber jedenfalls mit dem Ablauf der Bewilligungsfrist erloschen. Sollte der Beschwerdeführer aber weiterhin über eine Niederlassungsbewilligung verfügen, hätte seine Ehefrau Anspruch auf Erteilung der Aufenthaltsbewilligung (Art. 17 Abs. 2 ANAG).
3. 3.1 Unbestrittenermassen hat der Beschwerdeführer, bevor er die Schweiz mit seiner Familie im Mai 2007 verliess, seine Arbeitsstelle gekündigt, die Wohnung aufgegeben und sich das Pensionskassenguthaben auszahlen lassen. Er macht geltend, auf Anfrage hin sei ihm sowohl vom Migrationsamt des Kantons Zürich als auch vom Einwohneramt H._ zugesichert worden, eine Rückkehr in die Schweiz innert sechs Monaten sei problemlos möglich. Die kantonalen Behörden gehen dagegen davon aus, dass sich der Beschwerdeführer mit seiner Familie damals definitiv ins Ausland abgemeldet hat, was die Anwesenheitsbewilligungen zum Erlöschen brachte.
3.2 Im bundesgerichtlichen Verfahren behauptet der Beschwerdeführer, er habe sich bloss zur Erholung von seinen gesundheitlichen Problemen ("Burn-out") in sein Heimatland begeben. Von der früher geäusserten Absicht, dort eine wirtschaftliche Existenz aufzubauen, ist nicht mehr die Rede. Wie die Vorinstanz zutreffend festgehalten hat, ist für einen vorübergehenden Erholungsaufenthalt nicht erforderlich und zudem wenig sinnvoll, in der Schweiz die Arbeitsstelle aufzugeben, die Wohnung zu kündigen und mit der gesamten Familie auszureisen. Was der Beschwerdeführer dagegen vorbringt, überzeugt nicht, weshalb die Feststellung der Vorinstanz, der Beschwerdeführer sei mit seiner Familie weder bloss zu Erholungszwecken noch probeweise in sein Heimatland zurückgekehrt, nicht zu beanstanden ist.
Ob dem Beschwerdeführer auf Anfrage hin sowohl vom Migrationsamt des Kantons Zürich als auch vom Einwohneramt H._ zugesichert worden ist, die Niederlassungsbewilligung erlösche nach einer Auslandsabwesenheit von sechs Monaten und könne bis auf zwei Jahre aufrecht erhalten werden, ist nicht erstellt. Abgesehen davon wäre die Auskunft an sich nicht falsch, ist es doch zulässig, dass ein in der Schweiz niedergelassener Ausländer zunächst probeweise das Land verlässt und innert sechs Monaten zurückkehrt (vgl. oben E. 2.1), wenn es ihm beispielsweise bis dahin nicht gelungen ist, im Ausland Fuss zu fassen. Er kann sich diesfalls eine Rückkehrmöglichkeit offen halten, indem er eine förmliche fremdenpolizeiliche Abmeldung, zu der er in diesem Fall nicht verpflichtet ist, unterlässt (vgl. BGE 112 Ib 1 E. 2b S. 3). Dies wollte der Beschwerdeführer im Blick auf die Barauszahlung der Austrittsleistung der Pensionskasse, die nur erfolgen kann, wenn der Versicherte die Schweiz endgültig verlässt, aber gerade nicht.
Die Vorinstanz schliesst insbesondere auch aufgrund der erwirkten Auszahlung des Pensionskassenguthabens auf eine definitive Ausreise des Beschwerdeführers und seiner Familie. Berufliche Vorsorge und Ausländergesetzgebung sind zwar zwei verschiedene, vom Gesetzgeber getrennt geregelte Sachgebiete. Immerhin kann die Auszahlung der Austrittsleistung der Pensionskasse, die nach Art. 5 Abs. 1 lit. a des Freizügigkeitsgesetzes vom 17. Dezember 1993 (SR 831.42) nur bei endgültigem Verlassen der Schweiz möglich ist, als Indiz für die Absichten des Ausländers bezüglich seines Aufenthalts in der Schweiz mitberücksichtigt werden. Damit eine Abmeldung ausländerrechtlich wirksam ist, muss sie jedoch gegenüber der zuständigen Behörde erklärt werden, wie dies vorliegend geschehen ist.
3.3 Gemäss den für das Bundesgericht verbindlichen Feststellungen der Vorinstanz sprach der Beschwerdeführer am 4. Mai 2007 beim Einwohneramt H._ persönlich vor in der Absicht, die Schweiz definitiv zu verlassen und sich abzumelden, um eine Abmeldebestätigung zu erhalten. Nach einem längeren, in einer Aktennotiz vom 4. Mai 2007 festgehaltenen Gespräch mit dem Amtschef selber ist die anbegehrte Abmeldebestätigung ausgestellt worden. Der Beschwerdeführer hat diese nicht zurückgewiesen, sondern entgegengenommen und gegenüber der Pensionskasse verwendet.
Allein aus dem Umstand, dass der wegen seiner persönlichen Situation erregte Beschwerdeführer das Formular "Abmelde-Erklärung (bei definitivem Wegzug ins Ausland)" der Gemeinde H._ nicht unterzeichnen wollte, lässt sich nicht folgern, er habe keine klare und eindeutige Erklärung der definitiven Rückkehr abgegeben; sonst wäre ihm auch keine Abmeldebestätigung ausgestellt worden. Es besteht keine gesetzliche Vorschrift, wonach eine ausländerrechtlich wirksame Abmeldung schriftlich oder durch Unterzeichnung eines bestimmten Formulars zu erfolgen hätte. Es genügt, dass die zuständige Fremdenpolizeibehörde die tatsächlichen Umstände festhält, über die Wirkung der Abmeldung orientiert und dem ausreisewilligen Ausländer eine Abmeldebestätigung ausstellt.
Vorliegend wurde die umstrittene Abmeldung nicht gestützt auf eine unklare Äusserung, sondern aufgrund einer eindeutigen Erklärung des Beschwerdeführers und in Kenntnis der Folgen einer definitiven Abmeldung vorgenommen. Dass die Vorinstanz die gegenteiligen Behauptungen und Erklärungsversuche des Beschwerdeführers als unglaubwürdig erachtete, ist nicht willkürlich. Die Abmeldung des Beschwerdeführers erweist sich daher - auch in Bezug darauf, dass sie endgültig ist - als willensmängelfrei.
3.4 Zusammenfassend ergibt sich, dass die Niederlassungsbewilligungen des Beschwerdeführers und der beiden Kinder mit der definitiven Abmeldung per 30. Mai 2007 gemäss Art. 9 Abs. 3 lit. c ANAG erloschen sind. Unter diesen Umständen hat die Ehefrau des Beschwerdeführers keinen Anspruch mehr auf Erteilung einer Aufenthaltsbewilligung (vgl. Art. 17 Abs. 2 ANAG).
4. 4.1 Für den Fall, dass seine Niederlassungsbewilligung erloschen sei, ersucht der Beschwerdeführer um Erteilung einer Aufenthaltsbewilligung. Er beruft sich dafür auf die Beziehung zu seinem schweizerischen Sohn aus erster Ehe, der unter der elterlichen Sorge der Mutter lebt. Ob der Beschwerdeführer zu seinem Sohn eine intakte und gelebte Beziehung pflegt und deshalb gestützt auf Art. 8 EMRK einen (bedingten) Rechtsanspruch auf eine Aufenthaltsbewilligung (BGE 122 II 1 E. 1e S. 5 mit Hinweisen) hat, kann offen bleiben, da die Voraussetzungen für eine Bewilligungserteilung ohnehin nicht erfüllt sind.
4.2 In der Regel kann sich im Hinblick auf eine Bewilligungserteilung nur derjenige auf Art. 8 EMRK berufen, der mit der in der Schweiz anwesenheitsberechtigten Person zusammen lebt. Ein Besuchsrecht gegenüber einem in der Schweiz anwesenheitsberechtigten Kind verschafft dem ausländischen Elternteil daher im Allgemeinen noch keinen Anspruch auf dauernde Anwesenheit. Die Aufenthaltsbewilligung ist nach bundesgerichtlicher Rechtsprechung nur dann zu erteilen oder zu erneuern, wenn in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung zum Kind besteht, diese wegen der Distanz zum Heimatland des Ausländers praktisch nicht mehr aufrechterhalten werden könnte und das bisherige Verhalten des Betroffenen in der Schweiz zu keinerlei Klagen Anlass gegeben hat (BGE 120 Ib 1 E. 3c S. 5, 22 E. 4; Urteile 2C_870/2008 vom 26. Mai 2009 E. 2.2; 2A.110/2007 vom 2. August 2007 E. 3.4 mit Hinweisen).
4.3 Der Beschwerdeführer, der sich im Jahre 1997 von seiner ersten Ehefrau trennte, hat höchstens einige Monate mit dem im April 1997 geborenen Sohn in Familiengemeinschaft gelebt. Dass zwischen dem Beschwerdeführer und seinem schweizerischen Sohn in wirtschaftlicher und affektiver Hinsicht eine besonders enge Beziehung bestünde, ist nicht ersichtlich und wird auch vom Beschwerdeführer in keiner Weise dargetan. Zudem kümmerte diese Beziehung bzw. deren zukünftige Aufrechterhaltung den Beschwerdeführer offensichtlich nicht, als er sich mit seiner aktuellen Familie definitiv abmeldete und ins Heimatland ausreiste. Ob sein Verhalten in der Schweiz als tadellos zu bezeichnen wäre, kann unter diesen Umständen dahingestellt bleiben. Der Schluss der Vorinstanz, dass der Beschwerdeführer aus Art. 8 EMRK bzw. Art. 13 Abs. 1 BV keinen Anspruch auf Aufenthaltsbewilligung ableiten kann, ist somit nicht zu beanstanden.
5. Soweit die Bewilligungserteilung gestützt auf Art. 4 ANAG, der eine Bewilligung ins freie Ermessen der Behörden stellt, abgewiesen wurde, ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig. Die subsidiäre Verfassungsbeschwerde ist mangels Legitimation in der Sache ausgeschlossen. Eine Verletzung von Parteirechten wird im Übrigen nicht gerügt.
Die Erteilung einer Härtefallbewilligung ist nicht Gegenstand des angefochtenen Entscheids. Abgesehen davon ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide betreffend Ausnahmen von den Höchstzahlen ohnehin unzulässig (Art. 83 lit. c Ziff. 5 BGG).
6. 6.1 Die Beschwerde erweist sich demnach als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
6.2 Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 65 und Art. 66 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht (2. Kammer) des Kantons Zürich, dem Bundesamt für Migration sowie der Staatsanwaltschaft Winterthur/Unterland schriftlich mitgeteilt.
Lausanne, 19. Oktober 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Müller Dubs