Sachverhalt:
A. Der kosovarische Staatsangehörige X._ (geb. 1967) reiste zwischen 1989 und 1991 mehrmals in die Schweiz ein und erhielt im April 1991 eine befristete Saisonbewilligung sowie in der Folge zwei Kurzaufenthaltsbewilligungen. Am 19. April 1992 wurde er nach Österreich abgeschoben und am 25. Mai 1992 gegen ihn eine Einreisesperre erlassen. Am 1. Juli 1992 und erneut am 9. Juli 1992 wurde X._ nach Skopje/Mazedonien ausgeschafft.
Am 14. März 1997 liess sich X._ im Kosovo von seiner Ehefrau Y.a._ (geb. 1967) scheiden, mit welcher er die Tochter Y.b._ (geb. 1988) hat. Im Juli 1997 reiste X._ erneut in die Schweiz ein, heiratete am 11. Juli 1997 die Schweizer Bürgerin Z.a._ (geb. 1960) und erhielt die Aufenthaltsbewilligung für den Kanton Zürich. Am 17. August 1997 ging aus der früheren Ehe mit Y.a._ die Tochter Y.c._ hervor. Am 5. August 1998 gebar Z.a._ die aussereheliche Tochter Z.b._. Am 26. Juni 2002 erhielt X._ die Niederlassungsbewilligung.
Am 10. Januar 2003 unterzeichnete X._ eine Scheidungskonvention und am 19. Februar 2003 brachte Z.a._ den ausserehelichen Sohn Z.c._ zur Welt. Am 19. März 2003 wurde die Ehe zwischen X._ und Z.a._ geschieden.
B. Am 5. April 2006 stellte X._ ein Gesuch um Nachzug seiner ältesten Tochter Y.b._. In diesem Zusammenhang erhielt das Migrationsamt des Kantons Zürich Kenntnis davon, dass er während der Ehe mit Z.a._ einen ausserehelichen Sohn Y.d._ (geb. 5. April 2000) mit seiner früheren Ehefrau Y.a._ gezeugt hatte.
Das Migrationsamt des Kantons Zürich widerrief am 20. Februar 2007 die Niederlassungsbewilligung von X._, setzte ihm Frist zur Ausreise und wies zugleich die beantragte Einreisebewilligung für seine Tochter Y.b._ ab. Dagegen liess X._ Rekurs an den den Regierungsrat des Kantons Zürich führen, der das Rechtsmittel mit Beschluss vom 24. August 2011 abwies. Eine daraufhin beim Verwaltungsgericht des Kantons Zürich erhobene Beschwerde wies dieses mit Urteil vom 23. Februar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 19. April 2012 beantragt X._, das Urteil des Verwaltungsgerichts vom 23. Februar 2012 sei aufzuheben und vom Widerruf der Niederlassungsbewilligung abzusehen, eventualiter sei die Sache zur erneuten Entscheidung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht des Kantons Zürich verzichtet auf eine Vernehmlassung, derweil der Regierungsrat des Kantons Zürich sowie das Bundesamt für Migration auf Abweisung der Beschwerde schliessen. Die Sicherheitsdirektion des Kantons Zürich hat sich nicht vernehmen lassen.
Mit Verfügung vom 24. April 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Gegen den angefochtenen kantonal letztinstanzlichen Endentscheid über den Widerruf der Niederlassungsbewilligung des Beschwerdeführers ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (vgl. Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG), weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist (vgl. <ref-ruling> E. 1.2.1 S. 4). Auf die fristgerecht eingereichte Beschwerde (Art. 100 Abs. 1 BGG), zu welcher der Beschwerdeführer gemäss Art. 89 Abs. 1 BGG legitimiert ist, ist einzutreten.
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 1 und 2 BGG). Die Rüge, der Sachverhalt sei offensichtlich unrichtig festgestellt (Art. 97 Abs. 1 BGG), muss in der Beschwerdeschrift nach den Anforderungen gemäss Art. 106 Abs. 2 BGG vorgebracht und begründet werden (<ref-ruling> E. 1.4.3 S. 254 f.).
2. 2.1 Die streitige Verfügung betreffend Widerruf der Niederlassungsbewilligung wurde am 20. Februar 2007 und damit vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) am 1. Januar 2008 erlassen, weshalb sich die vorliegende Beschwerde unbestrittenermassen noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen beurteilt (Art. 126 Abs. 1 AuG).
2.2 Nach Art. 9 Abs. 4 lit. a ANAG kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer sie durch falsche Angaben oder wissentliches Verschweigen wesentlicher Tatsachen erschlichen hat. Art. 3 Abs. 2 ANAG verpflichtet den Ausländer, der Behörde wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann.
Gemäss bundesgerichtlicher Praxis muss die falsche Angabe oder das Verschweigen wesentlicher Tatsachen in der Absicht erfolgt sein, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein können. Als wesentlicher Umstand gilt gemäss ständiger Rechtsprechung insbesondere das Vorhandensein von vor- bzw. ausserehelichen Kindern bei Gesuchen zum Verbleib beim in der Schweiz ansässigen Ehepartner bzw. bei der Ehepartnerin (Urteil 2C_595/2011 vom 24. Januar 2012 E. 3.3 mit Hinweisen).
3. 3.1 Gemäss den für das Bundesgericht verbindlichen Feststellungen der Vorinstanz, welche in der Beschwerdeschrift nicht als offensichtlich unrichtig gerügt werden (vgl. E. 1.2 hiervor), hat der Beschwerdeführer während seiner Ehe mit einer Schweizer Bürgerin, welche vom 11. Juli 1997 bis zum 19. März 2003 gedauert hat, eine Beziehung mit seiner ersten Ehefrau aus dem Kosovo unterhalten, aus welcher am 21. Februar 2000 der Sohn Fatmir hervorgegangen ist. Die Vorinstanz wirft dem Beschwerdeführer vor, er habe diese Beziehung und die Existenz des ausserehelichen Sohnes verheimlicht, obwohl er sich im Klaren gewesen sein müsse, dass es sich dabei um eine wesentliche Tatsache im Sinne von Art. 9 Abs. 4 ANAG gehandelt habe.
3.2 Dem Beschwerdeführer ist zwar insofern beizupflichten, dass auf dem Gesuchsformular nicht ausdrücklich nach ausserehelichen Kindern gefragt wurde. Soweit ersichtlich machte er denn auch keine "falschen Angaben" im Sinne von Art. 9 Abs. 4 lit. a ANAG. Allerdings entbindet das Fehlen konkreter Fragen den Beschwerdeführer nicht von vornherein, über wesentliche Tatsachen von sich aus zu informieren: Wie das Bundesgericht festgehalten hat, liegt ein "Verschweigen" im Sinne von Art. 9 Abs. 4 lit. a ANAG (bzw. Art. 62 lit. a AuG) jedenfalls dann vor, wenn der Ausländer aufgrund seiner Gesuchsbegründung bzw. anderer von ihm zu vertretender Umstände bei den Behörden einen falschen Anschein über eine wesentliche Tatsache erweckt bzw. aufrechterhält und insofern eine Täuschungshandlung begeht. Ergibt sich demgegenüber aus den konkreten Umständen des Einzelfalls, dass die Bewilligungsvoraussetzungen genauerer Abklärung bedürfen, so obliegt es kraft des im Verwaltungsverfahren geltenden Untersuchungsgrundsatzes in erster Linie den Behörden, entsprechende Fragen an den Ausländer zu richten (Urteil 2C_403/2011 vom 2. Dezember 2011 E. 3.3.3).
3.3 Vorliegend bildete die Beziehung zu seiner damaligen Schweizer Ehefrau die rechtliche Grundlage für das bisherige Aufenthaltsrecht sowie für die beantragte Erteilung der Niederlassungsbewilligung des Beschwerdeführers. Indem dieser das Bewilligungsgesuch mit dem weiteren Verbleib bei der Ehefrau begründete, ohne gleichzeitig auf die Geburt des ausserehelichen Sohnes hinzuweisen, erweckte er gegenüber den Behörden den Anschein über das Fortbestehen einer intakten ehelichen Beziehung. Für die Behörden bestand aufgrund der konkreten Umstände kein erkennbarer Anlass, am anspruchsbegründenden Verhältnis zu zweifeln. Hingegen hätte die Kenntnis über die Tatsache, dass der Beschwerdeführer mittlerweile ein weiteres aussereheliches Kind gezeugt hatte, zumindest Zweifel erweckt und Anlass zu vertieften Abklärungen gegeben. Es wäre somit Sache des Beschwerdeführers gewesen, die Ausländerbehörden von sich aus über die wahren familiären Verhältnisse zu informieren. Dies gilt umso mehr, als es sich dabei um Umstände handelte, die der Ausländer besser kannte als die Behörden und welche diese ohne seine Mitwirkung gar nicht oder nicht mit vernünftigem Aufwand ermitteln konnten (Urteil 2C_244/2010 vom 15. November 2010 E. 2.2 mit Hinweisen).
3.4 Der Beschwerdeführer kann sodann nichts zu seinen Gunsten ableiten, wenn er ausführt, die Vorinstanz habe ausser Acht gelassen, dass das Migrationsamt Kenntnis hatte von der ausserehelichen Tochter seiner damaligen Ehefrau bzw. von seinen beiden Töchtern aus erster Ehe. Die vorliegenden Familienverhältnisse (von insgesamt fünf Kindern sind vier ausserehelich geboren) mögen hier an sich schon etwas aussergewöhnlich sein. Was die Kinder des Beschwerdeführers betrifft, sind zumindest die beiden ersten Töchter noch während der ersten Ehe des Beschwerdeführers gezeugt worden. Nur der am 5. April 2000 geborene Sohn Y.d._ fällt klarerweise in die Periode der Ehe des Beschwerdeführers mit einer Schweizer Bürgerin. Es macht sodann einen erheblichen Unterschied, ob ein Kind noch während der ersten Ehe gezeugt und erst nach der Scheidung geboren wurde, oder ob es während der zweiten Ehe mit der früheren, ersten Ehefrau gezeugt wurde. Entgegen der Ansicht des Beschwerdeführers ist es derart offensichtlich, dass das Vorhandensein einer ausserehelichen Beziehung und von ausserehelichen Kindern im Heimatstaat in fremdenpolizeilicher Hinsicht von Relevanz ist, dass dies selbst einer gänzlich rechtsunkundigen Person ohne weiteres klar sein muss (Urteil 2C_72/2009 vom 5. März 2009 E. 3.2 mit Hinweisen). Der Beschwerdeführer kann daher das Bestehen einer Täuschungsabsicht nicht mit Erfolg bestreiten. Daran ändert auch nichts, dass das Migrationsamt angesichts der unübersichtlichen Familienverhältnisse im Allgemeinen und den in den Akten vorhandenen Hinweise auf eheliche Probleme an sich gehalten gewesen wäre, vor Erteilung der Niederlassungsbewilligung noch vertiefter Abklärungen vorzunehmen.
Wenn der Beschwerdeführer vorbringt, die Behörden hätten bei der Verlängerung der Aufenthaltsbewilligung und der Erteilung der Niederlassungsbewilligung Kenntnis gehabt, dass er von seiner Ehefrau getrennt lebte, so verkennt er, dass nach dem damals massgebenden Art. 7 ANAG das Zusammenleben der Ehegatten keine Voraussetzung für die Erteilung und Verlängerung der Bewilligungen bildete. Das den Behörden bekannte Getrenntleben konnte somit für sich allein keinen Grund für die Verweigerung bilden, zumal die Ehegatten beteuert hatten, dass die Ehe nach wie vor intakt sei.
3.5 Bei dieser Sachlage ist es insgesamt nicht zu beanstanden, wenn die Vorinstanz zum Schluss gekommen ist, dass der Beschwerdeführer dem Migrationsamt wesentliche Tatsachen wissentlich verschwiegen und sich im Sinne von Art. 9 Abs. 4 lit. a ANAG seine Niederlassungsbewilligung auf diese Weise erschlichen hat.
4. 4.1 Der Widerruf der Niederlassungsbewilligung erweist sich, gestützt auf die Ausführungen der Vorinstanz (dortige E. 5), auch als verhältnismässig. Zwar scheint der Beschwerdeführer zumindest beruflich integriert zu sein. Von einer eigentlichen Verwurzelung in der Schweiz kann jedoch nicht gesprochen werden, obgleich der Beschwerdeführer bereits zwischen 1989 und 1991 als Gastarbeiter in der Schweiz weilte und sich seit 1997 fest hier aufhält. Hierfür spricht weder die - im Übrigen nicht näher belegte - Aussage, dass zwei Geschwister und zwei Cousins in der Schweiz leben, noch die weiteren von ihm vorgebrachten Umstände wie das selbständige Bestreiten des Lebensunterhalts oder das Fussballspielen beim FC Kosova Zürich. Allgemeines Wohlverhalten wird an sich als selbstverständlich vorausgesetzt und bedarf keiner besonderen Erwähnung. Nicht angelastet werden darf dem Beschwerdeführer hingegen die überlange Verfahrensdauer, insbesondere vor dem Regierungsrat. Gegen den Beschwerdeführer sprechen sodann die begangenen Strassenverkehrsdelikte sowie die 2001 verfügte Lohnpfändung. Hinzu kommt, dass der Beschwerdeführer bis zu seinem 30. Altersjahr vorwiegend in seiner Heimat lebte und damit dort die prägenden Lebensjahre verbracht hat. Weiter darf davon ausgegangen werden, dass er mit den kulturellen und gesellschaftlichen Gepflogenheiten seines Heimatlandes nach wie vor bestens vertraut ist. Ins Gewicht fällt zudem, dass seine drei Kinder sowie weitere Verwandte im Kosovo leben. Dem Beschwerdeführer ist somit zuzumuten, in seine Heimat zurückzukehren.
4.2 Ob die in casu noch nicht anwendbaren Bestimmungen des AuG allenfalls eine für den Beschwerdeführer vorteilhaftere Regelung vorgesehen hätten, ist nicht entscheidend, zumal dieser Umstand bei der vorliegenden Sachlage ohnehin nicht hinreichend bedeutsam erscheint, um die Verhältnismässigkeit des Widerrufs der Niederlassungsbewilligung in Frage zu stellen (Urteil 2C_72/2009 vom 5. März 2009 E. 4.2).
5. 5.1 Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen. Bei diesem Ergebnis besteht auch kein Anlass, dem Eventualantrag (Rückweisung der Sache an die Vorinstanz zur Neubeurteilung) stattzugeben.
5.2 Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 65 und 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 17. Januar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger