Sachverhalt: A. Der kosovarische Staatsangehörige X._ (geb. 1967) reiste zwischen 1989 und 1991 mehrmals in die Schweiz ein und erhielt im April 1991 eine befristete Saisonbewilligung sowie in der Folge zwei Kurzaufenthaltsbewilligungen. Am 19. April 1992 wurde er nach Österreich abgeschoben und am 25. Mai 1992 gegen ihn eine Einreisesperre erlassen. Am 1. Juli 1992 und erneut am 9. Juli 1992 wurde X._ nach Skopje/Mazedonien ausgeschafft. Am 14. März 1997 liess sich X._ im Kosovo von seiner Ehefrau Y.a._ (geb. 1967) scheiden, mit welcher er die Tochter Y.b._ (geb. 1988) hat. Im Juli 1997 reiste X._ erneut in die Schweiz ein, heiratete am 11. Juli 1997 die Schweizer Bürgerin Z.a._ (geb. 1960) und erhielt die Aufenthaltsbewilligung für den Kanton Zürich. Am 17. August 1997 ging aus der früheren Ehe mit Y.a._ die Tochter Y.c._ hervor. Am 5. August 1998 gebar Z.a._ die aussereheliche Tochter Z.b._. Am 26. Juni 2002 erhielt X._ die Niederlassungsbewilligung. Am 10. Januar 2003 unterzeichnete X._ eine Scheidungskonvention und am 19. Februar 2003 brachte Z.a._ den ausserehelichen Sohn Z.c._ zur Welt. Am 19. März 2003 wurde die Ehe zwischen X._ und Z.a._ geschieden. B. Am 5. April 2006 stellte X._ ein Gesuch um Nachzug seiner ältesten Tochter Y.b._. In diesem Zusammenhang erhielt das Migrationsamt des Kantons Zürich Kenntnis davon, dass er während der Ehe mit Z.a._ einen ausserehelichen Sohn Y.d._ (geb. 5. April 2000) mit seiner früheren Ehefrau Y.a._ gezeugt hatte. Das Migrationsamt des Kantons Zürich widerrief am 20. Februar 2007 die Niederlassungsbewilligung von X._, setzte ihm Frist zur Ausreise und wies zugleich die beantragte Einreisebewilligung für seine Tochter Y.b._ ab. Dagegen liess X._ Rekurs an den den Regierungsrat des Kantons Zürich führen, der das Rechtsmittel mit Beschluss vom 24. August 2011 abwies. Eine daraufhin beim Verwaltungsgericht des Kantons Zürich erhobene Beschwerde wies dieses mit Urteil vom 23. Februar 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 19. April 2012 beantragt X._, das Urteil des Verwaltungsgerichts vom 23. Februar 2012 sei aufzuheben und vom Widerruf der Niederlassungsbewilligung abzusehen, eventualiter sei die Sache zur erneuten Entscheidung an die Vorinstanz zurückzuweisen. Das Verwaltungsgericht des Kantons Zürich verzichtet auf eine Vernehmlassung, derweil der Regierungsrat des Kantons Zürich sowie das Bundesamt für Migration auf Abweisung der Beschwerde schliessen. Die Sicherheitsdirektion des Kantons Zürich hat sich nicht vernehmen lassen. Mit Verfügung vom 24. April 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.