Sachverhalt:
A. Der kosovarische Staatsangehörige X._ (geb. 1969) hielt sich zwischen 1990 und 1992 als Gastarbeiter und zwischen 1998 und 2000 als Asylbewerber in der Schweiz auf. Das Asylgesuch blieb erfolglos. Am 6. August 2001 heiratete er im Kosovo die in der Schweiz niedergelassene deutsche Staatsangehörige Y._ (geb. 1956) und reiste am 24. März 2002 in die Schweiz ein, worauf er die Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erhielt. Nach mehrmaliger Verlängerung der Aufenthaltsbewilligung stellte X._ am 12. Januar 2007 ein Gesuch um Erteilung der Niederlassungsbewilligung, dem mit Verfügung vom 13. Februar 2007 stattgegeben wurde.
Am 3. März 2008 wurde die Ehe mit Y._ rechtskräftig geschieden, worauf X._ am 11. Juli 2008 im Kosovo Z._ (geb. 1979) heiratete. Am 8. Juni 2009 beantragte X._ die Einreisebewilligung für seine Ehefrau sowie den gemeinsamen Sohn S._ (geb. 2006) zum Zweck des Familiennachzuges.
B. Das Migrationsamt des Kantons Zürich widerrief am 11. August 2010 die Niederlassungsbewilligung von X._, setzte ihm Frist zur Ausreise und wies zugleich die beantragte Einreisebewilligung für seine Ehefrau und seinen Sohn ab. Die hiergegen erhobenen Rechtsmittel an die Sicherheitsdirektion und an das Verwaltungsgericht des Kantons Zürich blieben erfolglos.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 20. Juli 2011 beantragt X._, das Urteil des Verwaltungsgerichts vom 15. Juni 2011 sei aufzuheben, vom Widerruf der Niederlassungsbewilligung sei abzusehen und der Familiennachzug für Ehefrau und Kind sei zu bewilligen.
Das Verwaltungsgericht verzichtet auf eine Vernehmlassung, derweil sich die weiteren Vorinstanzen sowie das Bundesamt für Migration nicht vernehmen liessen.

Erwägungen:
1. 1.1 Gegen den angefochtenen kantonal letztinstanzlichen Endentscheid über den Widerruf der Niederlassungsbewilligung des Beschwerdeführers ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (vgl. Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG), weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist (vgl. <ref-ruling> E. 1.2.1 S. 4). Ebenso besteht ein grundsätzlicher Anspruch auf Bewilligung des Familiennachzugs für die Ehefrau des Beschwerdeführers und das gemeinsame Kind (Art. 43 Abs. 1 AuG). Auf die fristgerecht eingereichte Beschwerde (<ref-law>), zu welcher der Beschwerdeführer gemäss <ref-law> legitimiert ist, ist einzutreten.
Für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde besteht damit kein Raum, weshalb auf diese nicht einzutreten ist (<ref-law>).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG). Die Rüge, der Sachverhalt sei offensichtlich unrichtig festgestellt (<ref-law>) muss in der Beschwerdeschrift nach den Anforderungen gemäss <ref-law> vorgebracht und begründet werden (<ref-ruling> E. 1.4.3 S. 254 f.).
1.3 Soweit der Beschwerdeführer auf Ausführungen und Akten vor der Vorinstanz verweist (vgl. Beschwerdeschrift Ziff. 6), tritt das Bundesgericht praxisgemäss nicht darauf ein. Die erhobenen Rügen müssen in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 S. 399 f. mit Hinweisen).
2. Vorab macht der Beschwerdeführer geltend, die Vorinstanz habe zu Unrecht auf den beantragten Beizug der Akten des Ehescheidungsverfahrens sowie der Akten der Invalidenversicherung von Y._ verzichtet. Indessen rügt er in diesem Zusammenhang keine offensichtlich unrichtige Sachverhaltsfeststellung im Sinne von <ref-law>. Seine diesbezüglichen Darlegungen genügen somit den Begründungsanforderungen gemäss <ref-law> nicht. Im Übrigen ist mit Blick auf die vorliegend im Zentrum stehende Frage, ob der Beschwerdeführer im Rahmen des Niederlassungsbewilligungsverfahrens gegenüber den Ausländerbehörden die Existenz eines ausserehelichen Kindes verschwiegen habe (vgl. E. 3 hiernach), nicht ersichtlich, inwiefern die nicht beigezogenen Scheidungs- bzw. Invalidenversicherungsakten von Y._ für den Ausgang des Verfahrens entscheidend sein könnten (<ref-law>). Die antizipierte Beweiswürdigung, die die Vorinstanz zum Verzicht auf die vorerwähnten Akten veranlasste, verletzt somit kein Bundesrecht. Der im angefochtenen Entscheid festgestellte Sachverhalt ist damit für das Bundesgericht verbindlich (vgl. E. 1.2 hiervor).
3. 3.1 Die Vorinstanz wirft dem Beschwerdeführer vor, er habe in seinem Gesuch um Niederlassungsbewilligung vom 12. Januar 2007 nicht erwähnt, dass er eine nicht-eheliche Beziehung in seinem Heimatland pflege, aus der ein Kind hervorgegangen sei. Indem er diese als wesentlich einzustufende Tatsache verschwiegen habe, welche auch ungefragt zu offenbaren sei, erfülle er den Widerrufsgrund von Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG.
3.2 Der Beschwerdeführer bringt dagegen vor, er sei sich im Moment der Gesuchseinreichung seiner Vaterschaft noch nicht zweifelsfrei bewusst gewesen. Zudem sei das Gesuchsformular "von der Gemeinde vollumfänglich bereits per EDV ergänzt" worden und habe vom Beschwerdeführer nur noch unterzeichnet werden müssen. Im Übrigen bestreitet er das Vorliegen einer Täuschungsabsicht.
3.3 Nach Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat. Das Bundesgericht hat unlängst ausgeführt, dass die unter dem alten Recht (Art. 9 Abs. 2 lit. a und Abs. 4 lit. a ANAG) zu diesem Widerrufsgrund entwickelte Praxis im Wesentlichen auch für Art. 62 lit. a AuG gilt. Namentlich muss die falsche Angabe oder das Verschweigen wesentlicher Tatsachen in der Absicht erfolgt sein, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Der Ausländer ist verpflichtet, den Behörden wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann (Art. 3 Abs. 2 und Art. 13 f. ANAG bzw. Art. 90 AuG). Wesentlich sind nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein können (Urteile 2C_15/2011 vom 31. Mai 2011 E. 4.2.1; 2C_60/2008 vom 9. Juni 2008 E. 2.2.1). Als wesentlicher Umstand gilt gemäss ständiger Rechtsprechung insbesondere das Vorhandensein von vor- bzw. ausserehelichen Kindern bei Gesuchen zum Verbleib beim in der Schweiz ansässigen Ehepartner bzw. bei der Ehepartnerin (vgl. die Urteile 2C_243/2008 vom 18. Juni 2008 E. 2.3; 2A.423/2006 vom 26. Oktober 2006 E. 2.1; 2A.346/2004 vom 10. Dezember 2004 E. 2.2, in: Pra 2005 Nr. 100 S. 716; je mit Hinweisen).
3.4 Der Beschwerdeführer stellte am 12. Januar 2007 das Gesuch um Erteilung der Niederlassungsbewilligung zum weiteren Verbleib bei seiner damaligen Ehefrau Y._, nachdem er Vater eines ausserehelichen Kindes geworden war. Von dieser als wesentlich im Sinne von Art. 62 lit. a AuG zu bezeichnenden Tatsache setzte er die Ausländerbehörden indessen nicht in Kenntnis. Dem Beschwerdeführer ist zwar insofern beizupflichten, dass auf dem Gesuchsformular nicht ausdrücklich nach ausserehelichen Kindern gefragt wurde. Soweit ersichtlich machte er denn auch keine "falschen Angaben" im Sinne von Art. 62 lit. a AuG. Allerdings entbindet das Fehlen konkreter Fragen den Beschwerdeführer nicht von vornherein, über wesentliche Tatsachen von sich aus zu informieren: Wie das Bundesgericht kürzlich festgehalten hat, liegt ein "Verschweigen" im Sinne von Art. 62 lit. a AuG jedenfalls dann vor, wenn der Ausländer aufgrund seiner Gesuchsbegründung bzw. anderer von ihm zu vertretender Umstände bei den Behörden einen falschen Anschein über eine wesentliche Tatsache erweckt bzw. aufrechterhält und insofern eine Täuschungshandlung begeht. Ergibt sich demgegenüber aus den konkreten Umständen des Einzelfalls, dass die Bewilligungsvoraussetzungen genauerer Abklärung bedürfen, so obliegt es kraft des im Verwaltungsverfahren geltenden Untersuchungsgrundsatzes in erster Linie den Behörden, entsprechende Fragen an den Ausländer zu richten (Urteil 2C_403/2011 vom 2. Dezember 2011 E. 3.3.3).
Vorliegend bildete die Beziehung zu Y._ die rechtliche Grundlage für das bisherige Aufenthaltsrecht sowie für die beantragte Erteilung der Niederlassungsbewilligung des Beschwerdeführers (Art. 43 Abs. 1 bzw. Abs. 2 AuG). Indem dieser das Bewilligungsgesuch mit dem weiteren Verbleib bei der Ehefrau begründete, ohne gleichzeitig auf die Geburt des Sohnes hinzuweisen, erweckte er gegenüber den Behörden den Anschein über das Fortbestehen einer intakten ehelichen Beziehung. Für die Behörden bestand aufgrund der konkreten Umstände kein erkennbarer Anlass, am anspruchsbegründenden Verhältnis zu zweifeln. Hingegen hätte die Kenntnis über die Tatsache, dass der Beschwerdeführer mittlerweile ein aussereheliches Kind gezeugt hatte, zumindest Zweifel erweckt und Anlass zu vertieften Abklärungen gegeben. Es wäre somit Sache des Beschwerdeführers gewesen, die Ausländerbehörden von sich aus über die wahren familiären Verhältnisse zu informieren. Dies gilt umso mehr, als es sich dabei um Umstände handelte, die der Ausländer besser kannte als die Behörden und welche diese ohne seine Mitwirkung gar nicht oder nicht mit vernünftigem Aufwand ermitteln konnten (Urteil 2C_244/2010 vom 15. November 2010 E. 2.2 mit Hinweisen). Aus dem Umstand, dass das Formular bereits anhand der den Behörden bekannten Informationen über seine Person teilweise ausgefüllt war, vermag der Beschwerdeführer im Übrigen nichts zu seinen Gunsten abzuleiten. Mit seiner Unterschrift bekräftigte er vielmehr, dass seine Angaben vollständig waren und der Wahrheit entsprachen.
Der Beschwerdeführer bestreitet zu Recht nicht, dass er um die Relevanz der ehelichen Beziehung zu seiner damaligen Ehefrau für sein eigenes Aufenthaltsrecht wusste. Nicht nachvollziehbar ist hingegen sein Einwand, er habe die Existenz des ausserehelichen Sohnes im Rahmen des Niederlassungsbewilligungsverfahrens zumindest nicht wissentlich verschwiegen, denn er sei zum fraglichen Zeitpunkt weiterhin mit Y._ verheiratet gewesen und habe mit ihr in derselben Wohnung gelebt. Gerade mit diesen äusseren Umständen wurde der Anschein einer weiterhin intakten ehelichen Beziehung erweckt bzw. aufrechterhalten und wäre deshalb zu berichtigen gewesen. Die vom Beschwerdeführer des Weiteren ins Feld geführten Zweifel an der Vaterschaft bleiben unbelegt und sind angesichts der Anerkennung des Sohnes letztlich auch unerheblich. Schliesslich vermag die Darstellung des Beschwerdeführers, er habe "nicht eventualvorsätzlich wesentliche Tatsachen verschwiegen", weil er die Existenz des Sohnes in seinem später eingereichten Gesuch um Familiennachzug offenbart habe, nicht zu überzeugen, da vorliegend einzig die im Verfahren auf Erteilung der Niederlassungsbewilligung gemachten Angaben massgeblich sind.
Gesamthaft betrachtet ist der Schluss des Verwaltungsgerichts somit nicht zu beanstanden, der Beschwerdeführer habe eine wesentliche Tatsache im Sinne von Art. 62 lit. a AuG verschwiegen und damit einen Widerrufsgrund gemäss Art. 63 Abs. 1 lit. a AuG verwirklicht. Mit Blick auf die Aufenthaltsdauer von rund neun Jahren ist die Anrufung dieses Widerrufsgrundes nicht von Gesetzes wegen ausgeschlossen (vgl. Art. 63 Abs. 2 AuG).
3.5 Die Vorinstanz wirft dem Beschwerdeführer des Weiteren vor, er habe die Behörden nicht über die eheähnliche Beziehung zu seiner nachmaligen Ehefrau informiert, womit er eine wesentliche Tatsache im Sinne von Art. 62 lit. a AuG verschwiegen habe. Wie es sich mit diesem - vom Beschwerdeführer in Abrede gestellten - Vorwurf verhält, kann indessen offen bleiben, weil er bereits mit dem Verschweigen der Existenz des gemeinsamen Kindes den Widerrufsgrund von Art. 62 lit. a AuG verwirklicht hat (vgl. E. 3.4 hiervor).
4. Der Widerruf der Niederlassungsbewilligung erweist sich, gestützt auf die Ausführungen der Vorinstanz (dortige E. 4), auch als verhältnismässig (vgl. Art. 96 AuG). Zwar scheint der Beschwerdeführer zumindest beruflich integriert zu sein. Von einer eigentlichen Verwurzelung in der Schweiz kann jedoch nicht gesprochen werden, obgleich der Beschwerdeführer bereits zwischen 1990 und 1992 als Gastarbeiter und zwischen 1998 und 2000 als Asylbewerber sowie ab 2002 fest in der Schweiz weilte. Hierfür spricht weder das vom Beschwerdeführer erwähnte Schreiben eines ehemaligen Arbeitgebers noch die weiteren von ihm vorgebrachten Umstände wie das selbständige Bestreiten des Lebensunterhalts und das Fehlen von Betreibungsregistereinträgen. Allgemeines Wohlverhalten wird an sich als selbstverständlich vorausgesetzt und bedarf keiner besonderen Erwähnung. Hinzu kommt, dass der Beschwerdeführer bis zu seinem 33. Altersjahr vorwiegend in seiner Heimat lebte und damit dort die prägenden Lebensjahre verbracht hat. Weiter darf davon ausgegangen werden, dass er mit den kulturellen und gesellschaftlichen Gepflogenheiten seines Heimatlandes nach wie vor bestens vertraut ist. Ins Gewicht fällt zudem, dass seine derzeitige Ehefrau und das gemeinsame Kind sowie weitere Verwandte im Kosovo leben. Dem Beschwerdeführer ist somit zuzumuten, zu seiner Familie in die Heimat zurückzukehren.
5. Der verfügte Widerruf der Niederlassungsbewilligung verletzt somit kein Bundesrecht. Als Folge des rechtmässigen Entzuges der Niederlassungsbewilligung durfte die Vorinstanz ferner davon ausgehen, dass dem Familiennachzugsgesuch betreffend die derzeitige Ehefrau und den Sohn des Beschwerdeführers die Grundlage entzogen ist (vgl. angefochtener Entscheid E. 6). Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen.
6. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, der Sicherheitsdirektion und dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 24. Januar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger