Sachverhalt:
A. Der mazedonische Staatsangehörige X._ (geb. 1984) reiste am 26. April 2007 im Rahmen eines im Jahr 1999 beantragten Familiennachzuges in die Schweiz ein. Am 18. Juni 2007 erhielt er die Niederlassungsbewilligung für den Kanton Zürich. Am 6. August 2009 heiratete er seine Landsfrau Xa._ (geb. 1984) in Mazedonien, worauf er am 31. August 2009 ein Familiennachzugsgesuch für die Ehefrau und die gemeinsamen Söhne Xb._ (geb. 2001) und Xc._ (geb. 2004) stellte. Am 21. Dezember 2009 reisten diese in die Schweiz ein.
B. Mit Verfügung vom 19. März 2010 widerrief das Migrationsamt des Kantons Zürich die Niederlassungsbewilligung von X._ und lehnte gleichzeitig das Familiennachzugsgesuch für Xa._, Xb._ und Xc._ ab. Zudem wurde den Beteiligten Frist zum Verlassen der Schweiz gesetzt. Das Migrationsamt warf X._ vor, im Verfahren für seine Niederlassungsbewilligung in pflichtwidriger Weise die Existenz der nunmehr nachzuziehenden Söhne sowie der eheähnlichen Beziehung zu deren Mutter verschwiegen zu haben. Die gegen den Entscheid des Migrationsamtes des Kantons Zürich erhobenen Rechtsmittel an den Regierungsrat sowie das Verwaltungsgericht des Kantons Zürich blieben erfolglos. Im Verlauf des kantonalen Beschwerdeverfahrens liessen sich X._ und Xa._ scheiden, wobei das elterliche Sorgerecht für die beiden Kinder gemäss dem mazedonischen Scheidungsurteil vom 28. September 2010 dem Vater zugeteilt wurde.
C. X._ beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. mit subsidiärer Verfassungsbeschwerde vom 16. Mai 2011, der Entscheid des Verwaltungsgerichts des Kantons Zürich vom 16. März 2011 sei aufzuheben und es sei die Niederlassungsbewilligung nicht zu widerrufen.
Das Verwaltungsgericht des Kantons Zürich beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Sicherheitsdirektion sowie der Regierungsrat des Kantons Zürich liessen sich nicht vernehmen. Die Vernehmlassung des Bundesamts für Migration wurde erst nach Fristablauf der Schweizerischen Post aufgegeben.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 23. Mai 2011 antragsgemäss die aufschiebende Wirkung zuerkannt.
E. Die II. öffentlich-rechtliche Abteilung des Bundesgerichts hat die Angelegenheit am 2. Dezember 2011 an einer öffentlichen Sitzung beraten.

Erwägungen:
1. Gegen den angefochtenen kantonal letztinstanzlichen Endentscheid über den Widerruf einer Niederlassungsbewilligung des Beschwerdeführers ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (vgl. Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG), weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist (vgl. <ref-ruling> E. 1.2.1 S. 4). Auf die fristgerecht eingereichte Beschwerde (<ref-law>), zu welcher der Beschwerdeführer gemäss <ref-law> legitimiert ist, ist einzutreten. Für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde besteht damit kein Raum, weshalb auf diese nicht einzutreten ist (<ref-law>).
Als verspätet aus dem Recht zu weisen ist die Vernehmlassung des Bundesamts für Migration.
2. Der Beschwerdeführer beantragt vor dem Bundesgericht nur noch die Aufhebung des Widerrufs seiner Niederlassungsbewilligung, derweil die Ablehnung des Familiennachzugsgesuchs für die (inzwischen von ihm geschiedene) Ehefrau sowie die gemeinsamen Kinder nicht mehr Streitgegenstand bildet.
3. 3.1 Die Vorinstanz wirft dem Beschwerdeführer vor, er habe in seinem Gesuch um Niederlassungsbewilligung anlässlich seiner Einreise am 26. April 2007 nicht erwähnt, dass er eine nicht-eheliche Beziehung in seinem Heimatland pflege, aus der zwei Kinder hervorgegangen seien. Indem er diese als erheblich einzustufenden Tatsachen verschwiegen habe, welche auch ungefragt zu offenbaren seien, erfülle er den Widerrufsgrund von Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG.
3.2 Der Beschwerdeführer rügt demgegenüber, die Existenz von Nachkommen bilde jedenfalls dann keine wesentliche Tatsache im Sinne von Art. 62 lit. a AuG, wenn das nachzuziehende Kind die Anspruchsvoraussetzungen von Art. 43 Abs. 1 AuG erfülle, wie dies bei ihm der Fall sei. Insbesondere sei der Fall von nachzuziehenden Minderjährigen, welche ungewollt Eltern geworden seien, nicht vergleichbar mit Personen, welche vor- bzw. aussereheliche Kinder aus Parallelbeziehungen zur bewilligungsbegründenden Beziehung mit einer hier anwesenheitsberechtigten Ehefrau verschwiegen hätten. Die von der Vorinstanz zitierte bundesgerichtliche Praxis bezüglich vor- bzw. ausserehelichen Kindern (Urteile 2A.423/2006 vom 26. Oktober 2006 E. 2.1; 2A.346/2004 vom 10. Dezember 2004 E. 2.2, in: Pra 2005 Nr. 100 S. 716) sei damit nicht einschlägig. Mithin habe das Verwaltungsgericht den Begriff der wesentlichen Tatsache im Sinne von Art. 62 lit. a AuG falsch ausgelegt bzw. den Sachverhalt offensichtlich unrichtig festgestellt.
3.2 Der Beschwerdeführer rügt demgegenüber, die Existenz von Nachkommen bilde jedenfalls dann keine wesentliche Tatsache im Sinne von Art. 62 lit. a AuG, wenn das nachzuziehende Kind die Anspruchsvoraussetzungen von Art. 43 Abs. 1 AuG erfülle, wie dies bei ihm der Fall sei. Insbesondere sei der Fall von nachzuziehenden Minderjährigen, welche ungewollt Eltern geworden seien, nicht vergleichbar mit Personen, welche vor- bzw. aussereheliche Kinder aus Parallelbeziehungen zur bewilligungsbegründenden Beziehung mit einer hier anwesenheitsberechtigten Ehefrau verschwiegen hätten. Die von der Vorinstanz zitierte bundesgerichtliche Praxis bezüglich vor- bzw. ausserehelichen Kindern (Urteile 2A.423/2006 vom 26. Oktober 2006 E. 2.1; 2A.346/2004 vom 10. Dezember 2004 E. 2.2, in: Pra 2005 Nr. 100 S. 716) sei damit nicht einschlägig. Mithin habe das Verwaltungsgericht den Begriff der wesentlichen Tatsache im Sinne von Art. 62 lit. a AuG falsch ausgelegt bzw. den Sachverhalt offensichtlich unrichtig festgestellt.
3.3 3.3.1 Nach Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat. Das Bundesgericht hat unlängst ausgeführt, dass die unter dem alten Recht (Art. 9 Abs. 2 lit. a und Abs. 4 lit. a ANAG) zu diesem Widerrufsgrund entwickelte Praxis im Wesentlichen auch für Art. 62 lit. a AuG gilt. Namentlich muss die falsche Angabe oder das Verschweigen wesentlicher Tatsachen in der Absicht erfolgt sein, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Der Ausländer ist verpflichtet, den Behörden wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann (Art. 3 Abs. 2 und Art. 13 f. ANAG bzw. Art. 90 AuG). Wesentlich sind nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein können (Urteile 2C_15/2011 vom 31. Mai 2011 E. 4.2.1; 2C_60/2008 vom 9. Juni 2008 E. 2.2.1). Es ist nicht erforderlich, dass die Bewilligung bei richtigen und vollständigen Angaben notwendigerweise zu verweigern gewesen wäre (Urteil 2C_837/2009 vom 27. Mai 2010 E. 2 mit Hinweis).
3.3.2 Als wesentlicher Umstand gilt gemäss ständiger Rechtsprechung insbesondere das Vorhandensein von vor- bzw. ausserehelichen Kindern bei Gesuchen zum Verbleib beim in der Schweiz ansässigen Ehepartner bzw. bei der Ehepartnerin (vgl. die Urteile 2C_243/2008 vom 18. Juni 2008 E. 2.3; 2A.423/2006 vom 26. Oktober 2006 E. 2.1; 2A.346/2004 vom 10. Dezember 2004 E. 2.2, in: Pra 2005 Nr. 100 S. 716; je mit Hinweisen). Gleiches gilt in der Regel auch für den im Rahmen eines Familiennachzugs einreisenden Ausländer, welcher bereits verlobt ist (Urteil 2C_837/2009 vom 27. Mai 2010). Nicht anders zu beurteilen ist die Konstellation, wo der nachzuziehende Ausländer bereits Nachkommen gezeugt hat, welche ihrerseits wiederum nachzugsberechtigt würden: Auch hier bedarf es jedenfalls genauerer Abklärungen, ob der Familiennachzug die Bildung einer echten Familiengemeinschaft bezweckt oder ob nicht vielmehr andere, von Art. 43 Abs. 1 AuG nicht gedeckte Absichten verfolgt werden, wie namentlich der Nachzug von Grosskindern oder die Gründung einer eigenen Familiengemeinschaft (zur Zweckbestimmung des Familiennachzuges vgl. Botschaft vom 8. März 2002 zum Bundesgesetz über die Ausländerinnen und Ausländer, BBl 2002 3751 ff. Ziff. 1.3.7). Hinzu kommt, dass die Gewährung des Familiennachzuges von den finanziellen Möglichkeiten der Beteiligten abhängt (Art. 51 Abs. 2 lit. b AuG in Verbindung mit Art. 62 lit. e AuG; vgl. Urteil 2C_685/2010 vom 30. Mai 2011 E. 2.3.1 sowie die Ausführungen in BBl 2002 3792 Ziff. 2.6). Insbesondere gilt es zu vermeiden, dass mit dem Familiennachzug eine konkrete Gefahr für eine erhebliche Sozialhilfeabhängigkeit der anwesenden bzw. der nachzuziehenden Personen entsteht. Dabei liegt es auf der Hand, dass der finanzielle Bedarf einer Familie insbesondere durch deren Grösse bestimmt wird. Um die Gefahr einer zukünftigen Sozialhilfeabhängigkeit einzuschätzen, sind die Ausländerbehörden somit auf Informationen über die Existenz von Kindern der nachzuziehenden Person - welche im Fall der Erteilung der Niederlassungsbewilligung an ihr Elternteil ihrerseits nachzugsberechtigt werden - angewiesen.
Aus dem Gesagten ergibt sich, dass die Existenz von Kindern nicht nur im Falle von Parallelbeziehungen im Sinne der vom Beschwerdeführer zitierten Rechtsprechung, sondern ebenso bei der vorliegenden "Kindeskinder-Konstellation" grundsätzlich eine wesentliche Tatsache im Sinne von Art. 62 lit. a AuG darstellt.
3.3.3 Indessen ist präzisierend festzuhalten, dass der Ausländer nicht in jedem Fall verpflichtet ist, über das Vorhandensein eigener Kinder auch ohne entsprechende Frage seitens der Behörden zu informieren. Vielmehr liegt ein "Verschweigen" im Sinne von Art. 62 lit. a AuG nur dann vor, wenn der Ausländer aufgrund seiner Gesuchsbegründung bzw. anderer von ihm zu vertretender Umstände bei den Behörden einen falschen Anschein über eine wesentliche Tatsache erweckt bzw. aufrecht erhält und insofern eine Täuschungshandlung begeht. Ergibt sich demgegenüber aus den konkreten Umständen des Einzelfalls, dass die Bewilligungsvoraussetzungen genauerer Abklärung bedürfen, so obliegt es Kraft des im Verwaltungsverfahren geltenden Untersuchungsgrundsatzes in erster Linie den Behörden, entsprechende Fragen an den Ausländer zu richten.
3.4 Vorliegend stellte der Vater des Beschwerdeführers im Jahr 1999 ein Familiennachzugsgesuch für seine im Kosovo verbliebene Ehefrau sowie die gemeinsamen Kinder. Dieses Gesuch bildete Gegenstand eines langjährigen Beschwerdeverfahrens, in dessen Verlauf X._ zweifacher Vater wurde. Der Regierungsrat des Kantons Zürich entschied am 13. September 2006, hinsichtlich der Ehefrau bestehe grundsätzlich ein Anspruch auf Nachzug. Ob dies auch bezüglich des mittlerweile volljährig gewordenen X._ gelte, liess er indessen offen. Vielmehr wies er die Sicherheitsdirektion an, den Sachverhalt zu ergänzen und alsdann "über die Gesuche um Bewilligung des Familiennachzugs von [...] X._ [...] neu zu entscheiden". Soweit ersichtlich unterliessen es die Ausländerbehörden jedoch in der Folge, das Vorliegen der Voraussetzungen für den Familiennachzug von X._ vertieft zu prüfen. Insbesondere wurden weder der Vater noch der Beschwerdeführer aufgefordert, über die aktuellen familiären Verhältnisse, namentlich über die Existenz von Kindern oder gefestigten Partnerschaften, Auskunft zu geben. Vielmehr erteilte das Bundesamt für Migration offenbar ohne weitere Abklärungen die Ermächtigung zur Visumerteilung zwecks Familiennachzug, worauf der Betroffene am 26. April 2007 in die Schweiz einreiste. Bei seiner Ankunft gab er auf dem entsprechenden Formular als Aufenthaltszweck wahrheitsgemäss "Giessereimitarbeiter" und als Zivilstand "ledig" an. Das Formular enthielt zudem ein Feld für allgemeine Bemerkungen, welches der Beschwerdeführer jedoch leer liess. Hingegen wurden keine konkreten Fragen zu den weiteren familiären Verhältnissen wie namentlich zur Existenz von Kindern gestellt. Ohne dass dies im anschliessenden Bewilligungsverfahren nachgeholt worden wäre, erhielt der Beschwerdeführer am 18. Juni 2007 die Niederlassungsbewilligung.
3.5 Festzuhalten ist vorab, dass weder der Vater anlässlich der Einreichung des Familiennachzugsgesuchs im Jahr 1999 für seinen Sohn noch dieser selbst bei seiner Einreise im Jahr 2007 "falsche Angaben" im Sinne von Art. 62 lit. a AuG gemacht haben. Zu prüfen bleibt, ob der Beschwerdeführer die Existenz der in der Zwischenzeit geborenen Kinder im Sinne der vorerwähnten Bestimmung "verschwiegen" hat. Dies wäre wie erwähnt der Fall, wenn er durch sein Verhalten gegenüber den Behörden den begründeten Anschein über Tatsachen erweckt bzw. aufrecht erhalten hätte, welche nicht der Wahrheit entsprachen (vgl. E. 3.3.3 hiervor). Mit der Einreichung des Familiennachzugsgesuchs im Jahr 1999 wurde den Behörden bedeutet, die Zusammenführung bezwecke das familiäre Zusammenleben. Indessen verblasste der hiermit geschaffene Schein - welcher ursprünglich der Wahrheit entsprochen hatte - aufgrund der konkreten Umstände zunehmend. Insbesondere liegt es in der Natur der Dinge, dass der bei seiner Einreise bereits 23 Jahre alte Beschwerdeführer entweder bereits eine eigene Familie gegründet haben könnte oder selbiges über kurz oder lang beabsichtigen würde. Die gegenteilige Annahme, wonach ein erwachsener Mensch längerfristig bei seinen Eltern verbleiben wolle, wäre demgegenüber zumindest kritisch zu hinterfragen gewesen. Bei dieser Ausgangslage wäre es an den Ausländerbehörden gelegen, nähere Abklärungen zu den familiären Verhältnissen von X._ einzuleiten, wie dies im Übrigen auch der Regierungsrat in seinem Entscheid vom 13. September 2006 angeordnet hatte. Des weiteren ist zu berücksichtigen, dass es für die Ausländerbehörden ein Leichtes gewesen wäre, konkrete Fragen zum familiären Hintergrund an den Beschwerdeführer zu richten. Schliesslich kann dem Beschwerdeführer nicht vorgeworfen werden, er habe den anlässlich der Gesuchseinreichung geweckten Anschein selbsttägig aufrecht erhalten. Vielmehr gab er bei seiner Einreise als Zweck wahrheitsgetreu die Aufnahme einer Erwerbstätigkeit an. Insofern besteht ein Unterschied zum vorerwähnten Fall 2C_837/2009 vom 27. Mai 2010 E. 3, wo der nachzuziehende Ausländer bei seiner Einreise als Aufenthaltszweck ausdrücklich den Verbleib bei den Eltern angegeben hatte, obgleich er bereits verlobt gewesen war.
Mit Blick auf die konkreten Umstände sowie die Tragweite des anstehenden Entscheides bestand somit Anlass für die Ausländerbehörden, die familiären Verhältnisse des Beschwerdeführers im Zeitpunkt der Erteilung der Niederlassungsbewilligung im Jahr 2007 vertieft zu prüfen. Stattdessen stützten die Behörden ihren Entscheid einzig auf die vor vielen Jahren gemachten Angaben des Ausländers. Für die entstandenen Unklarheiten sind demnach in erster Linie die Behörden verantwortlich. Diese können die eigenen Versäumnisse nicht dadurch ungeschehen machen, indem dem Ausländer vorgeworfen wird, er hätte von sich aus über die familiären Verhältnisse informieren müssen. Daraus erhellt, dass der Beschwerdeführer die - als wesentlich zu bezeichnende - Tatsache, dass er bereits Vater geworden war, nicht im Sinne von Art. 62 lit. a AuG "verschwiegen" hat. Somit ist der Widerrufsgrund gemäss Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG nicht erfüllt.
4. Nach dem Gesagten ist die Beschwerde gutzuheissen und das angefochtene Urteil aufzuheben. Die Niederlassungsbewilligung wird nicht widerrufen. Die Sache ist zur Neuverlegung der Kosten- sowie Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht zurückzuweisen (<ref-law>). Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (<ref-law>) und es ist dem Beschwerdeführer eine angemessene Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 16. März 2011 aufgehoben. Die Niederlassungsbewilligung wird nicht widerrufen.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Es werden keine Gerichtskosten erhoben.
4. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
5. Die Sache wird zur Neuverlegung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht des Kantons Zürich zurückgewiesen.
6. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 2. Dezember 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger