Sachverhalt:
A. Der kroatische Staatsangehörige X._ (geb. 12. Dezember 1974) reiste am 8. Juni 1998 zusammen mit seiner damaligen Verlobten A._ (geb. 1978) in die Schweiz. Beide stellten ein Asylgesuch. Am 5. Oktober 2000 wurde der gemeinsame Sohn Y._ geboren. Am 12. Dezember 2000 wies die Schweizerische Asylrekurskommission (heute: Bundesverwaltungsgericht) die Beschwerde gegen die Abweisung des Asylgesuchs von X._ ab. In der Folge wurde ihm Frist zur Ausreise bis zum 15. März 2001 eingeräumt. Nachdem auch das Asylverfahren von A._ erfolglos blieb, reiste sie mit dem Sohn am 7. September 2001 aus der Schweiz aus.
B. Am 10. März 2001 heiratete X._ in Zürich die Schweizerin B._ (geb. 1961), worauf ihm eine Aufenthaltsbewilligung zum Verbleib bei der Ehefrau erteilt wurde. Am 21. April 2006 erhielt er die Niederlassungsbewilligung.
Mit Urteil des Gemeindegerichts G._/Serbien vom 5. Mai 2006 wurde X._ das Sorgerecht für seinen Sohn Y._ übertragen. Der Sohn ist am 13. August 2006 in die Schweiz eingereist, worauf ihm unter Einbezug in die Niederlassungsbewilligung seines Vaters am 6. Oktober 2006 die Niederlassungsbewilligung erteilt wurde (Aufenthaltszweck: Verbleib bei den Eltern, Kontrollfrist wie der Vater 10.03.2009).
C. Nachdem ein am 8. Oktober 2009 durchgeführter Augenschein am Wohnort der Ehegatten X._ und B._ ergab, dass die Ehegatten über getrennte Wohnungen verfügten, die Ehegattin mit ihrem Lebenspartner zusammenlebte und sich in der Wohnung von X._ die Mutter des Sohnes Y._ aufhielt, wurden die Ehegatten sowie der Lebenspartner der Ehefrau zu den ehelichen Lebens- und Wohnverhältnissen befragt. Mit Urteil vom 12. Januar 2010 wurde die Ehe X._ und B._ geschieden. X._ verzichtete in der Folge im Hinblick auf allfällige Entfernungs- und Fernhaltemassnahmen Stellung zu nehmen.
D. Mit Verfügung vom 29. März 2010 widerrief das Migrationsamt des Kantons Zürich die Niederlassungsbewilligungen von X._ und von Y._ und wies sie aus der Schweiz weg. Zur Begründung führte es aus, X._ habe B._ lediglich zwecks Umgehung ausländerrechtlicher Bestimmungen geheiratet und damit seine Anwesenheitsbewilligung erschlichen.
Die dagegen von X._ in seinem Namen und in Vertretung von Y._ beim Regierungsrat und sodann beim Verwaltungsgericht des Kantons Zürich eingereichten Rechtsmittel blieben ohne Erfolg.
E. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 30. August 2011 beantragen X._ (Beschwerdeführer 1) und Y._ (Beschwerdeführer 2), das Urteil des Verwaltungsgerichts des Kantons Zürich vom 6. Juli 2011 aufzuheben und vom Widerruf der Niederlassungsbewilligung sowie von der Wegweisung abzusehen, eventualiter die Sache zur neuen Beurteilung an das Verwaltungsgericht des Kantons Zürich zurückzuweisen.
Die Sicherheitsdirektion sowie der Regierungsrat des Kantons Zürich liessen sich nicht vernehmen. Das Verwaltungsgericht des Kantons Zürich schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das Bundesamt für Migration beantragt ebenfalls Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Gegen den angefochtenen kantonal letztinstanzlichen Endentscheid über den Widerruf der Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig, weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung gegeben ist (vgl. Art. 83 lit. c Ziff. 2, Art. 86 Abs. 1 lit. d sowie Art. 90 BGG; <ref-ruling> E. 1.2.1 S. 4).
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; vgl. <ref-ruling> E. 1.5 S. 146 f.).
2. 2.1 Nach dem hier anwendbaren Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; vgl. nicht publizierte E. 1 von <ref-ruling> mit Hinweisen) kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat (Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG). Die unter dem alten Recht (Art. 9 Abs. 2 lit. a und Abs. 4 lit. a ANAG) zu diesem Widerrufsgrund entwickelte Praxis gilt im Wesentlichen auch für Art. 62 lit. a AuG. Namentlich muss die falsche Angabe oder das Verschweigen wesentlicher Tatsachen in der Absicht erfolgt sein, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten. Der Ausländer ist verpflichtet, den Behörden wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann (Art. 3 Abs. 2 und Art. 13 f ANAG bzw. Art. 90 AuG). Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sein können (Urteile 2C_15/2011 vom 31. Mai 2011 E. 4.2.1). Der Widerruf ist allerdings nur zulässig, wenn er aufgrund der relevanten Gesamtumstände verhältnismässig ist.
2.2 Der Beschwerdeführer, dem ohne Heirat keine Anwesenheitsbewilligung hätte erteilt werden können, hat nie mit seiner schweizerischen Ehegattin zusammengelebt. Von Anfang an bewohnten die Ehegatten im gleichen Gebäude zwei separate Wohnungen. Wie der Augenschein der Stadtpolizei Zürich vom 8. Oktober 2009 ergab, wohnte die Schweizer Ehegattin zusammen mit ihren Kindern sowie (seit 2004) mit ihrem Lebenspartner. In einer zweiten, einen Stock höher gelegenen Wohnung lebten der Beschwerdeführer 1 sowie dessen Sohn, wobei sich anlässlich des Augenscheins dort auch die Mutter des Sohnes aufhielt. Die Aussagen der schweizerischen Ehefrau sowie ihres Lebenspartners bestätigten diese Wohnverhältnisse. Die Ehegattin führte bei der Befragung durch die Stadtpolizei Zürich vom 27. Oktober 2009 aus, sie habe den Beschwerdeführer 1 am damaligen gemeinsamen Arbeitsort kennen gelernt, sie habe ihn zwar gut gemocht, aber die Heirat habe nur bezweckt, ihm zu einem Aufenthaltsrecht zu verhelfen, wobei er jeweils die Bezahlung ihrer Steuerrechnung übernommen habe. Ihre schriftlichen Ausführungen vom 4. März 2010 stehen nicht nur im klaren Widerspruch mit ihren eigenen ursprünglichen Vorbringen sondern auch mit den Aussagen ihres Partners und denjenigen des Beschwerdeführers 1, weshalb die Vorinstanz die Eingabe als reines Gefälligkeitsschreiben bezeichnet hat.
Was der Beschwerdeführer 1 gegen die tatsächlichen Feststellungen der Vorinstanz einwendet, lässt diese keineswegs als offensichtlich unrichtig erscheinen. Ebenso wenig zu beanstanden ist der von der Vorinstanz aus den festgestellten Indizien gezogene Schluss, wonach es sich bei der Ehe zwischen dem Beschwerdeführer und seiner ehemaligen Ehefrau um eine blosse Scheinehe gehandelt habe. Hätte die Ausländerbehörde davon Kenntnis gehabt, dass ein eheliches Zusammenleben gar nie bestanden hatte und auch nicht beabsichtigt wurde, wäre dem Beschwerdeführer weder die Aufenthaltsbewilligung noch die Niederlassungsbewilligung erteilt worden. Damit besteht offensichtlich ein Widerrufsgrund im Sinn von Art. 63 Abs. 1 lit. a in Verbindung mit Art. 62 lit. a AuG.
2.3 Entgegen den Ausführungen des Beschwerdeführers 1 ist der Widerruf seiner Niederlassungsbewilligung nicht unverhältnismässig: Der Beschwerdeführer 1 ist erst im Alter von 23 Jahren und fünf Monaten in die Schweiz gekommen. Er ist in seinem Heimatland aufgewachsen und hat damit dort die prägenden Lebensjahre verbracht. Dass er bereits im Alter von 15 Jahren aus Kroatien geflüchtet wäre, wie er in seiner Eingabe an das Bundesgericht behauptet, ist mit Blick auf sein Asylgesuch, wo er angeblich im Jahre 1998 in Kroatien erlittene Verfolgungshandlungen geltend machte, ohnehin nicht glaubwürdig. Zwar ist der Beschwerdeführer in der Schweiz wirtschaftlich integriert, war nie von der Sozialhilfe abhängig und ist auch sonst nicht negativ aufgefallen. Indessen wird allgemeines Wohlverhalten an sich als selbstverständlich vorausgesetzt und bedarf keiner besonderen Erwähnung. Der Aufenthalt als Asylsuchender gilt sodann bei negativem Ausgang des Asylverfahrens nicht als ordnungsgemässer Aufenthalt und sein nachfolgender Verbleib beruhte auf der lediglich zur Umgehung der ausländerrechtlichen Bestimmungen eingegangenen Ehe und damit der Täuschung der Behörden hinsichtlich seiner wirklichen Absichten. Die Dauer seines Aufenthalts fällt unter diesen Umständen nicht massgebend ins Gewicht. Weiter darf davon ausgegangen werden, dass er mit den kulturellen und gesellschaftlichen Gepflogenheiten seines Heimatlandes nach wie vor vertraut ist. Die Feststellung der Vorinstanz, dem Beschwerdeführer 1 sei die Rückkehr nach Kroatien, wo seine Eltern und seine Schwester leben, auch unter Berücksichtigung der serbischen Ethnie zumutbar, ist daher nicht zu beanstanden. Der Umstand, dass die in Kroatien herrschenden sozialen und wirtschaftlichen Verhältnisse weniger günstig sein mögen als diejenigen in der Schweiz, steht diesem Schluss nicht entgegen.
3. 3.1 Der Beschwerdeführer 2 verfügt über eine ihm im Jahre 2006 im Rahmen des Familiennachzugs erteilte Niederlassungsbewilligung. Diese wird unbefristet und ohne Bedingungen erteilt (Art. 34 Abs. 1 AuG) und kann nur nach den qualifizierten Voraussetzungen von Art. 63 AuG widerrufen werden, wobei der Widerrufsgrund grundsätzlich beim Anspruchsberechtigten gegeben sein muss (ANDREAS ZÜND/LADINA ARQUINT HILL, Beendigung der Anwesenheit, Entfernung und Fernhaltung, in: Handbücher für die Anwaltspraxis, Band VIII, Ausländerrecht, Hrsg. Uebersax, Rudin, Hugi Yar, Geiser, § 8, N. 8.23, S. 323). Kann aber die Bewilligung immernur in Bezug auf diejenige Person widerrufen werden, die den Widerrufsgrund tatsächlich gesetzt hat, hat der Beschwerdeführer 2 vorliegend keinen Widerrufsgrund verwirklicht. Die Niederlassungsbewilligung des Sohnes durfte folglich mangels einer entsprechenden gesetzlichen Grundlage nicht widerrufen werden. Damit ist der angefochtene Entscheid insofern bundesrechtswidrig, als er den Widerruf der Niederlassungsbewilligung des Beschwerdeführers 2 schützt.
3.2 Minderjährige Kinder teilen in der Regel den Aufenthaltsort des für sie verantwortlichen Elternteils. Der 11-jährige kroatische Beschwerdeführer 2 ist in der Schweiz geboren, aber er war noch nicht ein Jahr alt, als er mit seiner Mutter die Schweiz verliess und in der Folge fast fünf Jahre in Kroatien lebte, bevor er im August 2006 zu seinem Vater in die Schweiz zog. Es mag zutreffen, dass er sich hier gut eingelebt hat. Er befindet sich jedoch noch in einem anpassungsfähigen Alter und spricht die heimatliche Sprache. Zudem lebt in Kroatien auch seine Mutter, zu der er engen Kontakt pflegt. Es ist dem Beschwerdeführer 2 daher zumutbar, mit seinem Vater in das gemeinsame Heimatland zurückzukehren, womit der angefochtene Entscheid im Übrigen auch vor Art. 8 EMRK standhält (vgl. <ref-ruling> E. 2a S. 67; <ref-ruling> E. 3c S. 298). Die Niederlassungsbewilligung des Sohnes wird sodann mit der Abmeldung ins Ausland bzw. nach sechs Monaten Aufenthalt im Ausland erlöschen, falls keine Abmeldung erfolgt (vgl. Art. 61 Abs. 1 lit. a bzw. Abs. 2 AuG).
4. 4.1 Demnach ergibt sich, dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten teilweise gutzuheissen und das angefochtene Urteil insofern aufzuheben ist, als damit der Widerruf der Niederlassungsbewilligung des Beschwerdeführers 2 bestätigt wurde; im Übrigen ist die Beschwerde abzuweisen.
4.2 Dem Ausgang des Verfahrens entsprechend haben die Beschwerdeführer dessen Kosten im Umfang ihres Unterliegens zu tragen (vgl. <ref-law>), wobei der Beschwerdeführer 1 auch für den Kostenanteil seines minderjährigen Sohnes aufzukommen hat. Der Kanton Zürich muss die Beschwerdeführer im Rahmen ihres Obsiegens angemessen entschädigen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird teilweise gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 6. Juli 2011 wird aufgehoben, soweit damit der Widerruf der Niederlassungsbewilligung von Y._ bestätigt wurde. Im Übrigen wird die Beschwerde abgewiesen.
2. Die reduzierten Gerichtskosten von Fr. 1'600.-- werden dem Beschwerdeführer X._ auferlegt.
3. Der Kanton Zürich hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 500.-- zu entschädigen.
4. Dieses Urteil wird den Beschwerdeführern, der Sicherheitsdirektion des Kantons Zürich, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 8. Mai 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs