Faits:
A. X._, ressortissant du Kosovo né en 1974, est entré en Suisse le 25 novembre 2006. Il est le père de Y._, né en 2001 d'une première union dissoute le 30 mai 2006. Suite à son mariage du 5 janvier 2007 avec Z._, ressortissante italienne titulaire d'un permis d'établissement, X._ a été mis au bénéfice d'une autorisation de séjour CE/AELE par regroupement familial.
L'ex-épouse de X._ l'a rejoint en Suisse en 2007 pour s'occuper de leur enfant commun et y séjourne depuis en situation illégale.
Accompagnée de ses deux enfants (nés en 1992 et en 2002) issus d'un premier mariage, Z._ a quitté la Suisse, le 10 septembre 2009, pour se rendre à B._ en Italie afin de s'occuper de sa mère malade. Son autorisation d'établissement a pris fin le 20 septembre 2010. Z._ n'est pas revenue en Suisse depuis cette date.
Par courrier du 25 février 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a requis diverses informations de X._, notamment une confirmation écrite qu'aucune séparation de fait, procédure de séparation légale ou divorce n'a été engagée à ce jour, ainsi que des justificatifs de la provenance de ses moyens financiers réguliers actuels. Par lettre du 3 mai 2010, le Service cantonal a réitéré sa requête. Dans un courrier daté du 17 mai 2010, X._ a produit un décompte de prestations de l'assurance chômage pour avril 2010 faisant état d'un paiement de fr. 3'607.20. De plus, il a déclaré ce qui suit: "je vous confirme qu'aucune séparation de fait, procédure de séparation légale ou divorce n'est engagée à ce jour. Du fait de la situation de santé préoccupante de la mère de ma femme, elle a dû se rendre au chevet de cette dernière pour une durée indéterminée. Néanmoins, nous essayons de garder une relation de couple normale en se rendant visite mutuellement une fois par semaine de préférence le week-end."
Le 25 novembre 2010, la police a interpellé une femme, accompagnée d'un enfant, dans la cage d'escalier du domicile de X._. Celle-ci a refusé de décliner son identité. Interrogé à ce sujet, X._ a tenté de cacher, dans un premier temps, l'identité de la femme pour admettre finalement qu'il s'agissait de son ex-épouse. Selon le rapport de police, elle dispose des clés de l'appartement du prénommé. Lors de son audition, X._ a admis des relations sexuelles extra-conjugales avec d'autres femmes. Il a également déclaré qu'il était prévu que son épouse rentre un jour en Suisse, bien qu'aucune date ne soit fixée et, qu'en attendant, elle venait un week-end par mois en Suisse. Lui-même était allé la retrouver à deux reprises en Italie depuis son départ.
Le 18 mars 2011, le Service cantonal a adressé un courrier à X._ dans lequel il exprimait son intention de révoquer son autorisation de séjour CE/AELE au motif que l'autorisation d'établissement de son épouse avait pris fin le 20 septembre 2010 et que celle-ci n'était pas revenue en Suisse, si bien qu'il y avait lieu de constater la séparation du couple. Il lui impartissait un délai pour faire part de ses remarques et objections. Le 2 mai 2011, X._ a, par le biais de son conseil, précisé que le lien conjugal avec son épouse était toujours étroit et que ce n'était qu'en raison de circonstances exceptionnelles, soit la maladie de sa belle-mère, que la vie commune avait temporairement été suspendue. Il a produit un contrat de travail d'aide monteur en constructions métalliques établi le 1er février 2011, un certificat de travail pour une collaboration de durée indéterminée comme aide serrurier du 15 mars 2007 au 31 janvier 2009 et un certificat de travail pour un emploi temporaire du 22 septembre 2009 au 21 mars 2010 en qualité de collaborateur et chauffeur. Il a enfin produit un document établi à "A._, le 30 avril 2011", signé "Z._", confirmant que cette dernière essaie de voir son mari le plus souvent possible, qu'elle est consciente que la "situation n'est pas idéale" et qu'elle espère trouver bientôt une meilleure solution, mais qu'elle n'en envisage pas d'autre "pour le moment".
Par décision du 27 mai 2011, le Service cantonal a révoqué l'autorisation de séjour de X._ et prononcé son renvoi de Suisse dans un délai de trois mois.
B. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a confirmé la décision du Service cantonal le 6 septembre 2011, au motif que la séparation des époux était définitivement constatée et que le recourant ne pouvait se prévaloir d'un mariage qui n'existait plus que formellement pour s'opposer à la révocation de l'autorisation de séjour et au renvoi.
C. Agissant le 7 octobre 2011 par la voie du recours en matière de droit public, X._ a recouru contre la décision du Tribunal cantonal, contestant les faits retenus par l'instance précédente et invoquant des raisons personnelles majeures justifiant la poursuite de son séjour en Suisse. Il conclut, sous suite de frais et dépens, principalement, à la réforme de l'arrêt du Tribunal cantonal, de sorte que les autorisations de séjour concernant son fils et lui-même ne soient pas révoquées et, subsidiairement, à l'annulation de cet arrêt et au renvoi aux autorités cantonales pour nouvelle décision dans le sens des considérants. X._ conclut à titre provisionnel à ce que son fils et lui-même soient autorisés à demeurer en Suisse durant le cours de la procédure et, pour ce qui le concerne, à y travailler.
Il n'a pas été requis de déterminations.

Considérant en droit:
1. 1.1 Confirmant la révocation de l'autorisation d'établissement du recourant, la décision attaquée peut faire l'objet d'un recours en matière de droit public, dès lors qu'il existe en principe un droit au maintien de cette autorisation (cf. <ref-ruling> consid. 1.2.1 p. 4).
1.2 Au surplus, le recours est dirigé contre un arrêt final (<ref-law>) rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), de sorte qu'il convient d'entrer en matière.
1.3 L'enfant mineur du recourant, Y._, n'ayant pas participé à la procédure cantonale, il n'a pas la qualité pour former un recours en matière de droit public (<ref-law>). Son recours est donc irrecevable.
1.4 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente qu'il ne peut compléter ou rectifier d'office que s'ils ont été établis de façon manifestement inexacte ou en violation notamment du droit fédéral ou international (art. 105 al. 1 et 2 LTF). S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 1.3; <ref-ruling> consid. 5.4). Le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal de céans n'entre pas en matière sur des critiques appellatoires portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 1.4 p. 400) comme cela est le cas en l'espèce.
1.5 Dans un recours au Tribunal fédéral, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). Le recourant ne saurait donc se fonder sur des faits ou moyens de preuve nouveaux qu'il était en mesure de présenter à l'autorité précédente et dont il devait discerner la pertinence éventuelle (arrêt 4A_36/2008 du 18 février 2008 consid. 4.1). La possibilité de présenter des faits ou des moyens de preuve nouveaux en instance de recours fédérale est en effet exceptionnelle et ne sert pas à corriger des omissions antérieures (arrêt 4A_18/2010 du 15 mars 2010, consid. 2.1 non publié in <ref-ruling>).
Quoi qu'en dise le recourant, les pièces nouvelles jointes à ses écritures devant le Tribunal de céans sont des moyens de preuves nouveaux dont la production n'est pas commandée par la décision entreprise. Le recourant avait le loisir de les produire devant le Tribunal cantonal. Il n'en sera par conséquent pas tenu compte et le Tribunal fédéral examinera la cause sur la seule base des faits retenus dans la décision attaquée.
1.6 Le Tribunal fédéral applique le droit d'office (<ref-law>) à l'état de fait constaté dans l'arrêt attaqué, sans être limité par les arguments du recourant ou par la motivation de l'autorité précédente (<ref-ruling> consid. 1.4.1 p. 254, arrêt 5A_55/2007 du 14 août 2007 consid. 2.2).
2. La loi fédérale sur les étrangers du 16 décembre 2005 (LEtr; RS 142.20) n'est applicable aux membres de la famille des ressortissants des Etats membres de la Communauté européenne (CE) que dans la mesure où l'accord du 21 juin 1999 entre, d'une part, la Confédération suisse, et, d'autre part, la Communauté européenne et ses États membres sur la libre circulation des personnes (ALCP; RS 0.142.112.681) n'en dispose pas autrement ou lorsque la loi fédérale prévoit des dispositions plus favorables (art. 2 al. 2 LEtr).
3. 3.1 Le conjoint d'une personne ressortissant d'une partie contractante ayant un droit de séjour et ses descendants ont le droit de s'installer avec elle (art. 7 let. d ALCP et art. 3 par. 1 et 2 Annexe I ALCP). En cas de séparation des époux, il y a cependant abus de droit à invoquer l'<ref-law> lorsque le lien conjugal est vidé de toute substance et que la demande de regroupement familial vise seulement à obtenir une autorisation de séjour pour l'époux du travailleur communautaire (<ref-ruling> consid. 9.4 p. 134; arrêts 2C_417/2008 du 18 juin 2010 consid. 4.2 et 2C_982/2010 du 3 mai 2011 consid. 3.1).
3.2 Il n'est pas contesté que l'autorisation d'établissement de l'épouse du recourant a pris fin le 20 septembre 2010, avec pour conséquence que ce dernier ne dispose pas d'un droit dérivé à une autorisation de séjour (<ref-ruling> consid. 7.2 p. 125 s.). L'absence de réalisation de cette condition justifie à elle seule le rejet du recours.
3.3 L'autorité précédente a retenu que la communauté conjugale avait cessé d'exister. Elle a en effet relevé que l'épouse du recourant a quitté la Suisse avec ses enfants pour B._ après deux ans et huit mois de mariage. La séparation des époux est à ce jour presque aussi longue que la vie commune depuis la célébration du mariage. Aucune preuve du maintien du lien conjugal n'a été versée au dossier. Les affirmations écrites de l'épouse, datées du 30 avril 2011, ne permettent de confirmer ni l'existence de visites, ni l'intention de cette dernière de revenir s'établir en Suisse avec ses fils, dont l'un est désormais majeur. En revanche, l'ex-épouse du recourant l'a rejoint en Suisse dès 2007 pour s'occuper de leur enfant commun et dispose des clés de son appartement. De plus, le recourant a confirmé entretenir régulièrement des relations sexuelles extra-conjugales avec d'autres femmes. Compte tenu de ces indices, c'est à bon droit que l'instance précédente a conclu que la séparation des époux était définitive et que la communauté familiale avait cessé d'exister, de sorte que le recourant ne peut se prévaloir d'un mariage qui n'existe plus que formellement pour tirer avantage des dispositions de l'ALCP.
3.4 Le recourant critique cette appréciation de manière essentiellement appellatoire, sans satisfaire aux exigences de motivations rappelées ci-dessus (cf. consid. 1.5). Il est dès lors douteux que le recours soit recevable sur ce point. La question peut toutefois demeurer indécise: l'autorité précédente pouvait sans arbitraire retenir que la communauté conjugale avait cessé d'exister, vu les circonstances exposées ci-dessus. Le recourant ne peut donc plus se prévaloir de l'art. 3 par. 1 et 2 Annexe I ALCP.
4. 4.1 D'après l'art. 43 LEtr, le conjoint étranger du titulaire d'une autorisation d'établissement ainsi que ses enfants célibataires étrangers de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité, à condition de vivre en ménage commun avec lui.
Il ressort des faits retenus par l'instance précédente que l'autorisation d'établissement de l'épouse du recourant a pris fin le 20 septembre 2010, avec pour conséquence que la première condition à l'octroi de l'autorisation de séjour du recourant en vertu de l'art. 43 LEtr a cessé d'exister, ce qui suffit à rejeter le recours.
Le Tribunal cantonal s'est toutefois fondé sur l'absence de ménage commun, que conteste le recourant, pour motiver sa décision. L'art. 49 LEtr prévoit une exception à l'exigence du ménage commun lorsque la communauté familiale (ou conjugale) est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées. Les motifs susceptibles de constituer une raison majeure visent des situations exceptionnelles, fondées avant tout sur des raisons d'ordre professionnel ou familiales (cf. arrêt 2C_544/2010 du 23 décembre 2010 consid. 2.1). De manière générale, il appartient à l'étranger d'établir l'existence de raisons majeures au sens de l'art. 49 LEtr, ainsi que le maintien de la communauté familiale en dépit des domiciles séparés. Cela vaut d'autant plus que cette situation a duré longtemps, car une séparation d'une certaine durée fait présumer que la communauté familiale a cessé d'exister (arrêt 2C_575/2009 du 1er juin 2010 consid. 3.5, où la séparation avait duré plus d'une année).
4.2 Selon l'art. 50 al. 1 LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste lorsque l'union conjugale a duré au moins trois ans et que l'intégration est réussie (let. a), ou lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures (let. b).
La durée minimale de trois ans est une limite absolue en-deçà de laquelle l'art. 50 al. 1 let. a LEtr ne saurait être appliqué (<ref-ruling> consid. 3.2 et 3.4 p. 116 s. et 120; arrêts 2C_635/2009 du 26 mars 2010 consid. 5.2; 2C_711/2009 du 30 avril 2010 consid. 2.3.1; 2C_647/2010 du 10 février 2011 consid. 3.3).
Après la dissolution de la famille, et même si l'union conjugale a duré moins de trois ans, l'art. 50 al. 1 let. b LEtr permet au conjoint étranger d'obtenir l'octroi et la prolongation de son autorisation lorsque la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. L'art. 50 al. 2 LEtr précise que de telles raisons sont notamment données lorsque le conjoint est victime de violence conjugale et que la réintégration sociale dans le pays de provenance semble fortement compromise. L'énumération de ces cas n'est pas exhaustive et laisse aux autorités une certaine liberté d'appréciation fondée sur des motifs humanitaires (<ref-ruling> consid. 5.3 p. 4). S'agissant de la réintégration sociale dans le pays d'origine, l'art. 50 al. 2 LEtr exige qu'elle semble fortement compromise ("stark gefährdet"). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises (arrêts 2C_369/2010 du 4 novembre 2010 consid. 4.1, 2C_376/2010 du 18 août 2010 consid. 6.3.1 et 2C_663/2009 du 23 février 2010 consid. 3 in fine).
Le recourant se prévaut de l'art. 31 OASA, qui, parallèlement à l'art. 77 OASA traitant expressément de la dissolution de la famille visée à l'art. 50 LEtr, règle les dérogations aux conditions d'autorisation de séjour et énumère les critères que les autorités doivent prendre en considération pour octroyer une autorisation de séjour dans les cas individuels d'extrême gravité. La question du lien entre les critères énumérés à l'art. 31 OASA et l'art. 50 al. 1 let. b LEtr a déjà été soulevée par le Tribunal fédéral (2C_216/2009 du 20 août 2009 consid. 2.2), mais n'a toutefois pas à être examinée plus avant, dès lors que, comme nous le verrons, l'autorité cantonale, tout en se référant à l'art. 31 OASA, a retenu des éléments permettant de rejeter l'existence de raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr.
5.1 L'épouse du recourant, qui n'a plus d'autorisation d'établissement, a quitté la Suisse le 10 septembre 2009, date à laquelle la communauté conjugale a cessé d'exister (cf. consid. 3.3 et 3.4 ci-dessus). Si le recourant a produit au cours de la procédure un certificat médical attestant notamment de troubles bipolaires de sa belle-mère, aucun pronostic vital n'est engagé, et un tel certificat ne saurait justifier un domicile séparé au sens de l'art. 49 LEtr pour une durée indéterminée (cf. arrêt 2C_871/2010 du 7 avril 2011 consid. 3.2). Le recourant ne peut par conséquent rien tirer des art. 43 et 49 LEtr.
5.2 La vie commune ayant duré moins de trois ans, le recourant ne peut se prévaloir de l'art. 50 al. 1 let. a LEtr pour exiger le maintien de son autorisation de séjour.
Le recourant prétend pouvoir bénéficier de l'art. 50 al. 1 let. b LEtr. Cependant, l'arrêt attaqué ne retient aucun fait permettant de conclure que les conditions de la réintégration dans son pays d'origine sont compromises et le recourant n'en allègue pas non plus; il se limite à faire valoir que son fils et lui sont bien intégrés en Suisse, en se prévalant de l'art. 31 OASA. Le Tribunal cantonal, retenant que, arrivé en Suisse à 32 ans, le recourant a vécu la majorité de son existence dans son pays d'origine, qu'il n'a pas d'enfant commun avec son épouse actuelle, qu'il n'a pas, dans notre pays, d'attaches familiales hormis un frère, et que le dossier ne permet pas d'établir l'existence d'un réseau social important, a conclu à bon droit qu'on pouvait exiger de lui qu'il retourne vivre dans son pays d'origine, ce d'autant que son fils est en âge d'être réintégré également, et que son ex-femme, en situation illégale est sommée de quitter le territoire. Le recourant fait valoir qu'il est en Suisse depuis cinq ans, qu'il n'a pas recouru aux prestations des services sociaux, qu'il n'a fait l'objet d'aucune poursuite ni plainte auprès de sa commune de domicile. Cependant, même une intégration réussie ne suffit pas en elle-même pour remplir les conditions de l'autorisation de l'art. 50 al. 1 let. b LEtr dès lors que la communauté familiale n'a pas duré trois ans (arrêt 2C_635/2009 du 26 mars 2010 consid. 5.3.2).
6. Il ressort des développements précédents que le recourant ne bénéficie d'aucun droit au maintien de son autorisation de séjour, de sorte qu'il apparaît justifié de la révoquer sur la base de l'art. 62 let. d LEtr (cf. arrêt 2C_635/2009 consid. 6).
Mal fondé, le recours doit être rejeté dans la mesure de sa recevabilité.
Avec le présent arrêt, la requête de mesures provisionnelles est sans objet (cf. <ref-law>).
Succombant, le recourant supportera les frais judiciaires (cf. <ref-law>) et n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 17 janvier 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Cavaleri Rudaz