Faits: A. X._, ressortissant du Kosovo né en 1974, est entré en Suisse le 25 novembre 2006. Il est le père de Y._, né en 2001 d'une première union dissoute le 30 mai 2006. Suite à son mariage du 5 janvier 2007 avec Z._, ressortissante italienne titulaire d'un permis d'établissement, X._ a été mis au bénéfice d'une autorisation de séjour CE/AELE par regroupement familial. L'ex-épouse de X._ l'a rejoint en Suisse en 2007 pour s'occuper de leur enfant commun et y séjourne depuis en situation illégale. Accompagnée de ses deux enfants (nés en 1992 et en 2002) issus d'un premier mariage, Z._ a quitté la Suisse, le 10 septembre 2009, pour se rendre à B._ en Italie afin de s'occuper de sa mère malade. Son autorisation d'établissement a pris fin le 20 septembre 2010. Z._ n'est pas revenue en Suisse depuis cette date. Par courrier du 25 février 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a requis diverses informations de X._, notamment une confirmation écrite qu'aucune séparation de fait, procédure de séparation légale ou divorce n'a été engagée à ce jour, ainsi que des justificatifs de la provenance de ses moyens financiers réguliers actuels. Par lettre du 3 mai 2010, le Service cantonal a réitéré sa requête. Dans un courrier daté du 17 mai 2010, X._ a produit un décompte de prestations de l'assurance chômage pour avril 2010 faisant état d'un paiement de fr. 3'607.20. De plus, il a déclaré ce qui suit: "je vous confirme qu'aucune séparation de fait, procédure de séparation légale ou divorce n'est engagée à ce jour. Du fait de la situation de santé préoccupante de la mère de ma femme, elle a dû se rendre au chevet de cette dernière pour une durée indéterminée. Néanmoins, nous essayons de garder une relation de couple normale en se rendant visite mutuellement une fois par semaine de préférence le week-end." Le 25 novembre 2010, la police a interpellé une femme, accompagnée d'un enfant, dans la cage d'escalier du domicile de X._. Celle-ci a refusé de décliner son identité. Interrogé à ce sujet, X._ a tenté de cacher, dans un premier temps, l'identité de la femme pour admettre finalement qu'il s'agissait de son ex-épouse. Selon le rapport de police, elle dispose des clés de l'appartement du prénommé. Lors de son audition, X._ a admis des relations sexuelles extra-conjugales avec d'autres femmes. Il a également déclaré qu'il était prévu que son épouse rentre un jour en Suisse, bien qu'aucune date ne soit fixée et, qu'en attendant, elle venait un week-end par mois en Suisse. Lui-même était allé la retrouver à deux reprises en Italie depuis son départ. Le 18 mars 2011, le Service cantonal a adressé un courrier à X._ dans lequel il exprimait son intention de révoquer son autorisation de séjour CE/AELE au motif que l'autorisation d'établissement de son épouse avait pris fin le 20 septembre 2010 et que celle-ci n'était pas revenue en Suisse, si bien qu'il y avait lieu de constater la séparation du couple. Il lui impartissait un délai pour faire part de ses remarques et objections. Le 2 mai 2011, X._ a, par le biais de son conseil, précisé que le lien conjugal avec son épouse était toujours étroit et que ce n'était qu'en raison de circonstances exceptionnelles, soit la maladie de sa belle-mère, que la vie commune avait temporairement été suspendue. Il a produit un contrat de travail d'aide monteur en constructions métalliques établi le 1er février 2011, un certificat de travail pour une collaboration de durée indéterminée comme aide serrurier du 15 mars 2007 au 31 janvier 2009 et un certificat de travail pour un emploi temporaire du 22 septembre 2009 au 21 mars 2010 en qualité de collaborateur et chauffeur. Il a enfin produit un document établi à "A._, le 30 avril 2011", signé "Z._", confirmant que cette dernière essaie de voir son mari le plus souvent possible, qu'elle est consciente que la "situation n'est pas idéale" et qu'elle espère trouver bientôt une meilleure solution, mais qu'elle n'en envisage pas d'autre "pour le moment". Par décision du 27 mai 2011, le Service cantonal a révoqué l'autorisation de séjour de X._ et prononcé son renvoi de Suisse dans un délai de trois mois. B. La Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a confirmé la décision du Service cantonal le 6 septembre 2011, au motif que la séparation des époux était définitivement constatée et que le recourant ne pouvait se prévaloir d'un mariage qui n'existait plus que formellement pour s'opposer à la révocation de l'autorisation de séjour et au renvoi. C. Agissant le 7 octobre 2011 par la voie du recours en matière de droit public, X._ a recouru contre la décision du Tribunal cantonal, contestant les faits retenus par l'instance précédente et invoquant des raisons personnelles majeures justifiant la poursuite de son séjour en Suisse. Il conclut, sous suite de frais et dépens, principalement, à la réforme de l'arrêt du Tribunal cantonal, de sorte que les autorisations de séjour concernant son fils et lui-même ne soient pas révoquées et, subsidiairement, à l'annulation de cet arrêt et au renvoi aux autorités cantonales pour nouvelle décision dans le sens des considérants. X._ conclut à titre provisionnel à ce que son fils et lui-même soient autorisés à demeurer en Suisse durant le cours de la procédure et, pour ce qui le concerne, à y travailler. Il n'a pas été requis de déterminations.