Faits:
A. Ressortissant kosovar né en 1965, X._ est entré en Suisse le 31 décembre 1990. Il y a résidé et travaillé illégalement jusqu'à son mariage, le 17 janvier 1997, avec une ressortissante suisse. Il s'est alors vu octroyer une autorisation de séjour et de travail qui a été régulièrement renouvelée. Le 5 février 2002, il a obtenu une autorisation d'établissement. Le divorce de X._ a été prononcé le 16 juillet 2002.
A la suite de la demande d'entrée en Suisse de sa nouvelle épouse et de leur fils, ressortissants du Kosovo, le Service de la population a, par décision du 23 septembre 2004, révoqué l'autorisation d'établissement de X._ et refusé la délivrance d'une autorisation d'entrée en Suisse ainsi que de séjour au titre du regroupement familial à sa nouvelle famille. Le recours interjeté par X._ contre la décision du Service de la population a été rejeté en dernière instance par le Tribunal fédéral par arrêt du 2 septembre 2005 (arrêt 2A.455/2005). Il a été retenu en bref que X._ avait commis un abus de droit manifeste et dissimulé aux autorités des faits essentiels, ce qui justifiait la révocation de l'autorisation d'établissement.
Par décision du 22 avril 2006, le Service de la population a déclaré irrecevable la demande de X._ tendant à l'octroi d'une autorisation de séjour hors contingent, traitée comme une demande de réexamen de la décision du 23 septembre 2004. Cette décision a été confirmée en dernière instance par le Tribunal fédéral par arrêt du 13 septembre 2006 (arrêt 2P.213/2006). Il a été retenu que les circonstances déterminantes ne s'étaient pas modifiées de manière notable - au point de justifier une demande de réexamen - depuis l'arrêt du Tribunal fédéral du 2 septembre 2005, X._ ne pouvant déduire de la durée de son séjour ainsi que de sa prétendue intégration socioprofessionnelle un droit à une autorisation de séjour.
Le 27 novembre 2008, X._ a de nouveau sollicité le réexamen de son dossier. Cette demande a été déclarée irrecevable par décision du Service de la population du 23 décembre 2008, confirmée par arrêt de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après le Tribunal cantonal) du 11 février 2009, pour défaut de faits nouveaux.
B. Le 30 juin 2011, X._ a sollicité encore une fois le réexamen de la décision du Service de la population du 23 septembre 2004, invoquant à titre d'éléments nouveaux sa bonne intégration socioprofessionnelle en Suisse. Le 8 septembre 2011, le Service de la population a déclaré la demande de reconsidération irrecevable, subsidiairement l'a rejetée.
Par arrêt du 3 novembre 2011, le Tribunal cantonal a rejeté le recours interjeté par X._ contre la décision du Service de la population du 8 septembre 2011.
C. Par acte du 8 décembre 2011, X._ recourt au Tribunal fédéral contre l'arrêt du Tribunal cantonal précité. Il conclut à l'annulation de l'arrêt du 3 novembre 2011 et à ce que le Service de la population soit astreint à réexaminer son cas.
Les instances cantonales ont été invitées à produire leurs dossiers sans échange d'écritures.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; cf. <ref-ruling> consid. 1 p. 472 et les arrêts cités).
1.1 La demande de réexamen porte sur la révocation de l'autorisation d'établissement du recourant, qui a été décidée initialement par le Service de la population le 23 septembre 2004, en application de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113). Selon la jurisprudence, une demande de réexamen se référant à une situation dont tous les éléments déterminants se sont déroulés sous l'empire de l'ancien droit et qui a fait l'objet d'un jugement définitif ne peut être justifiée uniquement en raison de l'entrée en vigueur du nouveau droit, en l'occurrence la LEtr (RS 142.20). En revanche, dans la mesure où le recourant fait état, à l'appui de sa demande de réexamen, d'éléments nouveaux survenus postérieurement à l'entrée en vigueur du nouveau droit, la LEtr est applicable à ces nouvelles circonstances (cf. arrêt 2C_376/2010 du 18 août 2010 consid. 2.2.2).
1.2 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est cependant recevable contre la révocation d'une autorisation qui déploierait encore ses effets si elle n'avait pas été révoquée (cf. art. 34 al. 1 LEtr; arrêt 2C_98/2009 du 10 juin 2009 consid. 1.1). En l'occurrence, le recours est dirigé contre un arrêt refusant le réexamen d'une décision qui confirmait la révocation de l'autorisation d'établissement du recourant. Ladite autorisation produirait encore ses effets si elle n'avait pas été révoquée. Partant, le recours est recevable en application de l'art. 83 let. c ch. 2 LTF.
1.3 Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>, le recours en matière de droit public est par conséquent recevable.
2. 2.1 Lorsque, comme en l'espèce, l'autorité saisie d'une demande de réexamen refuse d'entrer en matière, un recours ne peut porter que sur le bien-fondé de ce refus (cf. arrêt 2D_363/2008 du 7 juillet 2008 consid. 3; <ref-ruling> consid. 3c p. 153 s.).
2.2 Les autorités administratives sont tenues de réexaminer leurs décisions si une disposition légale expresse ou une pratique administrative constante les y oblige. Tel est le cas de l'art. 64 al. 2 de la loi vaudoise sur la procédure administrative du 28 octobre 2008 (LPA-VD; RS-VD 173.36) qui prévoit que l'autorité entre en matière sur la demande de réexamen si l'état de fait à la base de la décision s'est modifié dans une mesure notable depuis lors (let. a), ou si le requérant invoque des faits ou des moyens de preuve importants qu'il ne pouvait pas connaître lors de la première décision ou dont il ne pouvait pas ou n'avait pas de raison de se prévaloir à cette époque (let. b).
La jurisprudence a en outre déduit des garanties générales de procédure de l'art. 29 al. 1 et 2 Cst. l'obligation pour l'autorité administrative de se saisir d'une demande de réexamen lorsque les circonstances se sont modifiées de façon notable depuis la décision attaquée ou lorsque le requérant invoque des faits essentiels et des moyens de preuve nouveaux qu'il ne connaissait pas ou a été dans l'impossibilité de faire valoir dans la procédure antérieure. Le réexamen de décisions administratives entrées en force ne doit pas être admis trop facilement. Il ne saurait en particulier servir à remettre sans cesse en cause des décisions exécutoires ou à détourner les délais prévus pour les voies de droit ordinaires (cf. <ref-ruling> consid. 2.1 p. 181).
Une modification ultérieure de la pratique ou de la jurisprudence ne constitue en règle générale pas une raison suffisante pour réexaminer une décision (cf. arrêt 2C_114/2011 du 16 août 2011 consid. 2.2 et les références citées). Exceptionnellement, un changement de jurisprudence peut entraîner la modification d'une décision entrée en force lorsque la nouvelle jurisprudence a une telle portée générale qu'il serait contraire au droit à l'égalité de ne pas l'appliquer dans tous les cas en maintenant une ancienne décision (cf. arrêt 2C_195/2011 du 17 octobre 2011 consid. 3.3.2; <ref-ruling> consid. 5.1.1 p. 219). Cependant, le recourant n'est en droit d'exiger un réexamen que dans la mesure où il démontre dans quelle mesure le nouveau droit doit conduire à un autre résultat (cf. arrêt 2C_154/2010 du 8 novembre 2010 consid. 2.2 et les références citées).
2.3 En l'espèce, le Tribunal cantonal a constaté que les circonstances de fait et de droit ne s'étaient pas sensiblement modifiées depuis la décision du Service de la population du 23 septembre 2004, la bonne intégration socioprofessionnelle du recourant ayant déjà été examinée. Le Tribunal cantonal a en outre relevé que l'argument du recourant selon lequel le refus de lui octroyer une autorisation de séjour constituerait une ingérence dans le droit au respect de sa vie privée n'était pas un élément de fait et aurait dû être soulevé lors des précédentes procédures.
2.4 Le recourant ne se prévaut d'aucun changement dans sa situation de fait autre que la durée toujours plus longue de son séjour en Suisse. Il allègue en revanche que la situation juridique a changé à la suite de l'arrêt de la CourEDH Cevdet Gezginci c. Suisse du 9 décembre 2010 puisque désormais une personne dénuée de tout droit à la présence dans un pays donné est habilitée à invoquer l'art. 8 CEDH.
Or, on ne saurait tirer de l'arrêt Cevdet Gezginci c. Suisse du 9 décembre 2010 les conclusions que le recourant entend y voir. En effet, la CourEDH retient certes qu'au vu de la très longue durée du séjour de Cevdet Gezginci en Suisse, le refus de lui octroyer une autorisation de séjour constitue, sur le principe, une ingérence dans sa vie privée (§ 57-58). Mais la CourEDH relève également que compte tenu, entre autres causes, de la nature irrégulière du séjour du requérant en Suisse, une telle ingérence est admissible au regard de l'art. 8 § 2 CEDH (§ 80). Contrairement à ce qu'affirme le recourant, la CourEDH n'a donc pas, avec l'arrêt Cevdet Gezginci c. Suisse du 9 décembre 2010, cessé de prendre en considération le caractère régulier ou non du séjour dans le pays d'accueil, continuant à prendre cet élément en compte dans l'appréciation globale du cas.
Par ailleurs, selon la jurisprudence du Tribunal fédéral, pour que l'on puisse déduire un droit à une autorisation de séjour fondé sur le respect de la vie privée prévu à l'art. 8 CEDH, des conditions strictes doivent être remplies, le requérant devant entretenir avec la Suisse des liens sociaux ou professionnels d'une intensité particulière, allant au-delà d'une intégration normale. Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'intéressé y est enraciné et dispose de ce fait d'un droit de présence dans notre pays. Lors de l'application de l'art. 8 CEDH, l'autorité doit procéder à une pesée des intérêts et prendre en considération l'ensemble des circonstances du cas, en considérant la durée du séjour en Suisse comme un élément parmi d'autres (cf. <ref-ruling> consid. 3.2.1 p. 286 s.). Les années passées dans l'illégalité ou au bénéfice d'une simple tolérance ne sont normalement pas prises en considération dans l'appréciation ou alors seulement dans une mesure très restreinte (<ref-ruling> consid. 4.3 p. 23 s.). Cette jurisprudence a été confirmée récemment (cf. arrêt 2C_75/2011 du 6 avril 2011 consid. 3.1).
Au vu de ce qui précède, le recourant ne saurait tirer de l'arrêt de la CourEDH Cevdet Gezginci c. Suisse du 9 décembre 2010 un élément en faveur de sa demande de réexamen. C'est donc à juste titre que le Tribunal cantonal a rejeté son recours dirigé contre la décision du Service de la population refusant d'entrer en matière sur sa demande de réexamen.
2.5 Le recourant soutient également que l'appréciation du Tribunal cantonal est arbitraire et viole gravement l'art. 8 CEDH, la jurisprudence de la CourEDH n'ayant pas été prise en compte.
Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. Il ne suffit pas que la motivation de la décision critiquée soit insoutenable; encore faut-il que celle-ci se révèle arbitraire dans son résultat (<ref-ruling> consid. 3.1 p. 153 et les arrêts cités).
Comme on vient de le voir, le refus d'entrer en matière sur la demande de réexamen est conforme aux dispositions légales pertinentes. Le grief d'arbitraire s'avère par conséquent infondé.
3. Au vu de ce qui précède, c'est à juste titre que le Tribunal cantonal a confirmé le refus du Service de la population de réexaminer la décision du 23 septembre 2004. Le recours en matière de droit public doit par conséquent être rejeté.
Succombant, le recourant supporte les frais judiciaires (cf. <ref-law>) et n'a pas droit à des dépens (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté.
2. Les frais judiciaires, fixés à CHF 2000.-, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 31 janvier 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti