Faits:
A. Ressortissant kosovar né en 1981, X._ est entré en Suisse le 6 juin 1999. Sa demande d'asile rejetée, il a quitté le pays le 14 juillet 2000. Revenu le 16 juillet 2003, il a déposé une seconde demande d'asile, qui a fait l'objet d'une décision de non-entrée en matière, de sorte qu'il a à nouveau dû quitter la Suisse. Il a toutefois été interpellé par la police le 7 janvier 2004 et a déclaré à cette occasion qu'il était revenu illégalement en Suisse en décembre 2003. Un délai au 11 mars 2004 lui a alors été imparti pour quitter le pays. Le 17 février 2004, l'Office fédéral de l'immigration, de l'intégration et de l'émigration - devenu entre-temps l'Office fédéral des migrations - a prononcé à son endroit une décision d'interdiction d'entrée en Suisse valable jusqu'au 16 février 2006. Le recours interjeté par X._ contre cette décision a été rejeté le 23 juin 2005.
Dans l'intervalle, à savoir le 18 mai 2004, X._ a été condamné à deux amendes de respectivement 670 et 1'030 fr. pour contraventions à la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113 et les modifications ultérieures; en vigueur jusqu'au 31 décembre 2007).
Le 5 février 2005, X._ a à nouveau été interpellé lors d'un contrôle sur un chantier à A._. Il a ainsi été constaté qu'il séjournait et exerçait une activité lucrative sans autorisations. Le 2 mars 2005, le Service de la population du canton de Vaud lui a imparti un délai au 10 mars 2005 pour quitter la Suisse.
Par courrier du 9 mars 2005, X._ a requis le Service de la population de lui octroyer une autorisation, ou du moins de tolérer son séjour, afin qu'il puisse poursuivre son traitement médical. A l'appui de sa demande, il a produit une attestation datée de la veille du Dr Y._ du Centre médical B._, à Lausanne, selon laquelle il souffrait, à la suite d'un traumatisme professionnel, d'une hernie discale L5-S1 et était en arrêt de travail presque sans interruption depuis le mois d'août 2004.
Le Service de la population s'est renseigné sur les possibilités de traitement de l'intéressé au Kosovo. Sur le vu d'une attestation établie le 31 mars 2005 par le Dr Z._, médecin de confiance du Bureau de liaison suisse au Kosovo, il a confirmé la teneur de son courrier du 2 mars 2005.
X._ a été refoulé au Kosovo le 29 juillet 2005.
Par décision du 15 septembre 2005, l'Office fédéral des migrations a prolongé au 14 septembre 2008 l'interdiction d'entrée en Suisse du prénommé.
Le 11 avril 2006, X._ a à nouveau été interpellé lors d'un contrôle sur un chantier à C._. Il a déclaré être revenu en Suisse une semaine auparavant.
Le 13 avril 2006, X._ a requis le Service de la population de lui délivrer une autorisation de séjour, au motif qu'il avait été victime d'un nouvel accident de travail en Suisse. Il a joint une attestation médicale du Dr Y._.
Par décision du 23 juin 2006, le Service de la population a refusé d'octroyer à X._ l'autorisation de séjour sollicitée et lui a enjoint de quitter la Suisse sans délai.
Le 12 février 2009, X._ a épousé D._, ressortissante suisse. A la suite de cette union, il a été mis au bénéfice d'une autorisation de séjour par regroupement familial.
Le 3 juin 2010, le Service de la population a été informé par le Service du contrôle des habitants de Lausanne de ce que les époux X._ étaient séparés depuis le 15 janvier 2010. Entendu par la Police municipale de Lausanne, X._ a déclaré qu'il ne vivait plus avec son épouse depuis le mois de février 2010. De son côté, l'épouse a déclaré être séparée de lui depuis le mois de décembre 2009 et ne pas avoir subi de violences conjugales.
Après lui avoir donné la possibilité de se déterminer, le Service de la population a, par décision du 19 avril 2011, révoqué l'autorisation de séjour de X._.
B. A l'encontre de cette décision, X._ a recouru à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Il a produit un rapport médical établi par le Dr E._ le 8 août 2011.
Par arrêt du 21 octobre 2011, le Tribunal cantonal a rejeté le recours. Il a considéré en particulier que les problèmes d'ordre médical invoqués par X._ ne sauraient constituer des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20).
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 21 octobre 2011 et, principalement, de dire que son autorisation de séjour n'est pas révoquée, subsidiairement, de renvoyer la cause au Tribunal cantonal et, plus subsidiairement, au Service de la population, afin qu'il dise ce qui précède. A titre préalable, il demande que son recours soit doté de l'effet suspensif.
Il n'a pas été requis de déterminations.

Considérant en droit:
1. 1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit, sous l'angle de la recevabilité, qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 179, 497 consid. 3.3 p. 500 s.).
En l'occurrence, le recourant invoque notamment l'art. 50 al. 1 let. b LEtr. Du moment que cette disposition est potentiellement de nature à lui conférer un droit à une autorisation de séjour, son recours échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF.
1.2 Les autres conditions de recevabilité sont réunies, de sorte qu'il convient d'entrer en matière.
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que les faits n'aient été établis de façon manifestement inexacte - c'est-à-dire arbitrairement au sens de l'art. 9 Cst. (<ref-ruling> consid. 7.1 p. 398) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). D'une manière générale, la correction du vice doit en outre être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF), ce qu'il appartient au recourant d'exposer (cf. arrêt 4A_641/2010 du 23 février 2011 consid. 1.3, in SJ 2011 I p. 321). S'agissant de l'appréciation des preuves, le Tribunal fédéral n'intervient pour violation de l'art. 9 Cst. que si les juges cantonaux ont abusé du pouvoir qui leur est reconnu en ce domaine, en particulier lorsqu'ils n'ont arbitrairement pas tenu compte de preuves pertinentes, que des constatations de fait sont manifestement fausses ou que l'appréciation des preuves est tout à fait insoutenable (<ref-ruling> consid. 4.2 p. 560 et les arrêts cités).
2. Le recourant fait grief à l'autorité précédente d'avoir établi les faits de manière incomplète et inexacte à plusieurs égards. Il lui reproche en premier lieu d'avoir retenu qu'en rendant sa décision du 19 avril 2011, le Service de la population a refusé de renouveler son autorisation de séjour, alors qu'en réalité il l'aurait révoquée.
Il ressort effectivement du dossier de la cause que, le 1er février 2010, l'autorisation de séjour du recourant a été prolongée jusqu'au 11 février 2012, de sorte que la décision du 19 avril 2011 avait bien pour effet de révoquer celle-ci, conformément d'ailleurs à son intitulé. Après avoir relevé que "[l]e 6 décembre 2010, le SPOP a informé X._ de son intention de révoquer son autorisation de séjour [...]" (partie "Faits", sous H), l'autorité précédente a par la suite considéré qu'en rendant son prononcé du 19 avril 2011, le Service de la population avait refusé de renouveler ladite autorisation et elle a motivé la décision attaquée en fonction de cette qualification. L'état de fait doit donc être rectifié sur ce point, ce qui toutefois ne change rien à l'issue du présent litige, étant rappelé que le Tribunal de céans n'est pas lié par les motifs de l'arrêt attaqué (<ref-ruling> consid. 1.4.1 p. 254).
Quant aux autres griefs portant sur l'établissement des faits, ils sont irrecevables, le recourant n'exposant pas, comme cela lui incombe (cf. consid. 1.3 ci-dessus), en quoi la correction du vice serait susceptible d'influer sur le sort de la cause (cf. <ref-law>).
3. 3.1 Le recourant reproche à l'autorité précédente d'avoir arbitrairement nié que ses problèmes de santé actuels constituent des raisons personnelles majeures, au sens de l'art. 50 al. 1 let. b LEtr, qui imposent la poursuite de son séjour en Suisse. Il critique en particulier le fait que le Tribunal cantonal a retenu, sur la base de l'attestation du 31 mars 2005, qu'il peut bénéficier au Kosovo d'un traitement adapté à son état de santé, tel qu'il est décrit dans le rapport du 8 août 2011. Il soutient en outre que l'autorité précédente a fait une lecture arbitraire de l'attestation du 31 mars 2005.
3.2 Selon la jurisprudence, des motifs médicaux peuvent, suivant les circonstances, conduire à la reconnaissance d'une raison personnelle majeure au sens de l'art. 50 al. 1 let. b LEtr, lorsque l'intéressé démontre souffrir d'une sérieuse atteinte à la santé qui nécessite, pendant une longue période, des soins permanents ou des mesures médicales ponctuelles d'urgence, indisponibles dans le pays d'origine, de sorte qu'un départ de Suisse serait susceptible d'entraîner de graves conséquences pour sa santé. En revanche, le seul fait d'obtenir en Suisse des prestations médicales supérieures à celles offertes dans le pays d'origine ne suffit pas. De même, l'étranger qui entre pour la première fois en Suisse en souffrant déjà d'une sérieuse atteinte à la santé ne saurait se fonder uniquement sur ce motif médical pour y poursuivre son séjour (arrêt 2C_216/2009 du 20 août 2009 consid. 4.2 et les références).
3.3 L'attestation du 31 mars 2005 a la teneur suivante (selon la traduction de l'anglais proposée par le recourant):
"Voici les renseignements requis par les autorités du canton de Vaud à propos des possibilités au Kosovo de traiter le patient souffrant d'un disque intervertébral déplacé:
1. Il y a au Kosovo des médecins spécialistes capables de faire des injections para-spinales dans des établissements publics ou privés;
2. il n'est possible de faire des examens IRM au Kosovo que dans un établissement privé et l'examen spécifique de la colonne vertébrale coûte quelque 200 à 250 Euros;
3. il est possible au Kosovo d'obtenir des analgésiques appropriés pour traiter ce genre d'affection."
Dans son rapport du 8 août 2011 (concernant la valeur probante des expertises présentées par une partie, cf. arrêt 8C_439/2009 du 25 novembre 2009 consid. 4.4, in Plädoyer 2010/2 p. 54, avec renvoi à l'<ref-ruling> consid. 3b/dd p. 353), le Dr E._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, à Lausanne, a fait état d'une première lésion du disque situé entre la 5ème vertèbre lombaire et la 1ère vertèbre sacrée (hernie discale) subie le 26 août 2004 lors d'un accident de travail. Le 12 décembre 2008, l'état du recourant s'était aggravé lorsque celui-ci avait porté de lourdes plaques de plâtre. Les nerfs situés au niveau des vertèbres en question avaient été touchés par la hernie discale et une seconde hernie discale avait été constatée entre les 4ème et 5ème vertèbres lombaires. En outre, l'ensemble de la musculature de la colonne vertébrale ne fonctionnait plus correctement depuis lors. Le recourant faisait également état de troubles de la sensibilité de l'hémicorps gauche qui l'handicapaient encore plus. Le 26 février 2011, il avait subi un nouvel accident sur la voie publique avec un traumatisme de type "coup du lapin". Malgré un traitement, des douleurs cervicales persistaient. La durée d'évolution de cette lésion était inconnue, mais s'étalait habituellement sur de nombreux mois, voire plus. En conclusion, le recourant présentait des lésions de la colonne vertébrale, aux niveaux cervical et lombaire, qui concernaient non seulement les disques intervertébraux, mais également l'ensemble de la musculature du rachis.
Le Dr E._ a indiqué ce qui suit s'agissant de la prise en charge médicale:
"Il est important de bien noter que les lésions décrites ci-dessus sont encore actives.
Cela signifie que celles-ci sont encore actuellement source de douleurs pour X._.
Cela impose donc la poursuite d'un traitement médical au long cours, à savoir plusieurs mois pour la colonne vertébrale cervicale. Pour les hernies discales, le traitement nécessaire, qui dure déjà depuis 2004 est, très probablement, à envisager sur plusieurs années encore.
Cette prise en charge médicale est complexe, de par l'association des lésions (deux au niveau lombaire et une au niveau cervical de type coup du lapin) avec un mauvais fonctionnement de la musculature de l'ensemble du rachis.
Cette pathologie complexe demande l'intervention de plusieurs médecins hautement spécialisés. Je cite en particulier le médecin de famille, le spécialiste en neurologie, le spécialiste du traitement de la douleur de la colonne vertébrale, le physiothérapeute. Des évaluations par imagerie médicale de type IRM (Imagerie par Résonance Magnétique) s'imposeront très probablement dans l'avenir. Le suivi est à effectuer par les médecins qui connaissent bien X._ depuis maintenant près de sept années.
Les lésions des disques intervertébraux lombaires peuvent enfin relever d'un éventuel geste chirurgical. Ceci est le cas pour la hernie discale située entre la 5ème vertèbre lombaire et la 1ère vertèbre sacrée où une menace de lésion nerveuse est attestée. Il est évident à tout à chacun qu'il s'agit ici d'une chirurgie très spécialisée qui demande une infrastructure lourde et complexe. Elle demande enfin d'être réalisée au moment adéquat, ce qui exige, de plus, un suivi hautement spécialisé.
Au total, X._ présente des lésions complexes et multiples qui demandent un suivi médical très spécialisé dans le cadre d'une infrastructure lourde telle que celle d'un pays comme la Suisse. Une éventuelle intervention chirurgicale au niveau de la colonne vertébrale peut également s'imposer, exigeant un suivi et une infrastructure également très complexe."
3.4 Le litige porte essentiellement sur le point de savoir s'il est établi que les traitements nécessités par l'état de santé du recourant sont disponibles au Kosovo, question de fait que le Tribunal de céans revoit sous l'angle de l'arbitraire (cf. consid. 1.3 ci-dessus).
Quoi qu'en dise le recourant, l'attestation du 31 mars 2005 n'est pas dénuée de pertinence. Elle a en effet été établie alors que celui-ci souffrait déjà d'une hernie discale, à la suite de l'accident de travail du 26 août 2004 et répondait à la question de savoir si "les infrastructures médicales existant au Kosovo disposent (1) des moyens techniques pour traiter les hernies discales (médecins spécialisés, aptes à effectuer des infiltrations para-rachidiennes, moyens techniques tels que des IRM) ainsi que (2) de la médication idoine (antalgiques)" (courrier du 15 mars 2005 du Service de la population au Bureau de liaison suisse à Pristina, pièce no 55 du dossier du Service de la population). Entre-temps, les problèmes de santé du recourant se sont certes aggravés et complexifiés (seconde hernie discale au niveau lombaire, traumatisme du type "coup du lapin" au niveau cervical, mauvais fonctionnement de la musculature de l'ensemble du rachis), mais n'ont pas fondamentalement changé de nature.
Quant au rapport du Dr E._ du 8 août 2011, il en ressort tout au plus que le recourant peut obtenir des prestations médicales supérieures en Suisse, pays qui dispose d'une infrastructure médicale de pointe et où se trouvent les médecins qui l'ont suivi depuis plusieurs années. Ce point n'est toutefois pas déterminant selon la jurisprudence citée plus haut (consid. 3.2).
Dans ces conditions, on ne saurait dire que l'autorité précédente a établi les faits de manière arbitraire en retenant que les traitements nécessités par l'état de santé du recourant sont disponibles au Kosovo. La décision attaquée n'apparaît ainsi pas contraire à l'art. 50 al. 1 let. b LEtr sur ce point, ni d'ailleurs à un autre égard.
4. 4.1 Le recourant se plaint de ce que son autorisation de séjour a été révoquée en l'absence de tout motif de révocation au sens de l'art. 62 LEtr. Il prétend en particulier qu'il ne saurait tomber sous le coup de la let. d de cette disposition, car son épouse aurait admis que la fin de l'union conjugale lui était imputable à elle seule.
4.2 L'art. 42 al. 1 LEtr fait dépendre le droit du conjoint étranger à une autorisation de séjour de la condition que les époux fassent ménage commun. La disparition de cette condition entraîne en principe - sous réserve des art. 49 et 50 LEtr - l'extinction du droit, et ce indépendamment des motifs de la séparation. Lorsque la séparation a duré quelque temps et en l'absence d'indices de réconciliation, l'autorisation peut être révoquée sur la base de l'art. 62 let. d LEtr (cf. arrêt 2C_635/2009 du 26 mars 2010 consid. 4).
En l'occurrence, lors du prononcé de la décision du 19 avril 2011, il n'était pas contesté que les époux X._ ne faisaient plus ménage commun depuis plusieurs mois (à savoir depuis février 2010 selon le recourant et depuis décembre 2009 selon son épouse). L'autorisation de séjour du recourant pouvait ainsi être révoquée, indépendamment de la question de savoir auquel des époux la séparation était imputable. Partant, le recours est mal fondé sur ce point.
5. Le recourant se plaint encore de violation de l'art. 8 CEDH, en se prévalant de la protection de la vie privée garantie par cette disposition. Il fait valoir que toute sa carrière professionnelle s'est déroulée en Suisse.
Il est douteux que le grief en question soit conforme aux exigences de motivation de l'<ref-law>. Quoi qu'il en soit, selon la jurisprudence, pour qu'on puisse déduire de l'art. 8 CEDH un droit à une autorisation de séjour au titre de la protection de la vie privée, des conditions strictes doivent être remplies. Il faut ainsi qu'il existe des liens spécialement intenses, dépassant ceux qui résultent d'une intégration ordinaire et ce, dans le domaine professionnel ou social (cf. arrêt 2C_266/2009 du 2 février 2010 consid. 3.1 et les références). Or, en l'espèce, l'existence de tels liens n'est pas établie ni même alléguée. Si l'on ajoute à cela que le recourant a pour l'essentiel séjourné en Suisse de manière illégale, l'on ne se trouve à l'évidence pas dans l'une des situations exceptionnelles où un droit à une autorisation de séjour peut être déduit de l'art. 8 CEDH au titre de la protection de la vie privée. Partant, le grief est mal fondé.
6. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Avec le présent arrêt, la requête d'effet suspensif est sans objet.
Succombant, le recourant doit supporter les frais judiciaires (cf. <ref-law>) et n'a pas droit à des dépens (cf. <ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 22 février 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin