Faits:
A. Originaire du Kosovo, X._, né en 1979, est entré illégalement en Suisse le 10 novembre 2005. Le 10 juillet 2006, il a sollicité une autorisation de séjour dans le but d'épouser sa fiancée, Y._, ressortissante suisse née en 1977. Suite au mariage célébré le 28 septembre 2006, X._ a été mis au bénéfice d'une autorisation de séjour valable jusqu'au 27 septembre 2007.
Le 1er mai 2007, Y._ a quitté le territoire suisse où elle dépendait des services sociaux depuis environ dix ans pour s'installer en France dans le but d'y exercer une activité lucrative. Depuis lors, elle a occupé un emploi d'accueillante familiale. Elle a confirmé avoir des contacts réguliers avec son époux resté en Suisse.
B. Le 19 juillet 2007, X._ a sollicité la prolongation de son autorisation de séjour. A cette occasion, il a précisé que le couple faisait ménage séparé en attendant qu'il trouve un travail au domicile de son épouse, en France. La validité de son autorisation de séjour a été prolongée au 27 septembre 2009. Le 7 août 2009, il a requis une nouvelle prolongation de son autorisation de séjour, indiquant être toujours à la recherche d'un emploi en France pour y rejoindre son épouse. Il a ajouté qu'ils se voyaient régulièrement pendant les fins de semaine ou les vacances scolaires. Le 4 mars 2010, le Service de la population du canton de Vaud (SPOP) a refusé de prolonger l'autorisation de séjour.
C. Contre la décision du SPOP, X._ a saisi la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal) d'un recours. Dans le cadre de cette procédure, il a produit une carte de résident valable jusqu'au 11 avril 2010 que les autorités françaises lui ont délivrée en sa qualité de membre de la famille d'un ressortissant suisse.
Lors d'une audience qui s'est déroulée le 4 octobre 2010, Y._ a exposé ce qui suit:
"Nous avons acheté une maison en France dans laquelle je vis et j'exerce mon activité professionnelle. Mon mari cherche du travail dans la région par internet, mais ce n'est vraiment pas évident de trouver du travail en France. Mon revenu mensuel se situe entre 2'400 et 3'000 euros. Le revenu mensuel moyen en France s'élève à 1'000-1'200 euros. Je précise que je suis tenue d'avoir une autre source de revenu que mon propre revenu pour pouvoir conserver mon agrément m'autorisant à exercer mon activité d'accueillante familiale. Cette règle est établie par les autorités françaises pour éviter que des gens sans ressources financières accueillent des personnes chez eux pour gagner leur vie. J'ai donc besoin du salaire de mon mari pour pouvoir travailler. J'accueille actuellement trois personnes âgées dans ma maison, chacune s'acquittant d'un montant mensuel de 800 euros. Quand je vivais en Suisse, je dépendais de l'assistance sociale. Mon mari et moi essayons de nous voir au moins quatre jours par mois. Les trajets sont effectivement onéreux. Cette année, j'ai dû venir en Suisse environ une dizaine de fois. En moyenne, je reste une semaine. Mon mari vient en France deux à trois fois par mois, mais il reste moins longtemps. Quand nous nous voyons, nous menons une vie de couple normale. Quand il vient, je n'ai pas forcément congé. Nous vivons à la maison, et profitons d'y effectuer des travaux. La distance me pose un problème; cette solution n'est pas viable à long terme. Ma fille, Océane, a 14 ans. Elle vit en France avec moi depuis le début. Mon fils, Flavien, a 12 ans. Il vient d'arriver en France en juin 2010. Auparavant, il vivait chez son père. Pour obtenir son titre de résidence en France, mon mari a expliqué la situation telle qu'elle se présente; il a expliqué qu'il vivait en Suisse, mais que les Suisses ne voulaient plus de lui."
Il ressort encore de l'audition de la directrice de l'entreprise employant X._ que ce dernier a été engagé en décembre 2009 comme monteur électricien (sans CFC) pour une rémunération de 25 fr. de l'heure, qu'il perçoit entre 5'000 et 6'000 fr. par mois, qu'il travaille beaucoup, effectuant beaucoup d'heures et ne demandant jamais de congés spéciaux. Selon l'employeur, X._ n'a jamais évoqué un départ ou des recherches de travail en France.
Par arrêt du 7 octobre 2010, le Tribunal cantonal a rejeté le recours. Il a estimé que les motifs économiques invoqués par X._ pour vivre séparé de son épouse ne constituaient pas une raison majeure permettant de faire exception à l'exigence d'une vie commune et que, par ailleurs, le centre de sa vie familiale n'était pas en Suisse, mais en France où vivait son épouse, si bien qu'il ne pouvait pas prétendre à l'octroi d'une autorisation de séjour en Suisse au titre du regroupement familial.
D. X._ forme simultanément un recours en matière de droit public et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt précité du Tribunal cantonal dont il requiert l'annulation. Il conclut principalement à l'octroi d'une autorisation de séjour et, subsidiairement, au renvoi de la cause au Tribunal cantonal pour instruction complémentaire et nouvelle décision dans le sens des considérants. Il invoque la violation de la loi fédérale sur les étrangers et de son droit d'être entendu.
Invités à se prononcer sur le sort à réserver au recours, le Tribunal cantonal et le SPOP ont renoncé à se déterminer, alors que l'Office fédéral des migrations conclut à son rejet.
Par ordonnance du 12 novembre 2010, le Président de la IIème Cour de droit public a accordé l'effet suspensif au recours.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle librement la recevabilité des recours qui lui sont soumis (ATF 136 I 43 consid. 1 p. 43; 135 II 94 consid. 1 p. 96).
1.1 Le recourant a formé conjointement un recours en matière de droit public et un recours constitutionnel subsidiaire. Dans la mesure où le premier est recevable, le second ne saurait l'être, s'agissant des mêmes griefs. Il convient donc prioritairement d'analyser la recevabilité du recours ordinaire.
1.2 Aux termes de l'art. 83 let. c LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (ch. 2) ou qui concernent des dérogations aux conditions d'admission (ch. 5).
1.2.1 Le recourant fait valoir une violation des art. 42 et 49 LEtr. Comme il est marié à une ressortissante suisse, ces dispositions sont potentiellement propres, même s'il ne fait pas ménage commun avec son épouse, à lui conférer un droit au regroupement familial et à l'octroi d'une autorisation de séjour. Le recours en matière de droit public est donc, par rapport aux dispositions précitées, recevable sous l'angle de l'art. 83 let. c ch. 2 LTF. C'est pour le reste une question de fond que de savoir si, concrètement, le recourant peut être mis au bénéfice d'une telle autorisation, notamment s'il remplit l'exception à l'exigence du ménage commun prévue à l'art. 49 LEtr.
1.2.2 Le recourant se plaint également d'une violation du droit d'être entendu, respectivement de l'obligation de motiver, déduits de l'art. 29 al. 2 Cst. Il reproche aux premiers juges de n'avoir pas statué sur sa demande tendant à l'octroi d'une autorisation de séjour, en dérogation aux conditions d'admission, au titre de cas individuel d'une extrême gravité au sens de l'art. 30 al. 1 let. b LEtr.
L'art. 83 let. c ch. 5 LTF exclut expressément la voie du recours en matière de droit public contre les décisions relatives à la dérogation aux conditions d'admission. Dans la mesure où, sur le fond, il se rapporte directement à cette question juridique, le grief tiré de la violation du droit d'être entendu n'est donc pas recevable au titre du recours en matière de droit public (sur sa recevabilité au titre du recours constitutionnel subsidiaire, cf. infra consid. 1.4).
1.3 Pour le surplus, le recours est dirigé contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). En outre, il a été déposé en temps utile (art. 100 al. 1 LTF) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Le recours en matière de droit public est donc recevable en tant que le recourant conteste l'application des art. 42 et 49 LEtr par le Tribunal cantonal.
1.4 Le recours constitutionnel peut être formé pour violation des droits constitutionnels (art. 116). Sa recevabilité dépend, pour une part, des mêmes conditions que celles exposées au considérant précédent pour le recours en matière de droit public (cf. les renvois des art. 114 et 117 LTF aux art. 86 et 90, 100 LTF). La qualité pour recourir suppose toutefois l'existence d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée (art. 115 let. b LTF). La jurisprudence a ainsi précisé que le recourant qui, comme en l'espèce, ne dispose pas d'un droit d'obtenir une autorisation de séjour en lien avec la disposition litigieuse sur le fond (soit l'art. 30 al. 1 let. b LEtr), n'est pas légitimé, sous l'angle de l'art. 115 let. b LTF, à remettre en cause, par la voie du recours constitutionnel subsidiaire, le refus de lui octroyer une telle autorisation (cf. ATF 133 I 185 consid. 6.1 p. 197 s.; arrêt 2C_635/2009 du 26 mars 2010 consid. 5.4 in fine). Il ne peut faire valoir que la violation de droits de partie qui équivalent à un déni de justice formel, pour autant que, par ce biais, il n'invoque pas, même indirectement, des moyens ne pouvant être séparés du fond (ATF 133 I 185 consid. 6.2 p. 198 s.; arrêt 2C_345/2009 du 22 octobre 2009 consid. 3.2). Dans la mesure où, en l'occurrence, le recourant ne se plaint pas d'une motivation insuffisante, mais de l'absence de toute motivation relative à l'application de l'art. 30 al. 1 let. b LEtr, son grief de violation du droit d'être entendu a trait uniquement à ses droits (formels) de partie à la procédure cantonale; il est donc recevable au titre du recours constitutionnel subsidiaire, nonobstant l'absence de qualité du recourant d'agir sur le fond (cf. ATF 129 I 217 consid. 1.4 p. 223).
C'est dans cette mesure que la violation du droit d'être entendu alléguée en lien avec l'art. 30 al. 1 let. b LEtr sera examinée.
2. Eu égard à son caractère formel, il convient d'analyser en priorité le grief relatif à la violation de l'obligation de motiver. Le recourant n'indique pas que le droit cantonal lui offrirait, sur ce point, des garanties plus étendues que celles découlant du droit constitutionnel fédéral. Son grief sera dès lors examiné exclusivement à la lumière de l'art. 29 al. 2 Cst. (cf. ATF 126 I 15 consid. 2a p. 16).
2.1 La jurisprudence a déduit du droit d'être entendu l'obligation pour l'autorité de motiver sa décision, afin que son destinataire puisse la comprendre et l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle (ATF 126 I 15 consid. 2a/aa p. 17, 97 consid. 2b p. 102). Pour répondre à ces exigences, le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions qui, sans arbitraire, apparaissent décisives pour l'issue du litige. Il suffit que le justiciable puisse apprécier correctement la portée de la décision et l'attaquer à bon escient (cf. ATF 134 I 83 consid. 4.1 p. 88; 130 II 530 consid. 4.3; 126 I 15 consid. 2a/aa et les arrêts cités).
2.2 En l'espèce, le recourant a effectivement fait valoir, devant le Tribunal cantonal, le droit à une autorisation de séjour fondée sur l'art. 30 al. 1 let. b LEtr. Par ailleurs, il est exact que les premiers juges ne se sont pas expressément penchés sur cette question, n'ayant examiné le droit du recourant à une autorisation de séjour qu'au titre du regroupement familial fondé sur les art. 42 et 49 LEtr ainsi que de l'art. 8 CEDH. Dans le cadre de leur examen, ils ont toutefois dû vérifier s'il existait des "raisons majeures" susceptibles de justifier le maintien d'un domicile séparé des époux au sens de l'art. 49 LEtr. En refusant d'admettre cette possibilité, ils ont donc implicitement - ce qui suffit (cf. arrêts 2C_762/2009 du 11 février 2010 consid. 3.3.2 et 2P.148/2006 du 2 octobre 2006 consid. 3.2) - rejeté les arguments développés par le recourant pour démontrer la gravité de sa situation au sens de l'art. 30 al. 1 let. b LEtr.
Partant, le grief tiré de la violation de l'art. 29 al. 2 Cst. est mal fondé.
3. 3.1 D'après l'art. 42 al. 1 LEtr, le conjoint étranger d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. L'art. 49 LEtr prévoit une exception à l'exigence du ménage commun lorsque la communauté familiale (ou conjugale) est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées. Il ressort de la formulation de l'art. 49 LEtr ("raisons majeures"; voir aussi l'art. 76 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative [OASA; RS 142.201] qui évoque des "problèmes familiaux importants") que ces dispositions visent des situations exceptionnelles (arrêt 2C_635/2009 du 26 mars 2010 consid. 4.4 et les références aux travaux préparatoires). En présence de telles circonstances, l'on peut admettre, pour autant que le dossier de la cause ne contienne pas d'indices contraires, que la communauté conjugale est maintenue et qu'ainsi l'autre condition posée par l'art. 49 LEtr est réalisée (arrêt 2C_723/2010 du 14 février 2011 consid. 4.1).
Les motifs susceptibles de constituer une raison majeure au sens de l'art. 49 LEtr peuvent être familiaux, mais sont avant tout d'ordre professionnel (cf. arrêt 2C_544/2010 du 23 décembre 2010 consid. 2.1). Ils doivent dans tous les cas être objectifs et d'une certaine consistance. Ainsi, n'importe quel prétexte professionnel ne saurait justifier de faire exception à l'exigence d'un domicile commun. D'une façon générale, un motif apparaît d'autant plus sérieux et digne d'être pris en considération que les époux ne peuvent remédier à leur situation de vie séparée qu'au prix d'un préjudice important (cf. arrêt 2C_544/2010 du 23 décembre 2010 consid. 2.3.1).
3.2 En l'espèce, le recourant a expliqué que des motifs d'ordre professionnel empêchaient le couple de vivre sous le même toit, à savoir que son épouse avait dû quitter Genève et s'installer dans le Poitou-Charentes pour y travailler, car elle ne trouvait pas d'emploi en Suisse; depuis lors, selon ses allégués, le recourant chercherait activement mais vainement un emploi en France pour y rejoindre son épouse. Le Tribunal cantonal a toutefois constaté, de manière à lier la Cour de céans (cf. art. 105 al. 1 LTF), que le dossier ne contient aucune pièce attestant l'existence de telles démarches, l'intéressant s'étant contenté d'affirmer qu'il procédait à ses recherches d'emploi sur internet, sans apporter le moindre élément de preuve (par ex. des copies de courriels). Il ressort également de l'arrêt attaqué que le recourant n'a apparemment jamais sollicité l'appui de son employeur suisse pour ses prétendues recherches d'emploi en France, par exemple en lui demandant l'établissement d'un certificat de travail. Dans ces conditions, on ne peut, avec les premiers juges, que s'interroger sur la réelle volonté du recourant de tout mettre en oeuvre pour trouver un emploi en France.
Quoi qu'il en soit, le but de l'art. 49 LEtr (en lien avec l'art. 42 al. 1 LEtr) n'est pas de permettre à un étranger de résider durablement en Suisse au bénéfice d'une autorisation de séjour délivrée au titre du regroupement familial alors que son conjoint suisse vit et travaille loin de lui, comme ici à l'autre bout de la France. Certes la recherche d'un travail peut-elle, selon les circonstances, être considérée comme une raison majeure justifiant un domicile séparé des époux au sens de l'art. 49 LEtr., mais seulement pour une période temporaire correspondant au temps raisonnablement nécessaire à l'époux pour trouver un (nouvel) emploi. Or, dans le cas particulier, les autorités ont suffisamment tenu compte de la situation du recourant qui avait déjà disposé de près de trois ans au moment de la décision du SPOP pour faire ses démarches, d'autant qu'il n'a pas apporté le moindre élément d'explication quant à leur échec.
Faute de faire ménage commun avec son épouse, le recourant ne peut en conséquence pas bénéficier du droit à une autorisation de séjour au sens de l'art. 42 al. 1 LEtr.
4. Il suit de ce qui précède que le recours, mal fondé, doit être rejeté.
Succombant, le recourant supportera les frais judiciaires (art. 65 et 66 al. 1 LTF) et n'a pas droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 7 avril 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Addy