Faits:
A. Né en 1977 et ressortissant du Kosovo, X._ (alias A._ jusqu'au 6 juillet 2010) est entré en Suisse à l'âge de 14 ou 15 ans pour y rejoindre l'un de ses frères, après avoir suivi sa scolarité obligatoire au Kosovo.
Il a déposé une première demande d'asile en mai 1997, qui a été rejetée en septembre 1997. Il a déposé une seconde demande en janvier 1999, radiée en mai 1999, X._ ayant été annoncé disparu le 6 avril 1999. Celui-ci a alors vécu en situation irrégulière dans le canton de Vaud.
Par jugement du 23 octobre 2003 rendu par le Tribunal criminel de l'arrondissement de Lausanne et confirmé par la Cour de cassation pénale du canton de Vaud le 6 avril 2004, X._ a été condamné à une peine de neuf ans de réclusion et à une amende pour crime manqué de meurtre sur la personne du père de sa fiancée de l'époque, faux dans les certificats, infractions à la loi fédérale sur les armes, ainsi que contraventions à la loi sur le séjour et l'établissement des étrangers. Son expulsion pour une durée de douze ans a été également prononcée.
Durant sa détention, X._ n'a pas respecté une autorisation de sortie en ne réintégrant pas durant quatre jours l'établissement de détention. Sa libération conditionnelle ayant été acceptée au jour de son renvoi de Suisse, il a été renvoyé au Kosovo le 3 juillet 2010.
Revenu en Suisse à une date indéterminée, X._ a fait l'objet d'une instruction ouverte par le juge de Paix du district de Lausanne pour infractions liées à un séjour illégal et à une activité lucrative sans autorisation. Sa détention a été ordonnée le 23 novembre 2010.
Le même jour, le Service cantonal vaudois de la population (ci-après: le Service cantonal) lui a imparti un délai au 30 novembre 2010 pour quitter la Suisse. X._ a été renvoyé dans son pays d'origine par vol spécial du 16 décembre 2010.
B. Le 23 décembre 2010, X._ a déposé une demande de visa auprès de l'Ambassade de Suisse à Pristina, afin d'obtenir une autorisation de séjour en vue d'épouser B._, une ressortissante suisse, née le *** 1965.
Après avoir donné l'occasion à X._ de prendre position, le Service cantonal a refusé, par décision du 5 juillet 2011, de lui octroyer une autorisation d'entrée, respectivement de séjour en vue de son mariage et a précisé qu'il n'était pas disposé à proposer à l'Office fédéral des migrations (ci-après: l'Office fédéral) un sauf-conduit pour la célébration du mariage.
Par arrêt du 29 mai 2012, le Tribunal cantonal vaudois a rejeté le recours formé par X._ et a confirmé la décision du 5 juillet 2011.
C. A l'encontre de l'arrêt du 29 mai 2012, X._ dépose, dans un même acte, un recours en matière de droit public et un recours constitutionnel subsidiaire auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à l'admission du recours, à ce que l'arrêt attaqué soit réformé en ce sens qu'une autorisation d'entrée et de séjour lui soit délivrée en vue de son mariage, subsidiairement à ce que l'arrêt attaqué soit annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Par ailleurs, il sollicite son audition, ainsi que celle de sa fiancée à titre de mesures d'instruction.
Les autorités ont été amenées à produire leur dossier, sans échange d'écritures.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle librement la recevabilité des recours qui lui sont soumis (ATF 136 II 497, consid. 3 p. 499; 136 I 43 consid. 1 p. 43).
1.1 Selon l'art. 83 let. c LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent l'entrée en Suisse (ch. 1) ou une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (ch. 2).
Dans la mesure où le recourant demande une autorisation d'entrée, sa conclusion n'est pas recevable en vertu de l'art. 83 let. c ch. 1 LTF. Du reste, l'autorité compétente, si elle accepte la demande d'autorisation de séjour, peut seulement "autoriser" la représentation suisse à délivrer un visa (cf. art. 5 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative; OASA, RS 142.201), document sans lequel l'entrée en Suisse du recourant n'est pas possible en l'absence d'accord de notre pays avec le Kosovo (cf. art. 5 a contrario de l'ordonnance du 22 octobre 2008 sur l'entrée et l'octroi de visas; OEV, RS 142.204; cf. arrêt 2C_400/2011 du 2 décembre 2011 consid. 1.2.1).
Le recourant conclut aussi à la délivrance d'une autorisation de séjour, afin de pouvoir venir en Suisse se marier avec sa fiancée de nationalité suisse. L'arrêt attaqué, qui refuse l'autorisation requise, est donc de nature à porter atteinte à son droit au respect de sa vie privée et familiale (art. 8 CEDH et 13 Cst.) et contrevenir à son droit au mariage (art. 14 Cst. et 8 CEDH, en relation avec l'art. 12 CEDH). Dès lors que le recourant invoque de manière plausible une violation des articles 8 CEDH et 13 Cst., la voie du recours en matière de droit public est ouverte sous l'angle de l'art. 83 let. c ch. 2 LTF (consid. 1.1 non publié de l'ATF 137 I 351). La question de savoir si c'est ou non à juste titre que les juges cantonaux ont confirmé le refus du Service cantonal d'autoriser le recourant à séjourner en Suisse en vue d'y préparer son mariage ressortit au fond et non à la recevabilité (arrêt 2C_117/2012 du 11 juin 2012 consid. 1.1)
1.2 Le recours constitutionnel subsidiaire déposé parallèlement par le recourant (art. 119 LTF) est partant irrecevable (cf. art. 113 LTF). Il n'y a au surplus pas lieu d'examiner l'éventuelle recevabilité du recours constitutionnel en relation avec l'octroi d'une autorisation d'entrée pour laquelle le recours en matière de droit public est exclu en application de l'art. 83 let. c ch. 1 LTF (cf. supra consid. 1.1), car le recours ne comporte aucun grief distinct sur ce point.
2. Le recourant se plaint de ce qu'aucune mesure d'instruction n'ait été effectuée en ce qui concerne les circonstances de sa rencontre avec sa fiancée et leur relation.
2.1 Dans la mesure où il propose que la Cour de céans procède elle-même à des mesures d'instruction, notamment à sa propre audition ou à celle de sa fiancée, sa requête est irrecevable, puisque, dans la procédure devant le Tribunal fédéral, l'art. 99 al. 1 LTF exclut les preuves nouvelles, sauf exception manifestement non réalisée dans la présente cause.
2.2 Le recourant reproche également aux autorités cantonales d'avoir violé son droit d'être entendu en ne procédant pas à ces mêmes mesures d'instruction. Motivé conformément aux exigences de l'art. 106 al. 2 LTF, ce grief est pour sa part recevable.
La jurisprudence a déduit de l'art. 29 al. 2 Cst., notamment, le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (ATF 132 V 368 consid. 3.1 p. 370). Le droit d'être entendu ne s'oppose cependant pas à ce que l'autorité mette un terme à l'instruction lorsque les preuves administrées lui permettent de se forger une conviction et que, procédant d'une façon non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient plus l'amener à modifier son opinion (ATF 136 I 229 consid. 5.3 p. 136; 134 I 140 consid. 5.3 p. 148).
En l'espèce, le Tribunal cantonal a certes émis des doutes sur l'existence d'une relation amoureuse entre les fiancés et a jugé que, sous cet angle, le recourant ne pouvait pas se prévaloir de l'art. 8 § 1 CEDH. Il n'en a toutefois tiré aucune conséquence en défaveur du recourant puisqu'il a estimé que, même si celui-ci pouvait invoquer cette disposition, les conditions pour une restriction fondée sur l'ordre et la sécurité publics au sens de l'art. 8 § 2 CEDH étaient de toute façon réalisées. Partant, les juges cantonaux pouvaient, sans violer l'art. 29 al. 2 Cst., refuser de donner suite aux offres de preuves tendant à démontrer l'intensité du lien entre les fiancés.
3. Sur le fond, le recourant soutient qu'il remplit les conditions pour obtenir une autorisation de séjour en vue de son mariage en Suisse. Il reproche en substance aux autorités cantonales d'avoir attaché une importance déterminante à la condamnation pénale dont il avait fait l'objet en octobre 2003 et conteste la réalisation d'un motif de révocation d'une autorisation de séjour, respectivement d'établissement. Il s'en prend également à la pesée des intérêts en présence à laquelle les autorité cantonales ont procédé.
3.1 Le droit au respect de la vie privée et familiale garanti à l'art. 8 § 1 CEDH permet, à certaines conditions, à un célibataire étranger de déduire un droit à une autorisation de séjour en présence d'indices concrets d'un mariage sérieusement voulu et imminent avec une personne ayant le droit de résider durablement en Suisse (ATF 137 I 351 consid. 3.2; arrêt 2C_400/2011 du 2 décembre 2011 consid. 1.2.3). Selon le Tribunal fédéral, les autorités de police des étrangers sont, dans un tel cas, tenues de délivrer un titre de séjour temporaire en vue du mariage lorsqu'il n'y a pas d'indice que l'étranger entende, par cet acte, invoquer abusivement les règles sur le regroupement familial et qu'il apparaît clairement que l'intéressé remplira les conditions d'une admission en Suisse après son union (cf. art. 17 al. 2 LEtr par analogie); en revanche, dans le cas inverse, soit si, en raison des circonstances, notamment de la situation personnelle de l'étranger, il apparaît d'emblée que ce dernier ne pourra pas, même une fois marié, être admis à séjourner en Suisse, l'autorité de police des étrangers pourra renoncer à lui délivrer une autorisation de séjour provisoire en vue du mariage (cf. ATF 137 I 351 consid. 3.7 p. 360, confirmé in ATF 138 I 41 consid. 4 p. 47; arrêt 2C_117/2012 du 11 juin 2012 consid. 4.2).
3.2 L'arrêt attaqué ne saurait donc être suivi, dès lors qu'il considère que le recourant ne peut se prévaloir d'aucun traité international lui conférant un droit de séjour en Suisse et qu'il envisage la requête de celui-ci sous l'angle de l'art. 30 al. 1 let. b LEtr, soit en tant que dérogation aux conditions d'admission.
Cela ne signifie pas que le recours doive être admis, puisque le Tribunal fédéral n'est pas lié par la motivation figurant dans l'arrêt attaqué et qu'il peut aussi rejeter un recours en opérant une substitution de motifs, c'est-à-dire en adoptant un raisonnement juridique autre que celui de la juridiction cantonale (cf. ATF 133 II 249 consid. 1.4.1 p. 254). Il convient donc d'examiner si, sur la base des faits figurant dans l'arrêt entrepris, qui lient la Cour de céans (art. 105 al. 1 LTF), le refus d'octroyer une autorisation de séjour au recourant en vue de son mariage remplit les conditions posées par la jurisprudence (cf. supra consid. 3.1) et constitue une restriction admissible à sa vie privée et familiale garantie par la CEDH.
3.3 En l'espèce, comme l'arrêt attaqué ne contient pas d'indices suffisants permettant d'en douter, le mariage doit être qualifié de " sérieusement voulu " au sens de la jurisprudence (cf. arrêt 2C_400/2011 du 2 décembre 2011 consid. 4).
Il ressort en revanche des constatations cantonales que le caractère imminent du mariage n'a pas été établi. Les premiers juges ont retenu que le recourant n'avait produit que les documents transmis aux autorités cantonales d'état civil à la suite de la demande de visa du 23 décembre 2010 et que le dossier ne contenait aucun document permettant de connaître l'état d'avancement de la procédure ni de savoir si le mariage pourrait être célébré dans un délai raisonnable. Le recourant se contente d'affirmer devant le Tribunal fédéral que la procédure de mariage serait sur le point de se clôturer, mais sans indiquer en quoi les constatations cantonales contraires seraient manifestement inexactes. Une telle argumentation, appellatoire et insuffisamment motivée n'est pas recevable (ATF 137 II 353 consid. 5.1 p. 356 et les arrêts cités).
En relation avec la situation personnelle du recourant, on ne peut reprocher au Tribunal cantonal d'avoir considéré qu'une fois marié, ce dernier ne pourrait clairement pas être admis à séjourner en Suisse en vertu de l'art. 42 LEtr. Selon l'art. 51 al. 1 let. b LEtr en effet, les droits prévus par l'art. 42 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 63 LEtr. Or, le recourant, en raison de sa condamnation à une peine privative de liberté de neuf ans, notamment pour crime manqué de meurtre, remplit à l'évidence les conditions du motif prévu à l'art. 63 let. a LEtr en relation avec l'art. 62 let. b al. 1 LEtr (cf. ATF 137 II 297 consid. 2.3.6 p. 302; 135 II 377 consid. 4.2 p. 379 ss).
Quant à la proportionnalité, qui doit être examinée tant sous l'angle de la législation nationale qu'en application de l'art. 8 § 2 CEDH, la jurisprudence considère que l'étranger qui n'a séjourné que peu de temps en Suisse et qui a été condamné à une peine privative de liberté de deux ans ou plus ne peut, sauf circonstances tout à fait particulières (arrêt 2C_238/2012 du 30 juillet 2012 consid. 4.3), plus bénéficier d'un titre de séjour en Suisse, même lorsqu'on ne peut pas ou difficilement exiger de l'épouse suisse qu'elle quitte son pays (ATF 135 II 377 consid. 4.3 et 4.4 p. 381 ss). En l'occurrence, le recourant a été condamné pour des actes très graves, comprenant un crime manqué de meurtre sur le père de sa fiancée de l'époque. De plus, il a quasiment toujours séjourné en Suisse de manière irrégulière ou y a été détenu, de sorte que la durée de son séjour dans notre pays n'est pas un élément déterminant (cf. arrêt 2C_552/2011 du 15 mars 2012 consid. 4.2). Certes, sa condamnation à neuf ans de privation de liberté est relativement ancienne, puisqu'elle date de 2003. Depuis lors, le recourant a été détenu jusqu'en juillet 2010. Même en détention, il n'a cependant pas eu un comportement irréprochable. En juillet 2008, il n'a pas respecté une autorisation de sortie et n'a pas réintégré son établissement de détention pendant quatre jours. Libéré le 2 juillet 2010 et renvoyé au Kosovo le jour suivant, il est revenu en Suisse à une date indéterminée. Quelques mois plus tard, soit en novembre 2010, une nouvelle instruction pénale a été ouverte à son encontre à Lausanne pour séjour illégal et activité lucrative sans autorisation et sa détention a été ordonnée. Le recourant a alors été renvoyé de Suisse le 16 décembre 2010, avant de déposer, le 23 décembre 2010, une demande de visa en vue de son mariage. On ne se trouve ainsi manifestement pas en présence de circonstances particulières qui justifieraient, malgré la lourde condamnation pénale infligée au recourant, de lui permettre néanmoins de séjourner en Suisse auprès de son épouse.
La position du recourant, qui se limite à affirmer que son comportement doit être considéré comme " très bon, voire même exemplaire " tant durant sa détention que depuis sa libération, confine dans ce contexte à la témérité.
3.4 Il en découle que les conditions qui président à l'exercice du droit au mariage du recourant sur territoire suisse font défaut. Partant, l'arrêt attaqué qui refuse d'octroyer au recourant une autorisation de séjour temporaire en vue de se marier ne viole pas la LEtr ni ne constitue une ingérence inadmissible en regard du droit au respect de la vie privée et familiale qui serait contraire à l'art. 8 CEDH.
4. Il résulte de ce qui précède que le recours en matière de droit public doit être rejeté dans la mesure de sa recevabilité, le recours constitutionnel subsidiaire étant, comme on l'a vu (supra consid. 1.2), irrecevable.
Les frais seront mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne sera pas alloué de dépens (68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des migrations.
Lausanne, le 18 septembre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat