Faits: A. Né en 1977 et ressortissant du Kosovo, X._ (alias A._ jusqu'au 6 juillet 2010) est entré en Suisse à l'âge de 14 ou 15 ans pour y rejoindre l'un de ses frères, après avoir suivi sa scolarité obligatoire au Kosovo. Il a déposé une première demande d'asile en mai 1997, qui a été rejetée en septembre 1997. Il a déposé une seconde demande en janvier 1999, radiée en mai 1999, X._ ayant été annoncé disparu le 6 avril 1999. Celui-ci a alors vécu en situation irrégulière dans le canton de Vaud. Par jugement du 23 octobre 2003 rendu par le Tribunal criminel de l'arrondissement de Lausanne et confirmé par la Cour de cassation pénale du canton de Vaud le 6 avril 2004, X._ a été condamné à une peine de neuf ans de réclusion et à une amende pour crime manqué de meurtre sur la personne du père de sa fiancée de l'époque, faux dans les certificats, infractions à la loi fédérale sur les armes, ainsi que contraventions à la loi sur le séjour et l'établissement des étrangers. Son expulsion pour une durée de douze ans a été également prononcée. Durant sa détention, X._ n'a pas respecté une autorisation de sortie en ne réintégrant pas durant quatre jours l'établissement de détention. Sa libération conditionnelle ayant été acceptée au jour de son renvoi de Suisse, il a été renvoyé au Kosovo le 3 juillet 2010. Revenu en Suisse à une date indéterminée, X._ a fait l'objet d'une instruction ouverte par le juge de Paix du district de Lausanne pour infractions liées à un séjour illégal et à une activité lucrative sans autorisation. Sa détention a été ordonnée le 23 novembre 2010. Le même jour, le Service cantonal vaudois de la population (ci-après: le Service cantonal) lui a imparti un délai au 30 novembre 2010 pour quitter la Suisse. X._ a été renvoyé dans son pays d'origine par vol spécial du 16 décembre 2010. B. Le 23 décembre 2010, X._ a déposé une demande de visa auprès de l'Ambassade de Suisse à Pristina, afin d'obtenir une autorisation de séjour en vue d'épouser B._, une ressortissante suisse, née le *** 1965. Après avoir donné l'occasion à X._ de prendre position, le Service cantonal a refusé, par décision du 5 juillet 2011, de lui octroyer une autorisation d'entrée, respectivement de séjour en vue de son mariage et a précisé qu'il n'était pas disposé à proposer à l'Office fédéral des migrations (ci-après: l'Office fédéral) un sauf-conduit pour la célébration du mariage. Par arrêt du 29 mai 2012, le Tribunal cantonal vaudois a rejeté le recours formé par X._ et a confirmé la décision du 5 juillet 2011. C. A l'encontre de l'arrêt du 29 mai 2012, X._ dépose, dans un même acte, un recours en matière de droit public et un recours constitutionnel subsidiaire auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à l'admission du recours, à ce que l'arrêt attaqué soit réformé en ce sens qu'une autorisation d'entrée et de séjour lui soit délivrée en vue de son mariage, subsidiairement à ce que l'arrêt attaqué soit annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Par ailleurs, il sollicite son audition, ainsi que celle de sa fiancée à titre de mesures d'instruction. Les autorités ont été amenées à produire leur dossier, sans échange d'écritures.