Faits:
A. X._, ressortissant serbe né en 1963, est arrivé pour la première fois en Suisse en 1987, comme travailleur saisonnier. Il n'a pas regagné son pays à l'échéance prévue et a dès lors fait l'objet de plusieurs mesures d'interdiction d'entrée en Suisse successives. Refoulé une première fois en octobre 1989, le prénommé n'a en effet eu de cesse de revenir illégalement en Suisse et a en outre fait l'objet notamment des condamnations pénales suivantes:
- Le 15 octobre 1990, il a été condamné par le Tribunal d'instruction pénale du Valais central à quatre mois d'emprisonnement avec sursis pendant deux ans pour infractions au droit des étrangers et à la législation sur la circulation routière.
- Le 13 janvier 1992, il a été condamné par le Tribunal correctionnel du district d'Aigle à quinze mois d'emprisonnement pour vol en bande et par métier, dommages à la propriété, violation de domicile, faux dans les certificats et rupture de ban (le sursis accordé par le Tribunal d'instruction pénale du Valais central étant par ailleurs révoqué).
- Le 20 mars 1998, il a été condamné (par défaut) par le Tribunal correctionnel du district d'Aigle à trois ans d'emprisonnement pour vol en bande et par métier, dommages à la propriété, violation de domicile, rupture de ban, vol d'usage, complicité d'ébriété au volant et mise d'un véhicule automobile à disposition d'un conducteur sans permis. L'intéressé ayant déposé une demande de relief, ce dernier jugement a été annulé par arrêt du Tribunal correctionnel de l'arrondissement de l'Est vaudois du 15 août 2005 - confirmé le 20 septembre 2005 par la Cour de cassation pénale du Tribunal cantonal vaudois -, la peine étant réduite à deux ans d'emprisonnement du fait notamment que certaines infractions étaient entre-temps prescrites et que le prévenu semblait s'être "repris en mains".
Selon ses déclarations, X._ aurait contracté un premier mariage avec une compatriote dans son pays d'origine, avant son arrivée en Suisse, et quatre enfants seraient issus de cette union. Le divorce des époux aurait été prononcé en 1990. L'intéressé s'est par la suite remarié en janvier 1997 avec une ressortissante française au bénéfice d'une autorisation d'établissement, puis, en octobre 2002, avec une ressortissante de Serbie-et-Monténégro également titulaire d'une telle autorisation. Ces deux dernières unions, qui se sont chacune soldées par un divorce, ont postérieurement été qualifiées de "mariages blancs" par l'autorité pénale.
Le 27 janvier 2006, X._ a épousé Y._, ressortissante suisse.
Par décision du 30 octobre 2006, le Service de la population du canton de Vaud a refusé d'octroyer au prénommé une autorisation de séjour, au vu notamment des lourdes condamnations pénales dont il avait fait l'objet. Ce prononcé a toutefois été annulé par arrêt du Tribunal administratif - devenu entre-temps la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud - du 26 novembre 2007, au motif en particulier que les faits ayant justifié sa dernière condamnation remontaient à plus de 10 ans et que l'intéressé entreprenait des efforts importants de resocialisation. Par décision du 20 février 2008, se référant à cet arrêt, l'Office fédéral des migrations a annulé avec effet immédiat la mesure d'interdiction d'entrée en Suisse prise à son encontre, non sans relever que cette mesure apparaissait "parfaitement justifiée au vu du comportement hautement répréhensible que l'intéressé a[vait] adopté et [qu']elle devrait, dès lors, être maintenue" et que c'était "à titre tout à fait exceptionnel" que l'office en cause était disposé à reconsidérer sa position.
X._ a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial dès le mois de février 2008.
B. Par jugement du 26 janvier 2011, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de trois ans pour tentative de meurtre et injure. Il ressort en substance du jugement que l'intéressé - qui vivait alors avec sa maîtresse, et ce depuis au moins six mois -, a agressé avec un couteau un collègue de travail lors d'une soirée d'entreprise.
Ce jugement a été confirmé le 3 mai 2011 par la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Par décision du 4 janvier 2012, rendue après avoir entendu X._, le Service de la population a refusé de renouveler son autorisation de séjour et prononcé son renvoi de Suisse.
Saisie d'un recours contre ce prononcé, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) l'a rejeté par arrêt du 16 avril 2012.
C. A l'encontre de ce jugement, X._ forme un recours en matière de droit public au Tribunal fédéral. Outre l'octroi de l'effet suspensif, il requiert, sous suite de frais et dépens, principalement, le renvoi de la cause au Tribunal cantonal pour complément d'instruction et nouvelle décision et, subsidiairement, la réforme de l'arrêt entrepris en ce sens que son autorisation de séjour est renouvelée.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral, ni le droit international ne donnent droit.
Dans la mesure où le recourant peut se prévaloir de l'art. 42 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) et invoque l'art. 8 CEDH, le recours en matière de droit public est recevable (cf. <ref-ruling> consid. 1.1 p. 179, 497 consid. 3.3 p. 500 s.). Ces dispositions sont en effet de nature à fonder un droit à l'octroi d'une autorisation de séjour.
Les autres conditions de recevabilité étant réunies, il convient en principe d'entrer en matière.
2. 2.1 Le recourant se plaint de la violation de son droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., spécialement en relation avec le refus du Tribunal cantonal de faire administrer des preuves supplémentaires au sujet de la réalité de son mariage, avec son degré d'intégration socio-professionnelle et sur le point de savoir si son épouse pouvait envisager lors de leur mariage qu'il ferait l'objet d'une mesure de renvoi.
2.2 Le droit d'être entendu découlant de l'art. 29 al. 2 Cst. n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 5b/bb p. 505/ 506).
2.3 Le dossier de la cause contient déjà une série de témoignages écrits ayant permis au Tribunal cantonal de se forger une opinion concernant le degré d'intégration du recourant. S'agissant de la réalité du mariage - faisant suite à deux mariages blancs - l'autorité précédente a considéré que dans l'hypothèse la plus favorable au recourant, la réalité dudit mariage ne permettrait pas de contre-balancer la gravité des infractions commises. Il n'y avait donc rien d'arbitraire à refuser l'administration de preuves supplémentaires sur cette question. L'existence de pièces retenues par le Tribunal cantonal au sujet de l'intégration socio-professionnelle du recourant le dispensait également d'entendre les personnes les ayant rédigées ou d'autres témoins, en vue d'établir les faits qui y étaient relatés. Outre que ces aspects n'étaient pas contestés devant les instances précédentes, ils ne sau-raient de toute manière l'emporter dans la pesée d'intérêts sur les infractions pénales commises. Le grief est donc mal fondé.
3. La violation de l'art. 29 al. 2 Cst. est ensuite dénoncée en relation avec un prétendu manque de motivation de l'arrêt, lequel aurait privé le recourant de la possibilité "d'exercer son droit de recours à bon escient".
Force est pourtant de constater qu'en dépit du vice allégué, le recourant n'a pas été en peine de rédiger un mémoire de plus de vingt-cinq pages, ce qui suffit à repousser le grief. Au surplus, la référence à l'art. 82 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative (LPA-VD; RS/VD 173.36), aux termes duquel "[l]'autorité peut renoncer à l'échange d'écritures ou, après celui-ci, à toute autre mesure d'instruction, lorsque le recours paraît manifestement irrecevable, bien ou mal fondé" (al. 1); "[d]ans ces cas, elle rend à bref délai une décision d'irrecevabilité, d'admission ou de rejet sommairement motivée" (al. 2), permettait aisément de comprendre les motifs de la renonciation à tout échange d'écritures. Mal fondé, le grief doit donc être rejeté.
4. Le recourant voit ensuite une violation de l'art. 29 al. 2 Cst. dans le fait que le Tribunal cantonal n'aurait pas donné suite à sa requête tendant à pouvoir compléter ultérieurement son recours et aurait clos l'instruction sans avis spécifique. Le recourant n'explique toutefois nullement en quoi l'art. 29 al. 2 Cst. fonderait un tel droit au dépôt d'écritures échelonnées, en l'absence de détermination de la partie adverse. Ne répondant pas aux exigences de motivation de l'<ref-law>, le grief est irrecevable. Au demeurant, le recourant n'expose pas davantage en quoi le droit en question serait prévu par le droit cantonal, lequel aurait été appliqué arbitrairement (art. 9 Cst.).
5. Le recourant se plaint d'arbitraire dans l'établissement des faits.
5.1 Le recourant estime que c'est de manière arbitraire que le Tribunal cantonal aurait retenu que sa nouvelle vie commune avec son épouse, après sa libération conditionnelle, aurait été dictée par les besoins de la cause. Tel n'est pourtant pas le cas: la question a été laissée ouverte par le Tribunal cantonal qui a fondé son raisonnement juridique sur la situation la plus favorable au recourant. Le grief doit donc être rejeté. Il en va de même s'agissant du fait qu'il aurait vécu six mois avec une maîtresse avant son incarcération. Ce fait ressortant, selon le recourant lui-même, du jugement du Tribunal correctionnel de Lausanne, il n'y aurait eu aucun arbitraire à le retenir. Le recourant ne prétend au demeurant nullement qu'il serait erroné.
5.2 Le recourant se plaint d'arbitraire dans l'établissement des faits s'agissant de l'appréciation de son degré d'intégration professionnelle. Le Tribunal cantonal n'a pourtant pas fait abstraction de son activité professionnelle, ni des témoignages de soutien versés en cause. Il a en revanche estimé que, dans la pesée des intérêts à effectuer - laquelle est une question de droit et non de fait -, ces éléments ne permettaient pas de contre-balancer l'importance des condamnations pénales. Le grief doit donc être rejeté.
6. Le recourant reproche à l'autorité précédente d'avoir violé les art. 96 al. 1 LEtr et 8 par. 2 CEDH en procédant à la pesée des intérêts en cause, l'existence d'un motif de révocation ou de non-renouvellement de l'autorisation de séjour n'étant pas contestée (cf. art. 62 let. b LEtr [une peine privative de liberté étant de longue durée au sens de cette disposition, lorsqu'elle est supérieure à un an: <ref-ruling> consid. 4.2 p. 379 ss, 137 II 297 consid. 2 p. 299 ss] en relation avec l'art. 63 al. 1 let. a LEtr, lui-même applicable en vertu de l'art. 51 al. 1 let. b LEtr).
Il suffit à cet égard de renvoyer à l'arrêt entrepris (cf. <ref-law>), lequel a pris en compte tous les éléments pertinents en procédant à la pesée des intérêts. Il en va ainsi notamment des multiples condamnations pénales à d'importantes peines privatives de liberté, prononcées du fait d'atteintes à des biens juridiques essentiels, au nombre desquelles figure une tentative de meurtre, de la durée du séjour en Suisse - en grande partie illégal -, de l'âge lors de son arrivée en Suisse, des liens dans son Etat d'origine, de sa formation et de son intégration professionnelle et sociale, ainsi que des conséquences de son renvoi pour ses proches.
7. Le recourant ne peut invoquer le droit de séjour conféré par l'art. 7 let. d de l'Accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) en relation avec l'<ref-law>, dès lors qu'il est marié à une ressortissante suisse. Savoir si une personne jouit d'une double nationalité est en effet une question de fait. Or, le Tribunal cantonal a retenu que l'épouse du recourant est citoyenne suisse (partie "Faits", let. B du jugement entrepris), en se limitant à relever plus loin que, lors de son audition par le juge d'application des peines, le recourant avait déclaré "qu'en cas de non-renouvellement de son autorisation de séjour, il envisageait de s'installer en Italie, pays dont son épouse serait originaire" (jugement entrepris, page 9). Or, le Tribunal fédéral est lié par les faits retenus par l'instance précédente (<ref-law>), sous réserve d'exceptions non réalisées en l'espèce. Le grief de violation des dispositions de l'ALCP doit donc être rejeté.
8. Les considérants qui précèdent conduisent au rejet du recours dans la mesure de sa recevabilité.
Avec le présent arrêt, la requête d'effet suspensif est sans objet.
Succombant, le recourant doit supporter les frais de la procédure fédérale (cf. <ref-law>) et n'a pas droit à des dépens (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 20 août 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin