Faits: A. X._, ressortissant serbe né en 1963, est arrivé pour la première fois en Suisse en 1987, comme travailleur saisonnier. Il n'a pas regagné son pays à l'échéance prévue et a dès lors fait l'objet de plusieurs mesures d'interdiction d'entrée en Suisse successives. Refoulé une première fois en octobre 1989, le prénommé n'a en effet eu de cesse de revenir illégalement en Suisse et a en outre fait l'objet notamment des condamnations pénales suivantes: - Le 15 octobre 1990, il a été condamné par le Tribunal d'instruction pénale du Valais central à quatre mois d'emprisonnement avec sursis pendant deux ans pour infractions au droit des étrangers et à la législation sur la circulation routière. - Le 13 janvier 1992, il a été condamné par le Tribunal correctionnel du district d'Aigle à quinze mois d'emprisonnement pour vol en bande et par métier, dommages à la propriété, violation de domicile, faux dans les certificats et rupture de ban (le sursis accordé par le Tribunal d'instruction pénale du Valais central étant par ailleurs révoqué). - Le 20 mars 1998, il a été condamné (par défaut) par le Tribunal correctionnel du district d'Aigle à trois ans d'emprisonnement pour vol en bande et par métier, dommages à la propriété, violation de domicile, rupture de ban, vol d'usage, complicité d'ébriété au volant et mise d'un véhicule automobile à disposition d'un conducteur sans permis. L'intéressé ayant déposé une demande de relief, ce dernier jugement a été annulé par arrêt du Tribunal correctionnel de l'arrondissement de l'Est vaudois du 15 août 2005 - confirmé le 20 septembre 2005 par la Cour de cassation pénale du Tribunal cantonal vaudois -, la peine étant réduite à deux ans d'emprisonnement du fait notamment que certaines infractions étaient entre-temps prescrites et que le prévenu semblait s'être "repris en mains". Selon ses déclarations, X._ aurait contracté un premier mariage avec une compatriote dans son pays d'origine, avant son arrivée en Suisse, et quatre enfants seraient issus de cette union. Le divorce des époux aurait été prononcé en 1990. L'intéressé s'est par la suite remarié en janvier 1997 avec une ressortissante française au bénéfice d'une autorisation d'établissement, puis, en octobre 2002, avec une ressortissante de Serbie-et-Monténégro également titulaire d'une telle autorisation. Ces deux dernières unions, qui se sont chacune soldées par un divorce, ont postérieurement été qualifiées de "mariages blancs" par l'autorité pénale. Le 27 janvier 2006, X._ a épousé Y._, ressortissante suisse. Par décision du 30 octobre 2006, le Service de la population du canton de Vaud a refusé d'octroyer au prénommé une autorisation de séjour, au vu notamment des lourdes condamnations pénales dont il avait fait l'objet. Ce prononcé a toutefois été annulé par arrêt du Tribunal administratif - devenu entre-temps la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud - du 26 novembre 2007, au motif en particulier que les faits ayant justifié sa dernière condamnation remontaient à plus de 10 ans et que l'intéressé entreprenait des efforts importants de resocialisation. Par décision du 20 février 2008, se référant à cet arrêt, l'Office fédéral des migrations a annulé avec effet immédiat la mesure d'interdiction d'entrée en Suisse prise à son encontre, non sans relever que cette mesure apparaissait "parfaitement justifiée au vu du comportement hautement répréhensible que l'intéressé a[vait] adopté et [qu']elle devrait, dès lors, être maintenue" et que c'était "à titre tout à fait exceptionnel" que l'office en cause était disposé à reconsidérer sa position. X._ a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial dès le mois de février 2008. B. Par jugement du 26 janvier 2011, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de trois ans pour tentative de meurtre et injure. Il ressort en substance du jugement que l'intéressé - qui vivait alors avec sa maîtresse, et ce depuis au moins six mois -, a agressé avec un couteau un collègue de travail lors d'une soirée d'entreprise. Ce jugement a été confirmé le 3 mai 2011 par la Cour d'appel pénale du Tribunal cantonal du canton de Vaud. Par décision du 4 janvier 2012, rendue après avoir entendu X._, le Service de la population a refusé de renouveler son autorisation de séjour et prononcé son renvoi de Suisse. Saisie d'un recours contre ce prononcé, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) l'a rejeté par arrêt du 16 avril 2012. C. A l'encontre de ce jugement, X._ forme un recours en matière de droit public au Tribunal fédéral. Outre l'octroi de l'effet suspensif, il requiert, sous suite de frais et dépens, principalement, le renvoi de la cause au Tribunal cantonal pour complément d'instruction et nouvelle décision et, subsidiairement, la réforme de l'arrêt entrepris en ce sens que son autorisation de séjour est renouvelée. Il n'a pas été ordonné d'échange d'écritures.