Faits:
A. Ressortissant du Portugal, né en 1962, X._ a travaillé à deux reprises en Suisse au bénéfice d'autorisations frontalières qui lui ont été délivrées en 2001 et en 2002. Par la suite, il a bénéficié d'une autorisation de séjour valable du 5 mars 2003 au 19 janvier 2008.
A deux reprises, X._ a été dénoncé aux autorités pénales, au motif qu'entre le début de l'année 2004 et mai 2005, il s'en était plusieurs fois pris à son épouse Y._, dont il vivait séparé. Il l'avait ainsi régulièrement menacée, avant de s'en prendre physiquement à elle, usant de la violence par deux fois pour la contraindre à subir un acte d'ordre sexuel. A cela s'ajoute que, dans l'un de ces cas, il avait retenu sa victime prisonnière. Il avait en outre menacé un collègue de travail qu'il croyait être l'amant de son épouse. Le 19 mai 2010, à la suite, notamment, d'une plainte de Y._, le Tribunal correctionnel de l'arrondissement de Lausanne l'a condamné pour lésions corporelles simples qualifiées, menaces, séquestration et enlèvement, contrainte sexuelle et violation grave des règles de la circulation, à une peine privative de liberté de quinze mois, sous déduction de 36 jours de détention avant jugement, avec sursis pendant quatre ans. Cette peine était complémentaire par rapport à celle prononcée par le Juge d'instruction de l'arrondissement de Lausanne le 29 mai 2007, pour utilisation abusive d'une installation de télécommunication et menaces, le condamnant à une peine pécuniaire de cinq jours-amende avec sursis pendant deux ans et à une amende de 200 fr.
Depuis 2006, X._ a travaillé de façon irrégulière dans plusieurs entreprises du canton de Vaud. D'octobre à décembre 2006, puis d'avril à mai 2007, il a bénéficié du revenu d'insertion. Il a été déclaré inapte au placement à compter du 4 septembre 2007. Depuis mai 2008, il a travaillé comme grutier chez A._ SA, à B._, d'abord dans le cadre d'une mission temporaire, puis sous contrat de durée indéterminée.
Par jugement du 26 novembre 2008, le Président du Tribunal civil de l'arrondissement de Lausanne a prononcé son divorce d'avec Y._.
Selon ses explications, telles que retenues par le Tribunal correctionnel dans son jugement du 19 mai 2010, X._ aurait contracté des dettes pour un montant de 40'000 fr. Il est toutefois relativement autonome financièrement et occupe depuis 2008 une position stable chez un employeur qui l'apprécie, tout comme ses collègues de travail, tant pour son comportement, que pour son caractère et son professionnalisme. X._ vit désormais avec une ressortissante brésilienne qu'il envisagerait d'épouser, et dont il aurait eu un enfant.
B. X._ a requis le renouvellement de son autorisation de séjour le 22 juillet 2008.
Le 25 mai 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé de renouveler son autorisation de séjour, décision contre laquelle X._ a recouru.
Par arrêt du 5 mai 2011, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours. Se fondant sur l'art. 5 annexe I de l'accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP, RS 0.142.112.681), la Cour cantonale a conclu que les conditions de l'octroi d'une autorisation de séjour n'étaient pas réalisées. En effet, la condamnation à une peine privative de liberté de quinze mois avec sursis pendant quatre ans dépassait le seuil d'une année à partir duquel une peine privative de liberté est réputée de longue durée et susceptible de justifier une révocation d'une autorisation de police des étrangers au sens de l'art. 62 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr, RS 142.20). De plus, la Cour a retenu d'un rapport complémentaire d'expertise de 2010 rendu dans le cadre de la procédure pénale, que si les experts sollicités avaient mis en évidence la stabilité psychologique actuelle de X._, ils avaient confirmé leur appréciation précédente du risque de récidive en corrélation étroite avec la survenance de facteurs contextuels similaires à ceux ayant entouré les faits reprochés à ce dernier. La Cour a retenu que la menace que X._ représentait pour l'ordre public était toujours présente, de sorte que c'était à bon droit que l'autorisation de séjour requise n'avait pas été délivrée.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 5 mai 2011 et de renvoyer la cause au Service cantonal pour qu'il lui délivre une autorisation de séjour. Il requiert également que son recours soit doté de l'effet suspensif et demande d'être mis au bénéfice de l'assistance judiciaire. Il fait valoir en substance qu'en vertu de la jurisprudence relative à l'<ref-law>, les limites posées à la libre circulation des personnes doivent s'interpréter de manière restrictive et qu'il ne présente pas une menace actuelle pour l'ordre public.
L'autorité précédente renonce à se déterminer sur le recours, de même que le Service cantonal, tandis que l'Office fédéral des migrations conclut à son rejet.
Par ordonnance présidentielle du 10 juin 2011, la requête d'effet suspensif a été admise.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral, ni le droit international ne donnent droit. D'après la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte (<ref-ruling> consid. 1.1 p. 179).
En principe, le droit de séjour et d'accès à une activité économique est garanti en vertu des <ref-law> et 2 annexe I ALCP. Ressortissant portugais, le recourant peut se prévaloir de l'ALCP et a ainsi potentiellement droit à une autorisation de séjour, de sorte que le présent recours est recevable au regard de l'art. 83 let. c ch. 2 LTF.
1.2 Les autres conditions de la recevabilité étant réunies, il y a lieu d'entrer en matière.
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), et aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>). Partant, les requêtes visant au dépôt de pièces et à l'administration de mesures d'instruction complémentaires sont irrecevables.
2. Aux termes de son art. 2 al. 2, la loi fédérale sur les étrangers n'est applicable aux ressortissants des États membres de la Communauté européenne, aux membres de leur famille et aux travailleurs détachés par un employeur ayant son siège ou son domicile dans un de ces États, que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsque la LEtr prévoit des dispositions plus favorables.
Selon les <ref-law> et 2 annexe I ALCP, les ressortissants d'une partie contractante ont le droit de séjourner et d'exercer une activité économique sur le territoire de l'autre partie contractante. Comme l'ensemble des droits octroyés par l'ALCP, le droit de séjour ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law>, dont le cadre et les modalités sont définis par les trois directives citées - dont la plus importante est la directive 64/221/CEE -, ainsi que par la jurisprudence y relative de la Cour de justice des Communautés européennes (ci-après: la Cour de justice ou CJCE) rendue avant la signature de l'accord le 21 juin 1999 (cf. <ref-law> en relation avec l'<ref-law>; au sujet de la prise en considération des arrêts de la Cour de justice postérieurs à cette date, cf. <ref-ruling> consid. 4.2 p. 20; <ref-ruling> consid. 3.6 p. 9 ss, 113 consid. 5.2 p. 119 s. et les références citées).
Conformément à la jurisprudence de la Cour de justice, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'"ordre public" pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (cf. ATF <ref-ruling>76 consid. 3.4.1 p. 182; <ref-ruling> consid. 7.3 p. 222 et les arrêts cités de la CJCE). Des motifs de prévention générale détachés du cas individuel ne sauraient donc les justifier (ATF <ref-ruling>76 consid. 3.4.1 p. 183, <ref-ruling> consid. 7.1 p. 221 et l'arrêt cité de la CJCE du 26 février 1975 67/74 Bonsignore, Rec. 1975 p. 297 points 6 et 7). D'après l'art. 3 par. 2 de la directive 64/221/CEE, la seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Les autorités nationales sont tenues de procéder à une appréciation spécifique, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas nécessairement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne peuvent être prises en considération que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling> consid. 4.2 p. 20; <ref-ruling>76 consid. 3.4.1 p. 183 s.; <ref-ruling> consid. 7.4 p. 222 et les arrêts cités de la CJCE; cf. également <ref-ruling> consid. 4.3 p. 24 qui souligne le "rôle déterminant" du risque de récidive). Selon les circonstances, la jurisprudence admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (ATF <ref-ruling>76 consid. 3.4.1 p. 183 s. et l'arrêt cité de la CJCE du 27 octobre 1977 C-30/77 Bouchereau, Rec. 1977 p. 1999 point 29). Dans ce cas, il ne doit pas être établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque ne doit, en réalité, pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée (<ref-ruling> consid. 3.3 p. 499 s.). L'évaluation du risque de récidive sera d'autant plus rigoureuse que le bien juridique menacé est important (cf. <ref-ruling> consid. 4.2 p. 20; <ref-ruling>76 consid. 4.3.1 p. 185 s.).
3. Le recourant a été condamné en 2007 pour une infraction contre le domaine privé et en 2010 pour des atteintes à l'intégrité corporelle, à la liberté et à l'intégrité sexuelle et violation grave des règles de la circulation, bénéficiant d'un sursis à chaque condamnation.
Dans le cas particulier, les infractions jugées en 2010 ont été commises par le recourant dans le cadre de sa séparation d'avec son ex-épouse. Le jugement pénal a d'ailleurs reconnu une culpabilité sensiblement atténuée du recourant en raison de l'attitude ambiguë de la victime. Si les experts n'ont pas exclu un risque de récidive dans leur rapport complémentaire du 12 mars 2010, ils l'ont mis en corrélation étroite avec la survenance de facteurs contextuels similaires à ceux ayant entouré les faits reprochés au recourant. Ces éléments conduisent à relativiser dans une certaine mesure la gravité du comportement incriminé au regard de la menace que le recourant représente pour l'ordre public.
A ces motifs s'ajoute le fait que, malgré la gravité des faits reprochés, le recourant a été mis au bénéfice d'un sursis par le Tribunal correctionnel du canton de Vaud retenant que l'exécution de la peine n'était pas nécessaire pour le détourner de commettre d'autres crimes et délits. De plus, les infractions, qui s'inscrivent dans une période comprise entre début 2004 et mai 2005, remontent à plus de six ans. Depuis lors, le recourant semble avoir retrouvé une certaine stabilité affective auprès de sa nouvelle compagne, avec laquelle il aurait eu un enfant. La stabilité psychologique du recourant a pour sa part été mise en évidence par les experts. Le Tribunal pénal a, en conséquence, renoncé à assortir le sursis de la condition que le recourant suive un traitement psychiatrique ambulatoire, jugeant que cela n'était pas indispensable.
Le recourant est par ailleurs financièrement autonome, et en outre apprécié par son employeur et ses collègues. Il est donc professionnellement intégré. Il a certes des dettes, mais ces dernières ne jouent pas le même rôle du point de vue de l'ALCP que sous l'angle de l'art. 8 CEDH (cf. à ce sujet <ref-ruling> c. 5 p. 351) ou de la LEtr (cf. notamment art. 62 let. e LEtr).
S'il est vrai que la condamnation à une peine privative de liberté de quinze mois est considérée par la jurisprudence du Tribunal fédéral comme une peine de longue durée au sens de l'art. 62 let. b LEtr, autorisant l'autorité compétente à révoquer une autorisation de séjour, respectivement à refuser la délivrance d'une telle autorisation, la LEtr n'est pas applicable dans le cas d'espèce, dans la mesure où les conditions de limitation du droit au séjour posées par l'ALCP examinées ci-dessus, qui ne considèrent pas en tant que telle la longueur de la peine, mais la menace concrète que l'auteur de l'infraction représente pour l'ordre public, sont plus favorables au recourant (art. 2 al. 2 LEtr; cf. les arrêts du Tribunal fédéral 2C_412/2009 du 9 mars 2010 et 2C_15/2009 du 17 juin 2009, où les condamnations excédaient également la durée d'une année).
Au vu de ce qui précède, il y a lieu d'admettre, conformément à la jurisprudence selon laquelle les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive, que le recourant ne représente pas, en l'état, une menace suffisamment grave pour justifier une mesure d'ordre public au sens de l'<ref-law> et de la directive 64/221/CEE.
Il convient toutefois de souligner que s'il devait récidiver, le recourant s'exposerait avec une grande vraisemblance à des mesures d'éloignement.
4. Vu ce qui précède, le recours doit être admis, la décision attaquée annulée et la cause renvoyée au Service cantonal pour qu'il délivre l'autorisation de séjour sollicitée.
Il n'y a pas lieu de percevoir de frais de justice (cf. <ref-law>).
Succombant, le canton de Vaud versera au recourant une indemnité à titre de dépens (cf. <ref-law>).
Dans ces conditions, la demande d'assistance judiciaire du recourant est sans objet.
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure accomplie devant elle.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt du Tribunal cantonal du canton de Vaud du 5 mai 2011 est annulé et la cause renvoyée au Service de la population du canton de Vaud pour qu'il délivre une autorisation de séjour au recourant.
2. La demande d'assistance judiciaire est sans objet.
3. La cause est renvoyée au Tribunal cantonal du canton de Vaud afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure accomplie devant lui.
4. Il n'est pas perçu d'émolument judiciaire.
5. Le canton de Vaud versera au recourant une indemnité de 2'000 fr. à titre de dépens.
6. Le présent arrêt est communiqué à la mandataire du recourant, au Service cantonal et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 13 décembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Cavaleri Rudaz