Faits: A. Ressortissant du Portugal, né en 1962, X._ a travaillé à deux reprises en Suisse au bénéfice d'autorisations frontalières qui lui ont été délivrées en 2001 et en 2002. Par la suite, il a bénéficié d'une autorisation de séjour valable du 5 mars 2003 au 19 janvier 2008. A deux reprises, X._ a été dénoncé aux autorités pénales, au motif qu'entre le début de l'année 2004 et mai 2005, il s'en était plusieurs fois pris à son épouse Y._, dont il vivait séparé. Il l'avait ainsi régulièrement menacée, avant de s'en prendre physiquement à elle, usant de la violence par deux fois pour la contraindre à subir un acte d'ordre sexuel. A cela s'ajoute que, dans l'un de ces cas, il avait retenu sa victime prisonnière. Il avait en outre menacé un collègue de travail qu'il croyait être l'amant de son épouse. Le 19 mai 2010, à la suite, notamment, d'une plainte de Y._, le Tribunal correctionnel de l'arrondissement de Lausanne l'a condamné pour lésions corporelles simples qualifiées, menaces, séquestration et enlèvement, contrainte sexuelle et violation grave des règles de la circulation, à une peine privative de liberté de quinze mois, sous déduction de 36 jours de détention avant jugement, avec sursis pendant quatre ans. Cette peine était complémentaire par rapport à celle prononcée par le Juge d'instruction de l'arrondissement de Lausanne le 29 mai 2007, pour utilisation abusive d'une installation de télécommunication et menaces, le condamnant à une peine pécuniaire de cinq jours-amende avec sursis pendant deux ans et à une amende de 200 fr. Depuis 2006, X._ a travaillé de façon irrégulière dans plusieurs entreprises du canton de Vaud. D'octobre à décembre 2006, puis d'avril à mai 2007, il a bénéficié du revenu d'insertion. Il a été déclaré inapte au placement à compter du 4 septembre 2007. Depuis mai 2008, il a travaillé comme grutier chez A._ SA, à B._, d'abord dans le cadre d'une mission temporaire, puis sous contrat de durée indéterminée. Par jugement du 26 novembre 2008, le Président du Tribunal civil de l'arrondissement de Lausanne a prononcé son divorce d'avec Y._. Selon ses explications, telles que retenues par le Tribunal correctionnel dans son jugement du 19 mai 2010, X._ aurait contracté des dettes pour un montant de 40'000 fr. Il est toutefois relativement autonome financièrement et occupe depuis 2008 une position stable chez un employeur qui l'apprécie, tout comme ses collègues de travail, tant pour son comportement, que pour son caractère et son professionnalisme. X._ vit désormais avec une ressortissante brésilienne qu'il envisagerait d'épouser, et dont il aurait eu un enfant. B. X._ a requis le renouvellement de son autorisation de séjour le 22 juillet 2008. Le 25 mai 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé de renouveler son autorisation de séjour, décision contre laquelle X._ a recouru. Par arrêt du 5 mai 2011, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours. Se fondant sur l'art. 5 annexe I de l'accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP, RS 0.142.112.681), la Cour cantonale a conclu que les conditions de l'octroi d'une autorisation de séjour n'étaient pas réalisées. En effet, la condamnation à une peine privative de liberté de quinze mois avec sursis pendant quatre ans dépassait le seuil d'une année à partir duquel une peine privative de liberté est réputée de longue durée et susceptible de justifier une révocation d'une autorisation de police des étrangers au sens de l'art. 62 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr, RS 142.20). De plus, la Cour a retenu d'un rapport complémentaire d'expertise de 2010 rendu dans le cadre de la procédure pénale, que si les experts sollicités avaient mis en évidence la stabilité psychologique actuelle de X._, ils avaient confirmé leur appréciation précédente du risque de récidive en corrélation étroite avec la survenance de facteurs contextuels similaires à ceux ayant entouré les faits reprochés à ce dernier. La Cour a retenu que la menace que X._ représentait pour l'ordre public était toujours présente, de sorte que c'était à bon droit que l'autorisation de séjour requise n'avait pas été délivrée. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 5 mai 2011 et de renvoyer la cause au Service cantonal pour qu'il lui délivre une autorisation de séjour. Il requiert également que son recours soit doté de l'effet suspensif et demande d'être mis au bénéfice de l'assistance judiciaire. Il fait valoir en substance qu'en vertu de la jurisprudence relative à l'art. 5 annexe I ALCP, les limites posées à la libre circulation des personnes doivent s'interpréter de manière restrictive et qu'il ne présente pas une menace actuelle pour l'ordre public. L'autorité précédente renonce à se déterminer sur le recours, de même que le Service cantonal, tandis que l'Office fédéral des migrations conclut à son rejet. Par ordonnance présidentielle du 10 juin 2011, la requête d'effet suspensif a été admise.