Faits : A. X._, ressortissant portugais né en 1989, a rejoint ses parents en Suisse en 1999 et a été mis au bénéfice d'une autorisation de séjour, puis d'une autorisation d'établissement. Après sa scolarité obligatoire, il n'a pas trouvé de place d'apprentissage et a effectué plusieurs stages, comme peintre en bâtiment et carreleur notamment. Il n'a pas acquis de formation. Il est père d'un enfant, né le 12 mai 2008 de sa liaison avec Y._ avec laquelle il a vécu de 2001 à novembre 2009. Il a été condamné : - le 2 novembre 2006, à trente jours de détention pour lésions corporelles simples, appropriation illégitime, vol, recel, violation de domicile, défaut d'avis en cas de trouvaille, vol d'usage, circulation sans permis de conduire, circulation sans permis de circulation ou plaques de contrôle, circulation sans assurance responsabilité civile, usage abusif de permis ou de plaques, contravention à la loi fédérale sur le transport public, infraction et contravention à la loi fédérale sur les stupéfiants. - le 16 juillet 2010, à une peine privative de liberté de douze mois, avec sursis pendant trois ans, et à une amende de 500 fr. pour brigandage, violation simple des règles de la circulation, vol d'usage, circulation sans permis de conduire et contravention à la loi fédérale sur les stupéfiants. Les faits se sont produits entre juillet 2007 et novembre 2008. Pour fixer la peine, le tribunal correctionnel a souligné que l'intéressé avait agi "avec une rapidité et une détermination inquiétantes" et qu'il avait fait preuve d'une "absence totale d'empathie" envers ses victimes. - le 22 mai 2013, à une peine privative de liberté de 35 mois, à une peine pécuniaire de 30 jours-amende à 30 fr., ainsi qu'à une amende de 810 fr. pour voies de faits qualifiées, brigandage, menaces qualifiées, violation grave des règles de la circulation, conduite en état d'ébriété qualifiée, conduite en état d'incapacité, circulation sans permis de conduire, circulation malgré un retrait du permis de conduire, circulation sans permis de circulation ou sans autorisation, conduite d'un véhicule non couvert par une assurance responsabilité civile et contravention à la loi fédérale sur les stupéfiants. Les faits se sont produits entre mai 2009 pour les premières menaces et voies de fait à avril 2012 pour le brigandage. Pour fixer la peine, le tribunal correctionnel a retenu une très lourde culpabilité et s'est fondé sur le rapport psychiatrique du 7 novembre 2012, selon lequel le risque de récidive était élevé compte tenu de l'absence d'étayage socio-professionnel structurant, des diverses addictions de l'intéressé, de son trouble de la personnalité dyssociale, qui engendrait une incapacité d'élaboration et de remise en question, ainsi que de ses difficultés et de sa non-volonté de s'inscrire dans un projet psycho-socio-professionnel. Incarcéré depuis le 13 avril 2012, l'intéressé a été libéré conditionnellement le 30 juin 2014. Cette libération conditionnelle a été assortie d'une assistance de probation; l'intéressé a par ailleurs été astreint, pendant la durée du délai d'épreuve, à des contrôles réguliers d'abstinence aux produits stupéfiants. Durant sa détention, il a entrepris une formation dans le domaine de la cuisine. A sa sortie de prison, l'intéressé a travaillé comme serveur. Par décision du 20 juin 2014, le Chef du Département de l'économie et du sport a révoqué l'autorisation d'établissement de X._ et a prononcé son renvoi de Suisse. Le 21 juillet 2014, l'intéressé a recouru contre cette décision auprès du Tribunal cantonal du canton de Vaud. De l'instruction du recours par le Tribunal cantonal, il ressort que l'intéressé vit en ménage avec une ressortissante portugaise titulaire d'une autorisation d'établissement, qu'il exerce son droit de visite sur son premier enfant mais ne paie pas de pension à sa mère, qu'il vient de perdre son emploi et qu'il n'a pas complètement cessé de consommer de la drogue selon les rapports de contrôle. B. Par arrêt du 20 février 2015, le Tribunal cantonal a rejeté le recours de X._. Il a jugé en substance que les condamnations à trois reprises, en dernier lieu à une peine privative de liberté de 35 mois de l'intéressé, tombaient sous le coup des art. 62 let. b et 63 al. 1 let. b LEtr. Son passé judiciaire, ses addictions, qui n'étaient pas révolues, et les conclusions du rapport d'expertise du 7 novembre 2012 démontraient que le risque de récidive restait important et d'actualité de sorte qu'il présentait une menace actuelle et réelle pour l'ordre public, justifiant une mesure de limitation de son droit de séjour en application de l'art. 5 annexe I ALCP. Sa situation personnelle, familiale récente et professionnelle n'empêchait pas un retour au Portugal. La révocation de l'autorisation d'établissement de l'intéressé ne portait dès lors pas atteinte au principe de proportionnalité, ni ne consacrait une violation de l'art. 8 CEDH. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral de réformer l'arrêt rendu le 20 février 2015 en ce sens qu'il reste au bénéfice d'une autorisation d'établissement, un avertissement étant prononcé à son encontre. Il demande l'effet suspensif et l'octroi de l'assistance judiciaire. Par ordonnance du 8 avril 2015, le Président de la IIe Cour de droit public a accordé l'effet suspensif. Le Tribunal cantonal et le Département de l'économie et du sport du canton de Vaud s'en tiennent aux considérants de l'arrêt attaqués. Le Secrétariat d'Etat aux migrations conclut au rejet du recours. Un droit de réplique a été accordé.