Faits :
A.
X._, né en 1984, ressortissant portugais, est entré en Suisse le 19 septembre 1985. Il a obtenu une autorisation d'établissement UE/AELE. Son père, sa belle-mère et ses deux demi-frères vivent en Suisse. Il est célibataire et a un fils, A.Y._, ressortissant suisse né en 2006 qu'il a eu avec son ex-concubine B.Y._, ressortissante suisse, et qu'il a reconnu le 21 mai 2008. Les 21 et 28 juillet 2008, X._, B.Y._ et A.Y._, représenté par sa curatrice, ont conclu une convention d'entretien, approuvée le 19 août 2008 par la Justice de paix du district de Lausanne, selon laquelle X._ contribuerait à l'entretien de son fils par le versement d'une pension alimentaire mensuelle. Il ressort de cette convention que A.Y._ est sous l'autorité parentale de sa mère.
Après sa scolarité obligatoire, X._ a suivi une dixième année d'école, avant d'occuper pendant quelques années des emplois fixes. Il a ensuite enchaîné divers emplois temporaires et perçu en parallèle l'aide sociale. En automne 2010, il a développé avec un ami une société active dans le domaine musical, qui commençait à peine à démarrer lors de son incarcération. Selon l'attestation du Centre social régional de l'Ouest lausannois du 22 février 2010, X._ a bénéficié du revenu minimum de réinsertion du 1er février 1998 au 31 décembre 1999, de l'aide sociale vaudoise du 1er février 2000 au 31 août 2001, du 1er au 31 octobre 2001 et du 1er janvier 2004 au 31 octobre 2005 ainsi que du revenu d'insertion (RI) du 1er juin 2007 au 31 décembre 2008. Selon l'attestation du Service de prévoyance et d'aide sociale du 15 mars 2010, X._ résidait alors dans une pension depuis le 8 mars 2010, service qui garantissait ses frais de pension et ses frais annexes, l'intéressé n'ayant ni ressources ni fortune.
Le 12 mars 2011, X._ a été mis en détention préventive. Il a fait l'objet des condamnations pénales suivantes:
- amende de 400 fr. avec sursis pendant deux ans pour délit à la loi fédérale sur les armes prononcée le 30 mars 2006 par le juge d'instruction de Fribourg;
- peine privative de liberté de cinq ans, sous déduction de 468 jours de détention avant jugement, et amende de 200 fr., la peine privative de liberté de substitution en cas de non paiement fautif de l'amende étant fixée à deux jours, pour vol, tentative de brigandage qualifié, brigandage qualifié, dommages à la propriété, violation de domicile, tentative d'instigation à faux témoignage, faux rapport, fausse traduction en justice, infraction et contravention à la loi fédérale sur les stupéfiants, prononcée le 12 novembre 2012 par la Cour d'appel pénale du Tribunal cantonal, suite au recours déposé par le Ministère public contre le jugement du Tribunal criminel de l'arrondissement de Lausanne du 21 juin 2012 qui avait condamné le prénommé pour les mêmes infractions à une peine privative de liberté de quatre ans, sous déduction de 468 jours de détention avant jugement, et à une amende de 200 fr., la peine privative de liberté de substitution en cas de non paiement fautif de l'amende étant fixée à deux jours.
Par décision du 27 juin 2014, le Chef du Département de l'économie et du sport a révoqué l'autorisation d'établissement de X._, prononcé son renvoi de Suisse et lui a imparti un délai immédiat pour quitter la Suisse, dès sa libération, conditionnelle ou non.
Le 4 juillet 2014, X._ a interjeté recours auprès du Tribunal cantonal du canton de Vaud contre la décision du Chef du Département de l'économie et du sport du 27 juin 2014,
Par ordonnance du 8 juillet 2014, le juge d'application des peines a libéré conditionnellement X._ à compter du 11 juillet 2014, a fixé à un an, huit mois et un jour la durée du délai d'épreuve imparti au condamné et ordonné une assistance de probation pendant la durée du délai d'épreuve, à charge pour l'Office d'exécution des peines de la mettre en oeuvre.
Selon une attestation du 11 août 2014 de la directrice du Foyer C._, A.Y._ nécessitait une prise en charge éducative spécialisée et devait être placé en foyer dès la rentrée scolaire. Le renvoi de son père risquerait de péjorer son évolution et de constituer un traumatisme important, ce que le curateur depuis 2011 de la mère confirmait ainsi qu'un assistant social du Service de protection de la jeunesse.
Le 26 août 2014, A.Y._ a interjeté recours auprès du Tribunal cantonal du canton de Vaud contre la décision du Chef du Département de l'économie et du sport du 27 juin 2014.
B.
Par arrêt du 15 octobre 2014, le Tribunal cantonal du canton de Vaud a rejeté le recours. Le Département de l'économie et du sport avait considéré à bon droit que l'intéressé tombait sous le coup de l'<ref-law>, fondant la révocation de son autorisation d'établissement. La vie à l'intérieur d'un établissement pénitentiaire ne pouvait pas être comparée à la vie à l'extérieur, pour ce qui était des possibilités de retomber dans la délinquance. Enfin, l'intéressé ne pouvait pas se prévaloir du comportement irréprochable nécessaire à la reconnaissance du respect de sa vie privée et familiale en lien avec son fils. Rien ne s'opposait à ce que la mère et leur fils lui rendent visite au Portugal, pays européen, ou, à tout le moins, que tous trois entretiennent régulièrement des contacts à distance. Si la présence de son père apparaissait nécessaire à tous les professionnels qui s'occupent de A.Y._, ce dernier pouvait cependant, grâce justement à la prise en charge éducative importante dont il fait actuellement l'objet, être soutenu, outre par sa mère et ses grands-parents, par les éducateurs qui l'entourent, ces derniers pouvant l'aider à faire face au départ de son père.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 15 octobre 2014 par le Tribunal cantonal du canton de Vaud en ce sens que son autorisation d'établissement est maintenue respectivement prolongée. Il se plaint de l'établissement des faits et de l'appréciation des preuves ainsi que de la violation des <ref-law> et 8 CEDH. Il demande l'effet suspensif ainsi que l'assistance judiciaire.
Le Service cantonal de la population, le Département de l'économie et du sport et le Tribunal cantonal du canton de Vaud renoncent à déposer des observations. Le Secrétariat aux migrations propose le rejet du recours. Par courrier du 10 février 2015, l'intéressé a été invité à répliquer.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En sa qualité de ressortissant portugais, le recourant peut prétendre à un titre de séjour en Suisse, en vertu de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Accord sur la libre circulation des personnes, ALCP; RS 0.142.112.681; cf. <ref-ruling> consid. 1.1 p. 179 s.; <ref-ruling> consid. 4 p. 258 ss). Il invoque également un droit à la protection de la vie de famille tiré de l'art. 8 CEDH. La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. Partant, la voie du recours en matière de droit public est ouverte.
1.2. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
Le recourant se plaint d'arbitraire dans l'établissement des faits.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450). Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379; <ref-ruling> consid. 2.4 p. 5).
Lorsque la partie recourante - comme c'est le cas en l'espèce - s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 2.1 p. 9).
2.2. Le recourant soutient que l'instance précédente est tombée dans l'arbitraire en considérant qu'il présente "un risque non négligeable de récidive", qu'il a "fait preuve d'une certaine propension à transgresser la loi", que "les bonnes relations qu'il entretient avec son fils ne l'ont pas empêché de commettre de graves infractions" et qu' "il n'occupe par ailleurs actuellement aucun emploi et ne dispose d'aucune sources de revenu, ce qui ne laisse pas d'inquiéter". Ces constatations seraient contraires aux pièces du dossier et leur rectification serait de nature à modifier l'appréciation de sa situation sous l'angle du risque de récidive
Il ressort des faits retenus dans l'arrêt attaqué que le recourant a été condamné pénalement deux fois pour des actes commis en 2006 et six brigandages en 2011: Les brigandages ont été commis alors qu'il avait déjà reconnu son fils. Il n'est par conséquent pas insoutenable de considérer qu'il a fait preuve d'une certaine propension à transgresser la loi malgré les relations qu'il entretenait avec son fils. Il est certes vrai que le recourant a obtenu une libération conditionnelle le 8 juillet 2014 prononcée par le Juge d'application des peines. Il est exact aussi que deux témoignages écrits tendent à confirmer les souhaits du recourant de se réinsérer dans la société. Il n'en demeure pas moins que le Juge d'application des peines a tenu compte du fait que la libération conditionnelle pouvait exercer un effet dissuasif, d'une part, et d'autre part que le recourant n'avait pas trouvé de travail et qu'il n'avait par conséquent pas de sources de revenu.
Dans ce contexte, dès lors que le mobile du recourant en 2001 était de gagner de l'argent rapidement et facilement, il n'est pas insoutenable de retenir que le régime de la libération conditionnelle, exerce encore une certaine contrainte sur l'attitude du recourant, comme l'admet du reste lui-même le Juge d'application des peines dans le cas d'espèce, et partant qu'il subsiste un risque non négligeable de récidive, le recourant n'ayant ni formation spécifique ni sources de revenu.
Le grief d'appréciation arbitraire des preuves est rejeté dans la mesure où il ne se confond pas avec des griefs de violation du droit fédéral s'agissant des allégations des chiffres 9 et 10 du mémoire de recours.
3.
3.1. La Loi sur les étrangers ne s'applique aux ressortissants des Etats membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables (art. 2 al. 2 LEtr). Comme l'ALCP ne réglemente pas la révocation de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. art. 23 al. 2 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses Etats membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [OLCP; RS 142.203]; arrêt 2C_473/2011 du 17 octobre 2011 consid. 2.1).
3.2. Aux termes de l'art. 63 al. 1 let. b LEtr, l'autorisation d'établissement peut être révoquée si l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse. Selon l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation notamment si l'étranger a été condamné à une peine privative de liberté de longue durée. Selon la jurisprudence, constitue une peine privative de longue durée au sens de cette disposition toute peine dépassant un an d'emprisonnement, indépendamment du fait qu'elle soit ou non assortie (en tout ou partie) du sursis (<ref-ruling> consid. 2.1 p. 147; <ref-ruling> consid. 5.1 p. 72).
3.3. Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law> (cf. <ref-ruling> consid. 3.4 p. 12 s.). Conformément à la jurisprudence rendue en rapport avec l'<ref-law>, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'"ordre public" pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle, d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3 p. 125 s. et les références citées). Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). A cet égard, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. <ref-ruling> consid. 5.3 p. 125 s.; <ref-ruling> consid. 3.3 p. 303 s.; arrêt 2C_862/2012 du 12 mars 2013 consid. 3.1).
4.
L'art. 8 par. 1 CEDH dispose que toute personne a droit au respect de sa vie privée et familiale, de son domicile et de sa correspondance. Selon la jurisprudence, le parent étranger qui n'a pas l'autorité parentale ni la garde de l'enfant ne peut d'emblée entretenir une relation familiale avec celui-ci que de manière limitée, en exerçant le droit de visite dont il bénéficie. Or, il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Sous l'angle du droit à une vie familiale (cf. art. 8 par. 1 CEDH et art. 13 al. 1 Cst.), il suffit en règle générale que le parent vivant à l'étranger exerce son droit de visite dans le cadre de séjours de courte durée, au besoin en aménageant ses modalités quant à la fréquence et à la durée (cf. <ref-ruling> consid. 3.2 p. 147 s. et les références). Selon la jurisprudence constante du Tribunal fédéral, un droit plus étendu ne peut le cas échéant exister qu'en présence de liens familiaux particulièrement forts d'un point de vue affectif et économique, lorsque cette relation ne pourrait pratiquement pas être maintenue en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, et que l'étranger a fait preuve en Suisse d'un comportement irréprochable (cf. <ref-ruling> consid. 3.2 p. 147 s. et les références).
5.
5.1. Il n'est pas contesté que le recourant remplit les conditions permettant de révoquer son autorisation d'établissement au sens des art. 63 al. 1 let. b et al. 2 ainsi que 62 let. b LEtr, du moment qu'il a été condamné à une peine privative de liberté de cinq ans.
5.2. Le recourant est d'avis que retenir un risque non négligeable de récidive ne répond pas à la condition exigeant un risque sérieux et concret et en particulier entraîne le prononcé d'une mesure à son encontre qui n'est pas nécessaire dans une société démocratique, en d'autres termes, qui n'est pas justifiée par un besoin social "impérieux", citant à cet égard l'arrêt de la Cour européenne des droits de l'homme (ci-après: CourEDH) Udeh contre Suisse du 16 avril 2013 (in Plaidoyer 2013/3 p. 58).
5.3. Sur ce point, le recourant perd de vue que l'instance précédente a qualifié, sans arbitraire d'ailleurs (cf. consid. 2.2 ci-dessus), le risque de non négligeable après un examen détaillé de l'ensemble des pièces du dossier et des témoignages, par rapport précisément aux exigences résultant de la jurisprudence en matière de libre circulation des personnes qu'elle a dûment et correctement exposée ainsi que cela résulte de la systématique de l'arrêt attaqué (cf. consid. 2a et b, p. 8 à 11). C'est à bon droit qu'elle a jugé que la situation du recourant, sous le régime de la libération conditionnelle, ne permet pas d'écarter le risque de récidive actuel et concret : cette situation exerce encore un effet de dissuasion ; une fois le régime de libération conditionnelle terminé, l'effet de dissuasion ne jouera plus le rôle de contrepoids aux difficultés du recourant ; sans emploi ni revenus ni compétences sociales et professionnelles particulières, le risque est bien réel qu'il constitue un danger pour l'ordre public puisque c'est précisément l'attrait pour les gains faciles et rapides qui ont été la cause de ses comportements criminels. Le grief de violation de l'<ref-law> est par conséquent rejeté.
5.4. Le recourant, qui a été condamné à une lourde peine de privation de liberté, ne peut prétendre conserver son autorisation d'établissement en invoquant la protection de la vie familiale qu'il entend conserver avec son fils. Il n'a en effet pas adopté un comportement irréprochable et ne dispose ni de l'autorité parentale ni d'un droit de garde ni même d'un droit de visite officiel à l'égard de son fils, auquel il n'est du reste pas en mesure de verser une pension d'entretien, comme l'exige la jurisprudence.
Tout au plus pourrait-il se prévaloir de la protection de sa vie privée au vu de la longue période pendant laquelle il a vécu en Suisse. Cette question peut toutefois rester ouverte au vu de la gravité des crimes commis et de la lourde peine de réclusion de cinq ans à laquelle il a été condamné : l'intérêt public à l'éloignement du recourant l'emporte sur la poursuite de son séjour en Suisse.
6.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chance de succès, la requête d'assistance judiciaire est rejetée (<ref-law>). Succombant, le recourant doit supporter les frais de justice devant le Tribunal fédéral (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais de justice, arrêtés à 1'000 fr. sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Département de l'économie et du sport, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, au Secrétariat d'Etat aux migrations ainsi qu'au Service de la population du canton de Vaud.
Lausanne, le 5 juin 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Dubey