Faits : A. X._, né en 1984, ressortissant portugais, est entré en Suisse le 19 septembre 1985. Il a obtenu une autorisation d'établissement UE/AELE. Son père, sa belle-mère et ses deux demi-frères vivent en Suisse. Il est célibataire et a un fils, A.Y._, ressortissant suisse né en 2006 qu'il a eu avec son ex-concubine B.Y._, ressortissante suisse, et qu'il a reconnu le 21 mai 2008. Les 21 et 28 juillet 2008, X._, B.Y._ et A.Y._, représenté par sa curatrice, ont conclu une convention d'entretien, approuvée le 19 août 2008 par la Justice de paix du district de Lausanne, selon laquelle X._ contribuerait à l'entretien de son fils par le versement d'une pension alimentaire mensuelle. Il ressort de cette convention que A.Y._ est sous l'autorité parentale de sa mère. Après sa scolarité obligatoire, X._ a suivi une dixième année d'école, avant d'occuper pendant quelques années des emplois fixes. Il a ensuite enchaîné divers emplois temporaires et perçu en parallèle l'aide sociale. En automne 2010, il a développé avec un ami une société active dans le domaine musical, qui commençait à peine à démarrer lors de son incarcération. Selon l'attestation du Centre social régional de l'Ouest lausannois du 22 février 2010, X._ a bénéficié du revenu minimum de réinsertion du 1er février 1998 au 31 décembre 1999, de l'aide sociale vaudoise du 1er février 2000 au 31 août 2001, du 1er au 31 octobre 2001 et du 1er janvier 2004 au 31 octobre 2005 ainsi que du revenu d'insertion (RI) du 1er juin 2007 au 31 décembre 2008. Selon l'attestation du Service de prévoyance et d'aide sociale du 15 mars 2010, X._ résidait alors dans une pension depuis le 8 mars 2010, service qui garantissait ses frais de pension et ses frais annexes, l'intéressé n'ayant ni ressources ni fortune. Le 12 mars 2011, X._ a été mis en détention préventive. Il a fait l'objet des condamnations pénales suivantes: - amende de 400 fr. avec sursis pendant deux ans pour délit à la loi fédérale sur les armes prononcée le 30 mars 2006 par le juge d'instruction de Fribourg; - peine privative de liberté de cinq ans, sous déduction de 468 jours de détention avant jugement, et amende de 200 fr., la peine privative de liberté de substitution en cas de non paiement fautif de l'amende étant fixée à deux jours, pour vol, tentative de brigandage qualifié, brigandage qualifié, dommages à la propriété, violation de domicile, tentative d'instigation à faux témoignage, faux rapport, fausse traduction en justice, infraction et contravention à la loi fédérale sur les stupéfiants, prononcée le 12 novembre 2012 par la Cour d'appel pénale du Tribunal cantonal, suite au recours déposé par le Ministère public contre le jugement du Tribunal criminel de l'arrondissement de Lausanne du 21 juin 2012 qui avait condamné le prénommé pour les mêmes infractions à une peine privative de liberté de quatre ans, sous déduction de 468 jours de détention avant jugement, et à une amende de 200 fr., la peine privative de liberté de substitution en cas de non paiement fautif de l'amende étant fixée à deux jours. Par décision du 27 juin 2014, le Chef du Département de l'économie et du sport a révoqué l'autorisation d'établissement de X._, prononcé son renvoi de Suisse et lui a imparti un délai immédiat pour quitter la Suisse, dès sa libération, conditionnelle ou non. Le 4 juillet 2014, X._ a interjeté recours auprès du Tribunal cantonal du canton de Vaud contre la décision du Chef du Département de l'économie et du sport du 27 juin 2014, Par ordonnance du 8 juillet 2014, le juge d'application des peines a libéré conditionnellement X._ à compter du 11 juillet 2014, a fixé à un an, huit mois et un jour la durée du délai d'épreuve imparti au condamné et ordonné une assistance de probation pendant la durée du délai d'épreuve, à charge pour l'Office d'exécution des peines de la mettre en oeuvre. Selon une attestation du 11 août 2014 de la directrice du Foyer C._, A.Y._ nécessitait une prise en charge éducative spécialisée et devait être placé en foyer dès la rentrée scolaire. Le renvoi de son père risquerait de péjorer son évolution et de constituer un traumatisme important, ce que le curateur depuis 2011 de la mère confirmait ainsi qu'un assistant social du Service de protection de la jeunesse. Le 26 août 2014, A.Y._ a interjeté recours auprès du Tribunal cantonal du canton de Vaud contre la décision du Chef du Département de l'économie et du sport du 27 juin 2014. B. Par arrêt du 15 octobre 2014, le Tribunal cantonal du canton de Vaud a rejeté le recours. Le Département de l'économie et du sport avait considéré à bon droit que l'intéressé tombait sous le coup de l'art. 5 al. 1 annexe I ALCP, fondant la révocation de son autorisation d'établissement. La vie à l'intérieur d'un établissement pénitentiaire ne pouvait pas être comparée à la vie à l'extérieur, pour ce qui était des possibilités de retomber dans la délinquance. Enfin, l'intéressé ne pouvait pas se prévaloir du comportement irréprochable nécessaire à la reconnaissance du respect de sa vie privée et familiale en lien avec son fils. Rien ne s'opposait à ce que la mère et leur fils lui rendent visite au Portugal, pays européen, ou, à tout le moins, que tous trois entretiennent régulièrement des contacts à distance. Si la présence de son père apparaissait nécessaire à tous les professionnels qui s'occupent de A.Y._, ce dernier pouvait cependant, grâce justement à la prise en charge éducative importante dont il fait actuellement l'objet, être soutenu, outre par sa mère et ses grands-parents, par les éducateurs qui l'entourent, ces derniers pouvant l'aider à faire face au départ de son père. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt rendu le 15 octobre 2014 par le Tribunal cantonal du canton de Vaud en ce sens que son autorisation d'établissement est maintenue respectivement prolongée. Il se plaint de l'établissement des faits et de l'appréciation des preuves ainsi que de la violation des art. 5 Annexe I ALCP et 8 CEDH. Il demande l'effet suspensif ainsi que l'assistance judiciaire. Le Service cantonal de la population, le Département de l'économie et du sport et le Tribunal cantonal du canton de Vaud renoncent à déposer des observations. Le Secrétariat aux migrations propose le rejet du recours. Par courrier du 10 février 2015, l'intéressé a été invité à répliquer.