Faits :
A.
A._, ressortissant portugais né en 1975, est arrivé en Suisse le 4 juillet 1987 à l'âge de 11 ans pour rejoindre ses parents qui y résidaient. Il a été mis au bénéfice d'une autorisation d'établissement. Il a poursuivi sa scolarité primaire en Suisse, ainsi que sa formation professionnelle. Il y a exercé différents emplois depuis 2003. Le 16 janvier 2002, A._ a eu une fille, de nationalité suisse.
Entre 2002 et 2009, A._ a été condamné à de nombreuses reprises.
- Par ordonnance du 18 février 2002, le Juge d'instruction de Lausanne l'a condamné, pour violation des règles de la circulation routière et conduite sans assurance responsabilité civile, à une peine de 5 jours d'emprisonnement avec sursis pendant 2 ans, ainsi qu'à une amende de 500 fr.
- Par jugement du 13 août 2003, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné, pour infraction à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), à une peine de 6 mois d'emprisonnement avec sursis pendant 3 ans.
- Par ordonnance du 26 novembre 2003, le Juge d'instruction de Lausanne l'a condamné, pour violation grave de la circulation routière, à une peine de 10 jours d'emprisonnement.
- Par ordonnance du 1er mai 2006, le Juge d'instruction de la Côte l'a condamné, pour violation des règles de la circulation routière et conduite sans permis de conduire ou malgré un retrait, à une peine d'emprisonnement de 20 jours avec sursis pendant 4 ans.
- Par jugement du 23 mai 2007, le Tribunal correctionnel de la Broye et du Nord vaudois l'a condamné, pour infraction à la LStup, à une peine de travail d'intérêt général de 160 heures et à une amende de 600 fr.
- Par ordonnance du 10 octobre 2007, le Juge d'instruction de la Côte l'a condamné, pour conduite sans permis de conduire ou malgré un retrait, à une peine pécuniaire de 40 jours-amende.
- Par ordonnance du 11 février 2008, le Juge d'instruction de Fribourg l'a condamné, pour violation d'une obligation d'entretien, à une peine pécuniaire de 20 jours-amende.
Le 9 octobre 2009, le Tribunal correctionnel de Lausanne a condamné A._, pour infraction à la LStup, à une peine privative de liberté de 4 ans et une amende de 500 fr. Il a été constaté que A._ était dépendant de l'héroïne qu'il consommait depuis près de 10 ans, que celui-ci avait acquis plus de 2 kilos d'héroïne, soit plus de 220 grammes d'héroïne pure, pour une somme totale de 72'000 fr. et qu'il en avait vendu les trois quart pour un montant de l'ordre de 165'000 fr. Le Tribunal a retenu une responsabilité légèrement diminuée, mais une culpabilité très lourde et notamment la circonstance aggravante du métier. A._ a vécu de son trafic sur une longue période. Sa peine a été suspendue au profit d'un traitement institutionnel pour toxicomane. L'intéressé a ainsi été placé en institution du 9 novembre 2009 au 30 septembre 2010, puis a été suivi de manière ambulatoire.
Le 8 octobre 2010, A._ s'est marié avec une ressortissante suisse qu'il connaissait depuis 18 ans. Un fils, de nationalité suisse, est né le 10 janvier 2011 de cette union.
Lors d'une audition le 12 décembre 2011 par la police cantonale, l'intéressé a expliqué vivre avec son épouse et son fils, suivre un traitement ambulatoire ainsi que des contrôles d'abstinence, voir sa fille toutes les deux semaines, travailler à 100 % comme opérateur dans un atelier de l'institution pour toxicomanes, faire l'objet de poursuites pour un montant de 100'000 fr. et avoir toutes ses attaches familiales en Suisse, à l'exception de ses parents résidant au Portugal. Dans un rapport du 12 avril 2013 destiné au Juge d'application des peines, l'institution dans laquelle l'intéressé était soigné a notamment mentionné que le 25 janvier 2013, il avait été constaté que A._ n'avait pas réussi à arrêter sa consommation d'héroïne et se procurait de la méthadone sans prescription. Cette institution a également relevé que l'intéressé avait perdu son emploi à la fin février 2013. Un nouveau contrôle effectué le 3 avril 2013 attestait cette fois d'une abstinence de trois semaines.
Par décision du 1 er mai 2013, notifiée le 7 mai 2013, le Chef du Département de l'économie et du sport du canton de Vaud (ci-après: le Département), sur proposition du Service de la population du canton de Vaud (ci-après: le Service de la population) a révoqué l'autorisation d'établissement de A._ et lui a imparti un délai immédiat pour quitter la Suisse. Ce dernier a recouru le 6 juin 2013 contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Durant la procédure, l'intéressé a notamment indiqué être au bénéfice d'un contrat de travail de durée indéterminée depuis le 1 er octobre 2013.
B.
Par arrêt du 19 décembre 2013, le Tribunal cantonal a rejeté le recours de l'intéressé et confirmé la décision du Département. Il a en substance retenu que l'intéressé, vu ses condamnations, remplissait les motifs permettant de révoquer son autorisation d'établissement et qu'il existait notamment un risque sérieux que A._ récidive, dès lors que celui-ci était un toxicomane bien inséré dans ce commerce. Pour le surplus, les juges cantonaux ont estimé que le renvoi de l'intéressé représentait une mesure proportionnée et que celle-ci ne contrevenait pas à l'art. 8 CEDH.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement d'annuler l'arrêt du 19 décembre 2013 du Tribunal cantonal et de renvoyer la cause pour nouvelle instruction et nouvelle décision, subsidiairement de confirmer, respectivement renouveler son autorisation d'établissement. Il se plaint d'établissement inexact des faits par l'autorité précédente ainsi que de violation de l'art. 5 al. 1 annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Accord sur la libre circulation des personnes, ALCP; RS 0.142.112.681) et de violation de l'art. 8 CEDH.
Par ordonnance du 7 février 2014, le Président de la II e Cour de droit public a admis la demande d'effet suspensif.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Département se rallie à la position du Tribunal cantonal. L'Office fédéral des migrations conclut au rejet du recours.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En sa qualité de ressortissant portugais, le recourant peut prétendre à un titre de séjour en Suisse, en vertu de l'ALCP (<ref-ruling> consid. 1.1 p. 179; <ref-ruling> consid. 4 p. 258 ss). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. Partant, la voie du recours en matière de droit public est ouverte.
1.2. Au surplus, déposé en temps utile (art. 46 al. 1 let. c et 100 al. 1 LTF) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), est recevable.
2.
Le recourant se plaint en premier lieu d'un établissement inexact des faits par l'autorité précédente. Il estime que celle-ci n'a pas correctement établi la date de son arrivée en Suisse, n'a pas apprécié à sa juste valeur la modification de sa situation personnelle et professionnelle depuis la commission des dernières infractions et n'a pas pris en compte l'existence de sa fille dans l'examen de la proportionnalité.
2.1. Selon l'<ref-law>, le recours peut critiquer les constatations de fait à la double condition que les faits aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> et que la correction du vice soit susceptible d'influer sur le sort de la cause, ce que la partie recourante doit rendre vraisemblable par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 1.2 p. 511). La notion de " manifestement inexacte " figurant à l'<ref-law> correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.2 p. 234). Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379; <ref-ruling> consid. 2.4 p. 5).
Lorsque la partie recourante s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 2.1 p. 9).
2.2. En l'occurrence, notamment quant à la question relative à la date de son entrée en Suisse, pour laquelle il ne fournit pas de motivation répondant aux exigences de l'<ref-law>, il faut constater que c'est de manière purement appellatoire que le recourant invoque l'arbitraire dans l'établissement des faits en substituant en réalité son appréciation à celle de l'instance précédente. Son recours, sur ce point, doit être déclaré irrecevable.
Pour le surplus, le recourant s'en prend plutôt à l'appréciation juridique des faits effectuée par l'autorité précédente (en particulier en rapport avec l'art. 8 CEDH), question sur laquelle il sera revenu ci-dessous.
3.
3.1. La loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) ne s'applique aux ressortissants des Etats membres de l'Union européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsqu'elle prévoit des dispositions plus favorables (art. 2 al. 2 LEtr). Comme l'ALCP ne réglemente pas la révocation de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. art. 23 al. 2 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses États membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [OLCP; RS 142.203]; arrêt 2C_473/2011 du 17 octobre 2011 consid. 2.1).
Aux termes de l'art. 63 al. 1 LEtr, l'autorisation d'établissement peut être révoquée si les conditions visées à l'art. 62 let. a ou b LEtr sont remplies (let. a) ou si l'étranger attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (let. b). Aux termes de l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation notamment si l'étranger a été condamné à une peine privative de liberté de longue durée. Selon la jurisprudence, constitue une peine privative de longue durée au sens de cette disposition toute peine dépassant un an d'emprisonnement, indépendamment du fait qu'elle soit ou non assortie (en tout ou partie) du sursis (<ref-ruling> consid. 4.2 p. 380 ss).
3.2. Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law>, dont le cadre et les modalités sont définis en particulier par la directive 64/221/CEE de la Communauté européenne du 25 février 1964 pour la coordination des mesures spéciales aux étrangers en matière de déplacement et de séjour justifiées par des raisons d'ordre public, de sécurité publique et de santé publique, ainsi que par la jurisprudence y relative de la Cour de justice des Communautés européennes, devenue la Cour de justice de l'Union européenne (ci-après: la Cour de justice), rendue avant la signature de l'Accord le 21 juin 1999 (cf. <ref-law> en relation avec l'<ref-law>; au sujet de la prise en considération des arrêts de la Cour de justice postérieurs à cette date, cf. <ref-ruling> consid. 5.3 p. 125 s. et les références citées).
Conformément à la jurisprudence rendue en rapport avec l'<ref-law>, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'" ordre public " pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). La seule existence d'antécédents pénaux ne permet donc pas de conclure (automatiquement) que l'étranger constitue une menace suffisamment grave pour l'ordre et la sécurité publics. Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle et d'une certaine gravité pour l'ordre public (cf. <ref-ruling> consid. 5.3 p. 125 s. et les références citées). Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). A cet égard, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation fédérale sur les stupéfiants (cf. <ref-ruling> consid. 5.3 p. 125 s. et les références citées), étant précisé que la commission d'infractions qui sont en étroite relation avec la toxicomanie du délinquant peuvent, selon les circonstances, atténuer cette position de principe (<ref-ruling> consid. 5.3 p. 125 s. et les références citées).
4.
4.1. Il n'est pas contesté que le recourant remplit, en particulier en rai-son de sa condamnation pénale de 2009 qui lui a valu une peine privative de liberté de quatre ans, les motifs permettant de révoquer son autorisation d'établissement, au sens des art. 63 al. 1 let. b et al. 2, ainsi que 62 let. b LEtr.
4.2. Le recourant conteste l'existence d'un risque de récidive. Il estime que sa situation professionnelle et personnelle s'est modifiée depuis 2009 et sa dernière condamnation. Il relève en particulier sa vie de famille et son activité professionnelle à plein temps. Il invoque en outre sa bonne intégration et le fait que la consommation d'héroïne constatée en début 2013 n'était qu'une rechute dans le processus de guérison d'une dépendance.
4.3. Arrivé en Suisse à l'âge de 11 ans en 1987, le recourant a été, dès 2002, condamné à huit reprises à des peines privatives de liberté, des peines d'emprisonnement et des peines pécuniaires successives qui, additionnées entre elles, avoisinent les cinq ans. Tant la multiplication des infractions que la durée totale des condamnations pénales confirment la gravité des actes perpétrés par le recourant. Parmi les infractions retenues figurent des infractions qui, selon la jurisprudence du Tribunal fédéral, représentent une atteinte très grave à la sécurité et à l'ordre publics (cf. arrêt 2C_117/2012 du 11 juin 2012 consid. 4.4.2; <ref-ruling> consid. 3.3 p. 303). C'est tout spécialement le cas de la condamnation à une peine privative de liberté de quatre ans d'octobre 2009 pour laquelle les juges pénaux avaient retenu la circonstance aggravante du métier ainsi qu'une culpabilité très lourde. Le trafic de drogue dans lequel le recourant était impliqué, faut-il le rappeler, portait sur plus de 2 kg d'héroïne. Si le recourant bénéficiait certes de son trafic pour assouvir sa consommation personnelle, il était bel et bien mû par l'appât du gain. Or, la jurisprudence se montre particulièrement sévère avec les ressortissants étrangers qui se livrent au trafic de drogue par appât du gain (cf. arrêts 2C_655/2011 du 7 février 2012 consid. 10.4; 2C_651/2009 du 1 er mars 2010 consid. 4.3).
Au vu de la gravité et de la fréquence des infractions commises, ainsi que de la longue carrière criminelle affichée par le recourant, il faut procéder à une évaluation spécialement rigoureuse du risque de récidive (cf. arrêt 2C_473/2011 précité, consid. 4.2). Le comportement passé du recourant a été tellement grave qu'il réunit déjà en soi les conditions permettant de retenir une tendance à maintenir ce comportement à l'avenir et, par là même, une menace actuelle pour l'ordre public, de sorte à justifier la limitation de la libre circulation de l'intéressé (cf. arrêt de la Cour de justice des Communautés européennes du 27 octobre 1977 C-30/77 La Reine c/ Bouchereau, Rec. 1977 p. 1999 points 28 à 30; <ref-ruling> consid. 3.4.1 p. 182 ss; arrêts 2C_800/2013 du 27 février 2014 consid. 3.3; 2C_1237/2012 du 22 avril 2013 consid. 4.3).
4.4. Le Tribunal fédéral s'est déjà prononcé quant au risque de récidive des étrangers criminels en détention ou en liberté conditionnelle. Il a notamment expliqué que la libération conditionnelle au sens de l'<ref-law> n'est pas décisive pour apprécier la dangerosité pour l'ordre public de celui qui en bénéficie et que la police des étrangers est libre de tirer ses propres conclusions à ce sujet (cf. <ref-ruling> consid. 4.3.3 p. 188). Le fait que l'étranger fasse preuve d'un comportement adéquat durant l'exécution de sa peine, y compris après avoir été placé aux arrêts domiciliaires, est généralement attendu de tout délinquant (cf. arrêts 2C_791/2013 du 22 octobre 2013 consid. 5; 2C_401/2012 du 18 septembre 2012 consid. 3.5.4; 2C_562/2011 du 21 novembre 2011 consid. 4.3.1); la vie à l'intérieur d'un établissement pénitentiaire ne saurait être comparée à la vie à l'extérieur, pour ce qui est des possibilités de retomber dans la délinquance (arrêt 2C_14/2010 du 15 juin 2010). De même, en raison du contrôle relativement étroit que les autorités pénales exercent sur l'étranger au cours de la période d'exécution de la peine, des conclusions tirées d'un tel comportement ne sauraient passer pour déterminantes, du point de vue du droit des étrangers, en vue d'évaluer la future attitude que l'intéressé adoptera après sa libération complète (cf. arrêts 2C_139/2013 du 11 juin 2013 consid. 7.1; 2C_562/2011 précité, consid. 4.3.1).
4.5. Le recourant a été condamné, par jugement du 9 octobre 2009, à une peine privative de liberté de quatre ans. Cette peine a été suspendue en faveur d'une mesure thérapeutique institutionnelle pour le traitement de son addiction à l'héroïne, conformément aux art. 57 al. 1 et 2 et 60 CP. Une telle mesure est ordonnée en particulier dès qu'il est à prévoir que le traitement détournera l'auteur d'autres infractions en relation avec son addiction (<ref-law>). Elle suppose que l'auteur présente une dangerosité telle qu'il est fortement à craindre qu'il commette de nouvelles infractions (cf. Viredaz/Thalmann, Introduction au droit des sanctions, 2013, n° 252 p. 102). Elle ne remplace cependant pas la peine, mais est prononcée en plus de celle-ci (cf. <ref-law>; Andrea Baechtold, Exécution des peines, 2008, n° 1 p. 282; Marianne Heer, in Basler Kommentar, Strafrecht I, 3 e éd. 2013, n° 1 ad <ref-law>). La durée de la privation de liberté entraînée par l'exécution de la mesure est imputée sur la durée de la peine (<ref-law>). Cela a pour conséquence que, si la durée de la privation de liberté entraînée par la mesure est inférieure à celle de la peine privative de liberté suspendue, le reste de la peine est exécuté (<ref-law>).
Partant, le recourant, dès sa mise en détention provisoire, était sous surveillance étroite des autorités et cela durant quatre ans, soit jusqu'en 2013 (détention provisoire, puis suivi institutionnel et ambulatoire). Il n'y a dès lors pas de raison de le traiter différemment d'un étranger qui serait en exécution de peine " ordinaire ", respectivement en liberté conditionnelle. Par conséquent, les développements qui précèdent s'appliquent aussi au cas du recourant (cf. consid. 3.3.2 ci-dessus), si bien qu'on ne peut tirer de conclusion (ni en sa faveur, ni en sa défaveur) du fait qu'il n'ait pas été à nouveau condamné depuis 2009. Que le recourant, comme il l'affirme, se soit bien comporté depuis cette période, qu'il se soit prétendument intégré et qu'il ait depuis peu un emploi n'est pas à ce point déterminant pour contrebalancer son comportement passé. Au contraire, étant en exécution de peine, un comportement adéquat était attendu de lui. Or, le fait qu'il ait, au moins à une reprise, continué sa consommation d'héroïne démontre que son traitement n'est pas encore arrivé à son terme et qu'il est à craindre qu'il commette de nouvelles infractions. En outre, en ayant fait l'objet de poursuites pour un montant de 100'000 fr., le recourant ne démontre pas un comportement qui plaide en faveur d'une intégration réussie et d'une facilité à se conformer aux règles.
4.6. L'arrêt querellé consacre une appréciation conforme à l'art. 63 al. 1 LEtr et à la pratique relative à l'<ref-law> du risque actuel pour l'ordre public suisse que représente le recourant. Compte tenu de la gravité et de la fréquence des infractions commises, ainsi que des circonstances précitées, ce risque de récidive doit en effet être considéré comme restant très important et d'actualité.
5.
Reste la proportionnalité de la mesure de révocation. Le recourant invoque à ce propos les art. 8 CEDH et 96 LEtr. Il faut ici mentionner que l'examen sous l'angle de l'art. 8 par. 2 CEDH se confond avec celui imposé par l'art. 96 LEtr (arrêt 2C_1125/2012 du 5 novembre 2013 consid. 3.1).
5.1. L'art. 8 par. 1 CEDH dispose que toute personne a droit au respect de sa vie privée et familiale, de son domicile et de sa correspondance. Le droit au respect de la vie privée et familiale garanti par cette disposition n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Le refus de prolonger une autorisation de séjour fondé sur l'art. 8 par. 2 CEDH suppose une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (cf. <ref-ruling> consid. 2.2 p. 147 s.; <ref-ruling> consid. 4.3 p. 381). Pour apprécier ce qui est équitable, l'autorité doit notamment tenir compte de la gravité de la faute commise par l'étranger, de la durée de son séjour en Suisse et du préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion. Normalement, en cas de peine d'au moins deux ans de détention, l'intérêt public à l'éloignement l'emporte sur l'intérêt privé - et celui de sa famille - à pouvoir rester en Suisse (cf. <ref-ruling> consid. 2.3 p. 148 s.; <ref-ruling> consid. 4.3 et 4.4 p. 381 s.; <ref-ruling> consid. 4.1 p. 185).
5.2. Le Tribunal cantonal a pris en considération tous les éléments imposés par la jurisprudence du Tribunal fédéral et de la Cour européenne des droits de l'homme pour procéder à la pesée des intérêts. Ainsi en va-t-il en particulier de la gravité des actes pénaux, de l'âge d'arrivée en Suisse, de la durée et de la qualité du séjour légal en Suisse, des conséquences pour l'intéressé, son épouse et son fils d'un départ de Suisse et des possibilités d'intégration à l'étranger, du fait que le mariage ait eu lieu après la commission des infractions, respectivement des condamnations et que la conjointe les ait connues au moment de s'engager ou encore de la possibilité des époux de conserver des liens en dépit de l'éloignement. Intégrant l'ensemble de ces circonstances, le Tribunal cantonal a retenu à juste titre que l'intérêt public à maintenir éloigné le recourant de la Suisse l'emportait sur l'intérêt privé de celui-ci et de son épouse à pouvoir y vivre ensemble. Le résultat de la pesée des intérêts ainsi effectué est correct et il suffit de renvoyer sur ce point à l'arrêt attaqué (<ref-law>).
Par ailleurs, même si le Tribunal cantonal n'a effectivement pas tenu compte de la relation du recourant avec sa fille née en 2002 dans la pesée des intérêts, cela ne change rien à l'issue du litige. En effet, il faut constater, comme l'a fait le Tribunal cantonal pour les rapports du recourant avec sa femme et son fils, que A._ n'a pas d'interdiction d'entrée en Suisse et qu'il lui sera possible de venir régulièrement rendre visite aussi à sa fille. Il n'est pas non plus exclu que celle-ci aille, accompagnée de sa mère puis plus tard seule, rejoindre son père au Portugal pour des vacances ou, le cas échéant, pour y vivre.
6.
Les considérants qui précèdent conduisent au rejet du recours, dans dans la mesure où il est recevable. Succombant, le recourant doit ainsi supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Département de l'économie et du sport du canton de Vaud, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 4 juillet 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Le Greffier :
Zünd Tissot-Daguette