Faits :
A.
Ressortissant portugais né en 1976, A._ est entré en Suisse en 1990 dans le cadre d'un regroupement familial et a obtenu une autorisation d'établissement dans le canton de Vaud. En 2001, il a épousé une ressortissante suisse, avec laquelle il a eu deux enfants, nés en 2001 et en 2003. Il a divorcé en 2007. Installateur sanitaire de formation, il a fondé une société à responsabilité limitée active dans ce domaine, qui a fait faillite peu après le divorce. La seconde société qu'il a fondée en 2011 a également fait faillite en 2016.
A._ a fait l'objet des condamnations suivantes:
- le 10 juillet 2009, à 50 jours-amende avec sursis pendant 2 ans pour diminution effective de l'actif au préjudice des créanciers;
- le 16 juin 2010, à un travail d'intérêt général de 420 heures avec sursis pendant 2 ans et à une amende de CHF 500.- pour violation d'une obligation d'entretien;
- le 15 septembre 2011, à un travail d'intérêt général ferme de 160 heures pour violation d'une obligation d'entretien, injures et menaces;
- le 15 novembre 2011, à 20 jours amende avec sursis pendant 2 ans pour infraction à la loi sur l'assurance vieillesse et survivants;
- le 25 juillet 2012, à une peine privative de liberté de 33 mois, dont 21 mois avec sursis pendant 4 ans, pour blanchiment d'argent, crime à la loi sur les stupéfiants (trafic de cocaïne), contravention à la loi sur les médicaments et les dispositifs médicaux et violation grave des règles de la circulation routière.
Le 6 mars 2013, l'autorité vaudoise de police des étrangers a révoqué l'autorisation d'établissement de A._ et ordonné son renvoi de Suisse. Cette décision a toutefois été annulée le 28 août 2013 par le Tribunal cantonal vaudois, qui a jugé qu'il fallait accorder une dernière chance à l'intéressé.
En 2014, A._ s'est installé dans le canton de Fribourg.
Par jugement du 8 mai 2017, qui sera confirmé en appel, le Tribunal du II ème arrondissement du district de Sion l'a condamné à une peine privative de liberté de 5 ans pour violation de la loi sur les stupéfiants (trafic de cocaïne).
B.
Par décision du 20 septembre 2018, le Service cantonal a révoqué l'autorisation d'établissement de A._ et prononcé son renvoi de Suisse. Le Tribunal cantonal a confirmé cette décision par arrêt du 9 mars 2020.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 9 mars 2020 du Tribunal cantonal et de renvoyer la cause au Service cantonal, principalement, pour qu'il renouvelle son autorisation d'établissement, subsidiairement pour complément d'instruction et nouvelle décision.
Par ordonnance du 5 mai 2020, le Tribunal fédéral a admis la requête d'effet suspensif contenue dans le recours.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant, comme en l'espèce, une autorisation d'établissement, parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4). En outre, en sa qualité de ressortissant portugais, le recourant peut en principe prétendre à un titre de séjour en Suisse en vertu de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>. La voie du recours en matière de droit public est donc ouverte.
1.2. L'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Le recours a été déposé dans les formes prescrites (<ref-law>), par le destinataire de l'arrêt attaqué, qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il a par ailleurs été formé en temps utile (<ref-law>), compte tenu de la suspension du délai de recours intervenue le 21 mars 2020, en lien avec l'art. 1 al. 1 de l'ordonnance du Conseil fédéral du 20 mars 2020 sur la suspension des délais dans les procédures civiles et administratives pour assurer le maintien de la justice en lien avec le coronavirus (COVID-19), en vigueur jusqu'au 19 avril 2020 (R0 2020 849).
2.
Saisi d'un recours, le Tribunal fédéral applique le droit d'office (<ref-law>). Pour statuer, il se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), sous réserve de l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377 s.). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2.1. Invoquant l'<ref-law>, le recourant soutient que les juges précédents ont constaté les faits de manière inexacte en retenant que ses parents vivaient au Portugal et qu'en cas de retour dans ce pays, il y disposerait du logement familial. Il allègue que son père est en réalité décédé en juillet 2019, que sa mère a depuis lors quitté le Portugal et que la maison familiale sise au Portugal est mise en vente. Selon lui, si les juges précédents avaient fondé leur raisonnement sur ces faits, ils auraient dû admettre qu'en cas de retour au Portugal, le recourant se retrouverait seul et sans ressources et que, dans ces circonstances, son renvoi serait contraire au principe de la proportionnalité.
2.2. La présence des parents du recourant au Portugal et l'existence d'un logement familial sur place ne sont que des éléments parmi d'autres que les juges précédents ont pris en considération lors de l'examen de la proportionnalité de la révocation de l'autorisation d'établissement du recourant. Une correction des constatations de l'arrêt attaqué sur ces points ne serait en l'occurrence pas de nature à influer sur le sort de la cause, en ce sens qu'un retour du recourant au Portugal n'apparaîtrait pas pour autant disproportionné (cf. infra consid. 7). Le grief tiré de l'<ref-law> est partant rejeté.
3.
Le litige porte sur le point de savoir si la révocation de l'autorisation d'établissement du recourant est conforme au droit.
3.1. Le recourant est de nationalité portugaise. Sous réserve notamment du respect des exigences figurant à l'<ref-law> (cf. consid. 6 ci-après), l'ALCP ne réglemente pas en tant que tel le retrait d'une autorisation d'établissement UE/AELE (cf. <ref-law> [RS 142.203]; arrêt 2C_146/2020 du 24 avril 2020 consid. 7). C'est ainsi le droit interne qui s'applique à la révocation de l'autorisation, la mesure devant toutefois respecter l'<ref-law>.
3.2. Le 1er janvier 2019 est entrée en vigueur une révision de la loi fédérale sur les étrangers du 16 décembre 2005 (LEtr; RO 2007 5437), intitulée depuis lors loi sur les étrangers et l'intégration (LEI; RO 2017 6521). En vertu de l'art. 126 al. 1 LEI, les demandes déposées avant l'entrée en vigueur de la présente loi sont régies par l'ancien droit. En l'espèce, dans la mesure où le Service cantonal a manifesté son intention de révoquer l'autorisation d'établissement du recourant le 2 juillet 2018, le cas demeure régi par la LEtr (arrêt 2C_1072/2019 du 25 mars 2020 consid. 7.1 et les références).
4.
Il convient en premier lieu de relever que, selon les faits constatés, les infractions pour lesquelles le recourant a été condamné ont toutes été commises entre 2012 et 2015, soit avant le 1 er octobre 2016, ce qui exclut l'application de l'<ref-law> et permet au juge administratif de statuer sur la révocation de l'autorisation d'établissement (cf. arrêts 2C_180/2020 du 30 avril 2020 consid. 8; 2C_113/2020 du 21 avril 2020 consid. 4.2).
5.
Selon l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger qui, comme le recourant, séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que pour les motifs mentionnés à l'art. 63 al. 1 let. b LEtr et à l'art. 62 let. b LEtr.
Selon l'art. 62 al. 1 let. b LEtr, l'autorité compétente peut révoquer une autorisation si l'étranger a été condamné à une peine privative de liberté de longue durée. Selon la jurisprudence, est une peine de longue durée au sens de cette disposition une peine privative de liberté qui dépasse un an d'emprisonnement, indépendamment du fait qu'elle ait été prononcée avec un sursis complet, un sursis partiel ou sans sursis (<ref-ruling> consid. 2.1 p. 147; <ref-ruling> consid. 5.1 p. 72). En l'espèce, le recourant, a été condamné à deux reprises à des peines privatives de liberté supérieures à un an. Il remplit donc indubitablement le motif de révocation de l'art. 62 al. 1 let. b LEtr, applicable par renvoi de l'art. 63 al. 2 LEtr, ce qu'il ne conteste du reste pas.
6.
6.1. L'<ref-law> prévoit que les droits octroyés par les dispositions de l'ALCP ne peuvent être limités que par des mesures justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. En l'occurrence le Tribunal cantonal a présenté de manière complète la jurisprudence relative à l'<ref-law>, notamment en lien avec les conditions nécessaires pour admettre l'existence d'un risque de récidive justifiant l'éloignement d'un ressortissant européen (cf. en particulier <ref-ruling> consid. 5.3 p. 125 s.), de sorte qu'il peut être renvoyé à l'arrêt attaqué sur ce point (<ref-law>).
6.2. Selon les faits constatés, le recourant a été condamné à deux reprises pour son implication dans le trafic de cocaïne, une première fois le 25 juillet 2012 (peine privative de liberté de 33 mois) et la seconde fois le 8 mai 2017 (peine privative de liberté de cinq ans). Le tribunal qui l'a condamné le 8 mai 2017 a retenu que le recourant avait agi comme chef et organisateur d'un trafic qui avait des ramifications internationales, que sa faute était lourde, dès lors qu'il n'avait agi que par appât du gain et qu'il n'avait pas hésité à reprendre son trafic de cocaïne dès sa sortie de prison en octobre 2012, après avoir pourtant purgé une peine en partie pour les mêmes faits.
A cela s'ajoute que le recourant n'a non plus hésité à poursuivre son activité criminelle même après que le Tribunal cantonal vaudois a annulé, le 28 août 2013, la décision de révocation de son autorisation d'établissement que l'autorité vaudoise de police des étrangers avait prononcée à son encontre, pour lui donner une dernière chance. Le recourant a ainsi démontré un mépris certain et persistant de l'ordre juridique suisse et des autorités de notre pays, même lorsque celles-ci lui octroient une opportunité de s'amender. Les juges précédents relèvent du reste que, dans son recours devant eux, le recourant a minimisé la gravité de ses actes, allant jusqu'à contester globalement la dangerosité du trafic de cocaïne et la sévérité sanctionnant de tels crimes.
On peut au surplus souligner que la libération conditionnelle du recourant, qui est intervenue en octobre 2019, lui a surtout été accordée, non sans réticence, pour laisser un solde de peine important en cas de nouvelle récidive, et non pas en raison d'un quelconque amendement de l'intéressé (cf. arrêt attaqué p. 4 et 7).
En pareilles circonstances, on ne peut que confirmer l'appréciation des juges précédents, qui ont conclu que le recourant représentait une menace réelle et grave pour l'ordre public. La révocation de l'autorisation du recourant est partant conforme à l'art. 5 par. 1 annexe ALCP, ce que le recourant ne conteste pas.
7.
Le recourant fait uniquement valoir que le Tribunal cantonal a violé le principe de la proportionnalité en confirmant la révocation de son autorisation d'établissement. Il invoque une violation des art. 8 CEDH, 5 al. 2 Cst. et 96 LEtr.
7.1. L'examen de la proportionnalité de la mesure imposé par l'art. 96 LEtr se confond avec celui qui est prévu à l'art. 8 par. 2 CEDH (cf. <ref-ruling> consid. 2.3.2 p. 34; <ref-ruling> consid. 4.3 p. 381). Quant à l'art. 5 al. 2 Cst., il est concrétisé à l'art. 96 LEtr, de sorte qu'il n'y a pas lieu de procéder à un examen distinct de la proportionnalité sous cet angle (arrêts 2C_146/2020 du 24 avril 2020 consid. 11.1; 2C_754/2018 du 28 janvier 2019 consid. 6.1).
7.2. La question de la proportionnalité de la révocation d'une autorisation d'établissement doit être tranchée au regard de toutes les circonstances du cas d'espèce. Il y a lieu de prendre en considération la gravité de la faute commise, le degré d'intégration, la durée du séjour en Suisse, ainsi que le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (<ref-ruling> consid. 2.2.1 p. 19; <ref-ruling> consid. 4.3 p. 381). Quand la révocation est prononcée en raison de la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts. Lors d'infractions pénales graves, il existe, sous réserve de liens personnels ou familiaux prépondérants, un intérêt public digne de protection à mettre fin au séjour d'un étranger afin de préserver l'ordre public et à prévenir de nouveaux actes délictueux (<ref-ruling> consid. 2.3.2 p. 31). S'agissant des autres circonstances à prendre en compte, il convient de se référer à la jurisprudence qui les a maintes fois rappelées (cf. <ref-ruling> consid. 2.2.1 p. 19 ss; <ref-ruling> consid. 2.3.1 p. 33 ss; <ref-ruling> consid. 2.4 p. 149; ATF <ref-ruling> consid. 4.4 et 4.5 p. 382 s.; <ref-law>).
7.3. En l'occurrence, l'intérêt public très important à l'éloignement du recourant découle de ses condamnations à de lourdes peines privatives de liberté pour trafic de cocaïne et de la menace réelle et grave qu'il représente pour l'ordre public (cf. supra consid. 6.2). Dans un tel contexte, seules des circonstances exceptionnelles seraient propres à faire primer l'intérêt privé du recourant à rester en Suisse. Or, celles-ci font défaut en l'espèce.
Le recourant a certes passé 30 ans de sa vie en Suisse, et il s'y est forcément créé un réseau de relations personnelles et professionnelles. Il y a eu ses deux enfants, qui vivent dans notre pays. Un retour au Portugal va donc l'éloigner de son réseau et de sa famille. Il faut toutefois souligner que le recourant ne vivait pas avec ses enfants, dont l'un d'eux est du reste désormais majeur, et qu'en soi, un retour au pays ne mettra pas fin aux relations personnelles avec ses enfants, car il pourra rester en contact avec eux, notamment par le biais de visites au Portugal.
Etant donné son très long séjour en Suisse, un retour au Portugal représentera à n'en pas douter un défi pour le recourant, mais ce retour n'équivaut pas non plus à un déracinement complet. Le recourant a en effet vécu au Portugal jusqu'à ses 14 ans, il y est retourné régulièrement pour les vacances, il en connaît les coutumes et il en parle la langue, même s'il n'en maîtrise pas encore l'expression écrite. Partant, même si, comme il l'allègue, ses parents ne vivent plus au pays, son père étant décédé en juillet 2019 et sa mère ayant quitté le Portugal depuis lors, ces circonstances, à supposer qu'elles puissent être prises en compte car elles s'écartent des faits constatés, ne sont pas propres à faire apparaître le renvoi du recourant au Portugal comme une mesure inacceptable. Etant donné son âge et ses compétences professionnelles, il sera en mesure, avec le temps, de s'y réinsérer socialement et professionnellement, même si cela ne se fera peut-être pas sans difficulté. Enfin, le fait de disposer ou non d'un logement dans le pays d'origine n'est pas un critère décisif dans la pesée des intérêts, de sorte que le point de savoir si le recourant pourra ou non loger dans la maison familiale, comme l'ont retenu les juges précédents, peut rester ouvert.
7.4. Au vu de ce qui précède, c'est sans violer le principe de la proportionnalité que le Tribunal cantonal a confirmé la décision du Service cantonal de révoquer l'autorisation d'établissement du recourant, au motif que l'intérêt public à son éloignement primait son intérêt privé à rester en Suisse.
8.
Les considérants qui précèdent conduisent au rejet du recours, manifestement infondé, selon la procédure de l'<ref-law>.
9.
Succombant, le recourant doit supporter les frais de la procédure fédérale, qui seront toutefois fixés en tenant compte de sa situation (art. 65 al. 2 et 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population et des migrants du canton de Fribourg, au Tribunal cantonal de l'Etat de Fribourg, Ie Cour administrative, et au Secrétariat d'Etat aux migrations.
Lausanne, le 10 juin 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens