Faits :
A.
A.a. A._, ressortissant italien né en 1981, est entré en Suisse le 17 octobre 2001 et y réside depuis lors au bénéfice d'une autorisation d'établissement. Il avait préalablement déjà séjourné en Suisse, avec ses parents, y effectuant ses deux premières années d'école primaire. A._ est le père de deux enfants, né en 2005 et en 2009, issus de son union avec B._, dont il est séparé.
A.b. A._ a été condamné le 28 août 2013 par le Ministère public de l'arrondissement de l'Est vaudois à une peine pécuniaire de 15 jours-amende avec sursis pour injure et menaces, en relation avec des faits s'étant déroulés les 31 mai et 14 juillet 2013.
Le 26 juin 2017, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a confirmé le jugement rendu le 21 décembre 2016 par le Tribunal correctionnel de l'arrondissement de l'Est vaudois, révoquant le sursis accordé le 28 août 2013 et condamnant A._ pour lésions corporelles simples qualifiées, voies de fait, recel, calomnie qualifiée, injure, menaces, tentative de contrainte, séquestration et enlèvement, violation de domicile, contrainte sexuelle, contravention à la loi fédérale sur les stupéfiants, violation simple des règles de la circulation routière, conduite d'un véhicule défectueux, conduite d'un véhicule automobile malgré un refus, le retrait ou l'interdiction de l'usage du permis, obtention frauduleuse de permis et/ou de plaques de contrôle, et délit contre la loi fédérale sur les armes à une peine privative de liberté de deux ans, à une peine pécuniaire de 30 jours-amende, ainsi qu'à une amende de 100 fr. Ces sanctions ont été fixées en tenant compte de la responsabilité restreinte de l'intéressé. Le Tribunal cantonal a confirmé la suspension de l'exécution de ces sanctions au profit de la mise en oeuvre d'une mesure institutionnelle au sens de l'<ref-law> (RS 311.0), ordonnée sur la base des conclusions de l'expertise psychiatrique mise en oeuvre au cours de la procédure de première instance. Les faits à la base de cette condamnation se sont déroulés entre le 23 octobre 2013 et le 8 janvier 2016.
Détenu préventivement auprès de l'établissement C._ depuis le 14 mars 2016, l'intéressé a été transféré le 22 décembre 2016 aux établissements pénitentiaires de D._ pour y subir la mesure de traitement institutionnel pour troubles mentaux ordonnée par le Tribunal correctionnel le 21 décembre 2016.
L'intéressé a perçu le revenu d'insertion à concurrence d'un montant de 35'716.80 fr. entre les mois de juin 2014 et août 2016.
B.
Le Service de la population du canton de Vaud (ci-après: le Service de la population) a proposé au Chef du Département de l'économie, de l'innovation et du sport du canton de Vaud (ci-après: le Département) de révoquer l'autorisation d'établissement de l'intéressé, en raison des condamnations pénales dont il a fait l'objet, après avoir donné à ce dernier l'occasion de se prononcer. Le 12 octobre 2018, le Département a révoqué ladite autorisation et prononcé le renvoi de Suisse de l'intéressé, immédiatement après sa libération, conditionnelle ou non.
Par arrêt du 25 avril 2019, le Tribunal cantonal a rejeté le recours interjeté par l'intéressé contre la décision précitée du Département.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du Tribunal cantonal du 25 avril 2019. Subsidiairement, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il demande également le bénéfice de l'assistance judiciaire et l'effet suspensif.
Par ordonnance du 28 mai 2019, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Service de la population a renoncé à se déterminer. Le recourant a produit diverses pièces. Le Tribunal cantonal a renoncé à se prononcer et s'est référé aux considérants de l'arrêt attaqué. Le Secrétariat d'Etat aux migrations a conclu au rejet du recours.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant, comme en l'espèce, une autorisation d'établissement, parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4; arrêt 2C_806/2018 du 20 mars 2019 consid.1.1).
1.2. Pour le surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours en matière de droit public, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
2.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral. Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 3 p. 237).
2.2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375).
En l'occurrence, le recourant avance de manière appellatoire des éléments de fait ne ressortant pas de l'arrêt attaqué, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies. Partant, le Tribunal fédéral n'en tiendra pas compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt entrepris.
2.3. Les pièces produites par le recourant, postérieures à l'arrêt attaqué, ne pourront pas être prises en compte, car nouvelles (<ref-law>).
3.
Le litige porte sur le point de savoir, si compte tenu des condamnations pénales du recourant, la révocation de son autorisation d'établissement est conforme au droit. Le recourant fait essentiellement valoir que la décision de révocation est prématurée et la mesure disproportionnée, notamment sous l'angle de sa vie familiale.
4.
L'<ref-law> donnant au juge pénal la compétence de statuer sur l'expulsion des étrangers qui ont commis des infractions est entré en vigueur le 1 er octobre 2016. En vertu de l'interdiction de la rétroactivité posée à l'<ref-law>, le juge pénal ne peut prononcer une expulsion que si l'acte justifiant la mesure a été accompli après cette date (cf. arrêt 6B_1043/2017 du 14 août 2018 consid. 3.1.2). Selon les faits de l'arrêt entrepris, les infractions en cause ont été commises avant le 1 er octobre 2016, le Tribunal cantonal a donc retenu à juste titre que ni l'autorité administrative, ni le juge administratif n'étaient liés par le fait que l'autorité pénale n'avait pas prononcé l'expulsion du recourant (art. 63 al. 3 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration [LEI; RS 142.20]).
5.
5.1. Selon l'art. 63 al. 1 let. a et al. 2 LEI (dans sa teneur en vigueur jusqu'au 31 décembre 2018; RO 2016 1249), en lien avec l'art. 62 al. 1 let. b LEI, l'autorité compétente peut notamment révoquer une autorisation de séjour lorsque l'étranger a été condamné à une peine privative de longue durée, comme en l'espèce, ou a fait l'objet d'une mesure pénale prévue aux art. 59 à 61 ou 64 CP.
5.2. Cependant, conformément à son art. 2 al. 2, la LEI n'est applicable aux ressortissants des Etats membres de la Communauté européenne que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsque ladite loi contient des dispositions plus favorables.
Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law> (cf. <ref-ruling> consid. 3.6.2 p. 125). Conformément à la jurisprudence rendue en rapport avec cette disposition, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d' " ordre public " pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle, d'une certaine gravité pour l'ordre public. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important. A cet égard, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. <ref-ruling> consid. 5.3 p. 126; <ref-ruling> consid. s3.3 p. 303 s.; arrêt 2C_802/2015 du 11 janvier 2016 consid. 4.3).
5.3. En l'occurrence, il ressort de l'arrêt attaqué que le recourant est sans activité lucrative depuis 2015, qu'il a bénéficié du revenu d'insertion du mois de juin 2014 à août 2016 et qu'il vit séparé de la mère de ses enfants dont il n'aurait ni l'autorité parentale ni la garde. Comme le relève l'autorité précédente, on peut fortement douter que, dans ces circonstances, le recourant puisse se prévaloir de l'ALCP, que ce soit en qualité de personne exerçant une activité lucrative (art. 3 et 4 ALCP; <ref-law>; cf. <ref-ruling> consid. 2 p. 3 ss), de personne sans activité lucrative (<ref-law>; cf. <ref-ruling> consid. 3.3 p. 269 s.) ou au titre du regroupement familial (art. 7 let. d ALCP; <ref-law>; cf. arrêt 2C_739/2017 du 17 avril 2018 consid. 4). Vu l'issue du litige, cette question peut toutefois être laissée ouverte.
5.4. En l'espèce, comme l'a retenu à bon droit le Tribunal cantonal dans l'arrêt attaqué, le recourant a été condamné le 21 décembre 2016 pour des actes graves, portant notamment atteinte à l'intégrité corporelle et sexuelle, soit à des biens juridiquement protégés particulièrement importants. Il a également relevé que la culpabilité du recourant était lourde, au regard, entre autres, de la réitération des atteintes aux biens juridiques protégés. Sur le vu, en particulier du plan d'exécution de la sanction de mai 2018 et de l'expertise psychiatrique de décembre 2018, l'autorité précédente a justement admis un risque de récidive actuel, en relevant notamment chez le recourant l'absence d'une véritable remise en question et d'une prise de conscience des conséquences de ses actes sur ses victimes. Les juges cantonaux retiennent également à juste titre que si le comportement de l'intéressé a évolué favorablement depuis qu'il a fait l'objet d'une mesure thérapeutique institutionnelle, cette amélioration devait être mise en relation avec le cadre pénitentiaire qui lui est imposé.
6.
Le recourant ne conteste pas en tant que tel l'évaluation de sa dangerosité par le Tribunal cantonal, mais il l'estime prématurée. Selon lui, les autorités cantonales n'auraient pas dû se prononcer sur la révocation de son autorisation d'établissement UE/AELE, ni sur son renvoi de Suisse, avant sa libération, respectivement avant que la mesure thérapeutique ne soit levée, conditionnellement ou définitivement.
6.1. L'autorisation qu'un étranger a possédée avant l'exécution de sa peine ou de sa mesure demeure valable jusqu'à sa libération (art. 70 al. 1 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative [OASA; RS 142.201]). Les conditions de séjour doivent être une nouvelle fois fixées au plus tard au moment de sa libération ou de l'exécution de la mesure (art. 70 al. 2 OASA).
6.2. Le Tribunal fédéral a relevé que l'art. 70 OASA ne mentionnait rien quant au moment déterminant pour rendre une décision sur le droit de l'étranger détenu de séjourner en Suisse, si ce n'est que celle-ci devait intervenir avant la libération de l'étranger, afin que ce dernier puisse préparer sa vie en liberté (<ref-ruling> consid. 5.2.4 p. 238; <ref-ruling> consid. 2.3 et 2.4 p. 333 ss; arrêt 2C_144/2018 du 21 septembre 2018 consid. 5.3). Le moment à partir duquel une décision réglant le séjour de l'étranger après l'accomplissement de sa peine peut, au plus tôt, être prise, dépend des circonstances du cas, singulièrement de la nature et de la gravité des infractions commises, ainsi que, plus généralement, des autres informations dont les autorités disposent pour apprécier de manière prospective la situation de l'intéressé au moment déterminant, soit lors de sa libération (conditionnelle ou définitive). Les autorités veilleront néanmoins autant que possible à ne pas statuer en-deçà d'un certain délai raisonnable qui peut varier en fonction des cas; en règle générale, il ne dépassera toutefois pas le temps correspondant à la durée normale et prévisible d'une éventuelle procédure de recours, le but étant que le sort de l'étranger puisse être scellé dans une décision exécutoire (administrative ou judiciaire) avant sa remise en liberté (cf. ATF <ref-ruling> consid. 2.4 p. 334 s.; arrêt 2C_144/2018 du 21 septembre 2018 consid. 5.3). Dans un arrêt 2A.153/1999 du 3 septembre 1999 consid. 4b, il a en outre été jugé qu'il n'y avait pas à attendre la fin d'une thérapie psychothérapeutique effectuée durant l'exécution de la peine pour statuer sur le renvoi de l'étranger. D'un côté, les chances de succès d'une telle thérapie sont incertaines et une rechute n'est pas exclue, d'un autre, il est préférable pour l'étranger qu'il sache le plus tôt possible où il vivra après sa libération (confirmé in <ref-ruling> consid. 5.2.3 p. 237 s. et arrêts 2C_144/2018 du 21 septembre 2018 consid. 5.3 et 2C_394/2016 du 26 août 2016 consid. 4.1).
6.3. En l'occurrence, il ressort de l'arrêt attaqué que le comportement du recourant dans la cadre de l'exécution de la mesure de traitement institutionnel est favorable et qu'il n'est pas exclu que sa libération conditionnelle soit prononcée dans un délai raisonnable. Le recourant ne prétend pas le contraire. Une décision à ce stade du traitement institutionnel permet en outre au recourant d'être définitivement fixé sur son lieu de vie au moment de sa libération et de prévoir au mieux sa réinsertion dans la société. Au surplus, l'arrêt querellé du 25 avril 2019 se fonde en particulier sur un plan d'exécution de la sanction élaboré en mai 2018, ainsi que sur une expertise psychiatrique du 4 décembre 2018, soit sur des données actuelles.
Par ailleurs, l'arrêt 2C_989/2011 du 2 avril 2012, invoqué par le recourant, ne lui est d'aucun secours, puisque dans celui-ci, contrairement au cas d'espèce, l'instance cantonale avait fondé sa décision sur des données, vieilles de plus de deux ans, qui n'étaient plus actuelles.
La décision de révocation en cause n'apparaît ainsi pas prématurée et est sur ce point conforme au droit.
7.
Le recourant fait encore valoir une violation du principe de proportionnalité. A ce propos, il invoque également l'art. 8 CEDH.
7.1. D'emblée, il est douteux que le grief du recourant relatif à l'art. 8 CEDH soit admissible sous l'angle de l'<ref-law> (cf. supra consid. 2.1), dans la mesure où l'intéressé, qui se trouve en Suisse depuis fin 2001, ne fait pas valoir son droit à la vie privée et se limite à invoquer ses deux enfants domiciliés en Suisse, sans expliquer plus avant en quoi l'arrêt entrepris consacrerait une violation de l'art. 8 CEDH. Cela étant, l'examen de la proportionnalité sous l'angle de l'art. 8 par. 2 CEDH se confondant avec celui imposé par l'art. 96 LEI (arrêts 2C_725/2018 du 13 novembre 2018 consid. 6.1; 2C_547/2017 du 12 décembre 2017 consid. 4.1), lequel est également applicable au domaine régi par l'ALCP (cf. arrêt 2C_158/2019 du 12 avril 2019 consid. 5.2), on peut laisser indécis le point de savoir si le recourant peut se prévaloir de l'art. 8 CEDH.
7.2. Concernant la proportionnalité, il peut être renvoyé aux considérants de l'arrêt du Tribunal cantonal, qui a correctement exposé la jurisprudence relative aux dispositions topiques et dûment appliqué le droit fédéral et international (cf. notamment <ref-ruling> consid. 4.2 p. 96 et les références citées). Il a en particulier pris en compte la gravité des infractions commises, les sérieux doutes quant à la capacité de s'amender du recourant, la faible intégration professionnelle de celui-ci, sa dépendance aux prestations du revenu d'insertion, la durée de son séjour en Suisse, où il a vécu plus de 17 ans et où résident ses enfants. Il a également pris en compte la possibilité de maintenir un lien avec ses derniers depuis son pays d'origine, à savoir l'Italie, pays frontalier de la Suisse, dans lequel il a vécu jusqu'à l'âge de 20 ans, où résident ses parents et dans lequel ses troubles psychiques pourront être pris en charge. Dans ces circonstances, la révocation de l'autorisation d'établissement s'avère proportionnée.
8.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (<ref-law>). Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Département de l'économie, de l'innovation et du sport du canton de Vaud, Secrétariat général, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 4 octobre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier