Faits : A. A.a. A._, ressortissant italien né en 1981, est entré en Suisse le 17 octobre 2001 et y réside depuis lors au bénéfice d'une autorisation d'établissement. Il avait préalablement déjà séjourné en Suisse, avec ses parents, y effectuant ses deux premières années d'école primaire. A._ est le père de deux enfants, né en 2005 et en 2009, issus de son union avec B._, dont il est séparé. A.b. A._ a été condamné le 28 août 2013 par le Ministère public de l'arrondissement de l'Est vaudois à une peine pécuniaire de 15 jours-amende avec sursis pour injure et menaces, en relation avec des faits s'étant déroulés les 31 mai et 14 juillet 2013. Le 26 juin 2017, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a confirmé le jugement rendu le 21 décembre 2016 par le Tribunal correctionnel de l'arrondissement de l'Est vaudois, révoquant le sursis accordé le 28 août 2013 et condamnant A._ pour lésions corporelles simples qualifiées, voies de fait, recel, calomnie qualifiée, injure, menaces, tentative de contrainte, séquestration et enlèvement, violation de domicile, contrainte sexuelle, contravention à la loi fédérale sur les stupéfiants, violation simple des règles de la circulation routière, conduite d'un véhicule défectueux, conduite d'un véhicule automobile malgré un refus, le retrait ou l'interdiction de l'usage du permis, obtention frauduleuse de permis et/ou de plaques de contrôle, et délit contre la loi fédérale sur les armes à une peine privative de liberté de deux ans, à une peine pécuniaire de 30 jours-amende, ainsi qu'à une amende de 100 fr. Ces sanctions ont été fixées en tenant compte de la responsabilité restreinte de l'intéressé. Le Tribunal cantonal a confirmé la suspension de l'exécution de ces sanctions au profit de la mise en oeuvre d'une mesure institutionnelle au sens de l'art. 59 CP (RS 311.0), ordonnée sur la base des conclusions de l'expertise psychiatrique mise en oeuvre au cours de la procédure de première instance. Les faits à la base de cette condamnation se sont déroulés entre le 23 octobre 2013 et le 8 janvier 2016. Détenu préventivement auprès de l'établissement C._ depuis le 14 mars 2016, l'intéressé a été transféré le 22 décembre 2016 aux établissements pénitentiaires de D._ pour y subir la mesure de traitement institutionnel pour troubles mentaux ordonnée par le Tribunal correctionnel le 21 décembre 2016. L'intéressé a perçu le revenu d'insertion à concurrence d'un montant de 35'716.80 fr. entre les mois de juin 2014 et août 2016. B. Le Service de la population du canton de Vaud (ci-après: le Service de la population) a proposé au Chef du Département de l'économie, de l'innovation et du sport du canton de Vaud (ci-après: le Département) de révoquer l'autorisation d'établissement de l'intéressé, en raison des condamnations pénales dont il a fait l'objet, après avoir donné à ce dernier l'occasion de se prononcer. Le 12 octobre 2018, le Département a révoqué ladite autorisation et prononcé le renvoi de Suisse de l'intéressé, immédiatement après sa libération, conditionnelle ou non. Par arrêt du 25 avril 2019, le Tribunal cantonal a rejeté le recours interjeté par l'intéressé contre la décision précitée du Département. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du Tribunal cantonal du 25 avril 2019. Subsidiairement, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il demande également le bénéfice de l'assistance judiciaire et l'effet suspensif. Par ordonnance du 28 mai 2019, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif. Le Service de la population a renoncé à se déterminer. Le recourant a produit diverses pièces. Le Tribunal cantonal a renoncé à se prononcer et s'est référé aux considérants de l'arrêt attaqué. Le Secrétariat d'Etat aux migrations a conclu au rejet du recours.