Faits :
A.
A.a. Ressortissant portugais, A._ est né en 1992. Il a vécu au Cap-Vert, jusqu'à l'âge de quatre ans, sa famille ayant ensuite déménagé au Portugal. Il est arrivé en Suisse en novembre 2008, à l'âge de seize ans, accompagné du reste de sa famille. Il a été mis au bénéfice d'une autorisation de séjour, puis, dès le mois de décembre 2013, d'une autorisation d'établissement.
A.b. Après des tests effectués durant l'année 2010, son quotient intellectuel a été évalué à 67, résultat qualifié de largement inférieur à celui de la moyenne des jeunes de son âge. Dès août 2010, il a suivi des mesures d'orientation professionnelle au sens de l'art. 15 de la loi fédérale du 19 juin 1959 sur l'assurance-invalidité (LAI; RS 831.20). L'assurance invalidité (AI) a ensuite pris en charge ses frais de formation professionnelle initiale au sens de l'<ref-law>. Son souhait d'apprendre le métier de peintre en bâtiment a pu se réaliser au sein de la structure B._, en partenariat avec une entreprise de la région. En mars 2013, un rapport parvenait à la conclusion qu'il serait insérable en économie libre avec un soutien et une année de formation supplémentaire. Il a ensuite pu passer une convention pour un placement à l'essai (sur la base de l'<ref-law>) chez l'entreprise partenaire du 1er août 2013 au 31 janvier 2014. Cet emploi a débouché sur la signature d'un contrat ACIT (allocation d'initiation au travail) avec la même entreprise du 1er février 2014 au 31 juillet 2014. L'entreprise partenaire a toutefois résilié le contrat avec effet au 31 août 2014.
En juillet 2015, l'intéressé s'est vu octroyer une rente d'invalidité complète pour un degré d'invalidité de 74 % dès le 1er juin 2010, en raison d'un bégaiement sévère.
A.c. A._ a fait l'objet des condamnations suivantes:
- 21 avril 2010: condamnation par la présidente du Tribunal des mineurs à trois demi-journées de prestations personnelles à subir sous forme de travail, dont deux avec sursis pendant six mois, pour appropriation illégitime, dommages à la propriété et conduite d'un cyclomoteur sans être titulaire du permis de conduire; dans ce cadre, il avait été considéré comme " un adolescent n'ayant pas besoin de soins éducatifs particuliers ";
- 16 décembre 2011: condamnation par le Ministère public de l'arrondissement du Nord vaudois à 400 fr. d'amende pour vol d'importance mineure et recel d'importance mineure;
- 6 juillet 2012: condamnation par le Ministère public de l'arrondissement du Nord vaudois à une peine pécuniaire de 90 jours-amende avec sursis (révoqué) et à une amende de 450 fr. pour appropriation illégitime, recel, vol et infraction d'importance mineure (vol);
- 3 décembre 2014: condamnation par la Cour d'appel pénale du Tribunal cantonal vaudois, admettant très partiellement l'appel, à une peine privative de liberté de 20 mois (dont 14 mois avec sursis) et à une amende de 200 fr. pour vol, recel, actes d'ordre sexuel avec un (e) enfant (deux infractions distinctes, dont une avec commission en commun), vol d'usage d'un véhicule automobile, conduite d'un véhicule automobile sans permis de conduire, circulation sans assurance-responsabilité civile, délit et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) (essentiellement pour des actes commis entre 2011 et 2013);
- 8 mai 2015: condamnation par le Tribunal correctionnel de la Broye et du Nord vaudois à une peine privative de liberté de 18 mois et à une amende de 100 fr. pour tentative de vol, vol, dommage à la propriété, violation de domicile, contravention à la LStup et actes préparatoires délictueux de brigandage (pour des actes commis entre mai et octobre 2014). Ce jugement a été confirmé par la Cour d'appel pénale du Tribunal cantonal vaudois le 11 septembre 2015.
Après plus de sept mois de détention avant jugement, l'intéressé a exécuté ses deux peines privatives de liberté du 6 mai 2015 jusqu'au 29 mars 2016, date de sa libération conditionnelle.
A.d. Par décision du 21 avril 2016, le Chef du Département de l'économie et du sport du canton de Vaud (ci-après: le Département), sur proposition du Service de la population du canton de Vaud (ci-après: le Service de la population), après avoir donné à l'intéressé l'occasion de se prononcer, a révoqué son autorisation d'établissement et prononcé son renvoi immédiat de Suisse.
Par arrêt du 4 novembre 2016, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a admis le recours interjeté par l'intéressé et a annulé la décision précitée du Département. Il a renvoyé le dossier à l'autorité précédente pour complément d'instruction et nouvelle décision dans le sens des considérants. Selon les juges cantonaux, il convenait en particulier d'examiner dans quelle mesure l'atteinte sur le plan de la santé et les capacités intellectuelles de l'intéressé constituaient un obstacle à son intégration dans un pays étranger, en l'occurrence probablement le Portugal. Il était selon eux également nécessaire d'examiner dans quelle mesure l'intéressé, qui indiquait habiter chez ses parents, pouvait être séparé de sa famille, en d'autres termes dans quelle mesure le soutien de ses proches lui était nécessaire pour compenser son invalidité.
A.e. Le 5 janvier 2017, le Service de la population a demandé au conseil de l'intéressé de lui fournir notamment un certificat médical détaillé sur l'état de santé actuel de celui-ci, en particulier sur l'évolution de son handicap et de ses capacités intellectuelles, ainsi que des renseignements sur les membres de sa famille vivant en Suisse et au Portugal. L'intéressé a indiqué qu'il n'avait qu'un cousin dans ce dernier pays, avec lequel il n'entretenait pas de relations, et que la famille, dont il était très proche, vivait dans le canton de Vaud. Concernant son état de santé, il précisait ne pas être suivi régulièrement par un médecin. Son handicap n'évoluait pas, tout comme ses capacités intellectuelles. Il a exercé une occupation dans un atelier protégé (atelier vélo) de mars à fin décembre 2017. Le 3 mai 2017, le Service de la population lui a signalé qu'il était impératif de lui fournir un certificat médical détaillé sur son état de santé actuel, en particulier sur l'évolution de son handicap et de ses capacités intellectuelles. L'intéressé a produit un certificat médical rédigé par une médecin, daté du 28 juin 2017, formulé comme suit:
" Je ne connais pas bien ce patient qui normalement est suivi par la Doctoresse C._ (congé maladie). Selon le dossier, il n'a plus touché aux psychotropes. Il a arrêté l'école à la 7ème classe, a des difficultés à parler. Il était suivi par la logopédiste. Il est très obèse (185cm, 133kg), tension trop haute (140/100). Pour ses problèmes de l'élocution, il ne trouve pas de travail. C'est très difficile à le comprendre. Autrement il est en bonne santé ".
L'intéressé indiquait être conscient de la brièveté du rapport, mais partait du principe qu'il était suffisant dans la mesure où le Service de la population avait accès au dossier AI. Par courrier du 6 juin 2018, le service précité a relevé que le dossier AI ne comportait pas de rapport médical récent et a demandé à l'intéressé de lui transmettre un certificat médical détaillé sur son état de santé actuel avec mentions particulières relatives à son handicap et ses capacités intellectuelles. Il lui demandait également des informations sur ses occupations récentes. Le 6 juillet 2018, l'intéressé a transmis un certificat médical de la même médecin, daté du 18 juin 2018, formulé comme suit:
"Je suis ce patient occasionnellement, surtout pour faire des certificats ou remplir des dossiers Al. Le 18.06.2018, il vient pour un nouveau certificat. Le patient aimerait bien travailler et, je lui propose une réinsertion. Il a fait une formation pratique de 6 mois (jusqu'à fin 2014) à D._ comme aide peintre et depuis juin 2018 réparation de vélo jusqu'à présent.
Certificat :
Incapacité de travail à 50 % dès le 22.12.2017, 1/2 journée.
Monsieur A._ souffre d'importants troubles de communication. Un travail assis serait possible, un travail qui lui permet de bouger serait à préscrire (sic), vu le surpoids par contre à banir (sic) les positions de se mettre à genou, de s'accroupir et monter sur les échelles. Un travail lui permettant de marcher lentement et (sic) à conseiller ".
Le 10 juillet 2018, le Service de la population a imparti à l'intéressé un dernier délai pour lui transmettre un certificat médical détaillé sur son état de santé actuel avec mentions particulières relatives à son handicap et ses capacités intellectuelles. Le 31 juillet 2018, l'intéressé a transmis un certificat médical toujours de la même médecin, daté du 30 juillet 2018, formulé comme suit:
"Selon mon impression le bégaiement et le IQ du patient n'ont pas changé. Je ne peux pas m'imaginer que ce patient pourra se débrouiller tout seul dans un autre pays que la Suisse.
Je propose une évaluation sur son IQ et refaire un test à l'endroit où son premier test a été fait. Si cela n'est pas possible, on pourrait voir dans le futur si le cabinet du Dr E._ pourra lui faire un test neuropsychologique ".
L'intéressé précisait dans son courrier que si le certificat produit ne suffisait pas, il y aurait lieu de faire une évaluation neuropsychologique. Il conviendrait alors de déterminer qui prendrait en charge les coûts d'un tel examen. Il serait possible qu'il soit remboursé par l'assurance-maladie.
B.
Par décision du 2 novembre 2018, le Département a révoqué l'autorisation d'établissement de l'intéressé et a prononcé son renvoi immédiat de Suisse, en raison de ses condamnations pénales.
Par arrêt du 28 juin 2019, le Tribunal cantonal a rejeté le recours formé par l'intéressé contre cette décision.
C.
Par la voie d'un recours en matière de droit public et constitutionnel subsidiaire, A._ demande au Tribunal fédéral, outre l'effet suspensif, l'annulation de l'arrêt cantonal et, principalement, le maintien et la prolongation de son autorisation d'établissement. Subsidiairement, il requiert le renvoi de la cause à l'autorité compétente pour nouvelle décision dans le sens des considérants.
L'effet suspensif a été accordé par ordonnance présidentielle du 2 septembre 2019.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Secrétariat d'Etat aux migrations ne s'est pas prononcé.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant, comme en l'espèce, une autorisation d'établissement, parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4; arrêt 2C_806/2018 du 20 mars 2019 consid. 1.1). Partant, la voie du recours en matière de droit public est en principe ouverte, ce qui entraîne l'irrecevabilité du recours constitutionnel subsidiaire formé en parallèle (<ref-law> a contrario).
En revanche, elle ne l'est pas pour ce qui concerne les griefs relatifs à une violation de l'art. 20 de l'ordonnance du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes (OLCP; RS 142.203) et de l'art. 30 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20; [LEtr jusqu'au 31 décembre 2018]). Ces dispositions ne confèrent en effet pas de droit de présence en Suisse et relèvent des dérogations aux conditions d'admission, expressément exclues de cette voie de droit (art. 83 let. c ch. 5 LTF; cf. arrêts 2C_570/2019 du 16 juillet 2019 consid. 5.3; 2C_1004/2018 du 11 juin 2019 consid. 1.2). Sur ce point, le recours est aussi irrecevable en tant que recours constitutionnel subsidiaire puisque l'<ref-law> et l'art. 30 al. 1 let. b LEI, de nature potestative, ne confèrent aucun droit au recourant et que celui-ci ne formule pas de griefs formels équivalant à un déni de justice en lien avec ces dispositions (cf. arrêts 2C_570/2019 du 16 juillet 2019 consid. 5.3; 2C_1004/2018 du 11 juin 2019 consid. 1.2 et les références citées).
1.2. Pour le surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours en matière de droit public, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375).
2.2. En l'espèce, le recourant présente une argumentation partiellement appellatoire, en opposant sa propre version des faits à celle du Tribunal cantonal et en complétant librement l'état de fait, sans cependant invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits. En particulier, il ne démontre pas en quoi le Tribunal cantonal aurait arbitrairement retenu que son état de santé et son quotient intellectuel ne l'empêchaient pas d'être autonome et de vivre seul au Portugal.
Le Tribunal fédéral statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué, sous réserve de l'<ref-law>.
2.3. Par ailleurs, concernant l'établissement des faits, le recourant semble perdre de vue, qu'il ressort également de l'arrêt attaqué que le Service de la population a été confronté à une forte passivité de sa part dans le cadre de l'établissement des faits, malgré de nombreux rappels et des demandes précises clairement formulées, et en dépit de son obligation de collaborer sur ce point (cf. art. 90 LEI; arrêt 2C_95/2019 du 13 mai 2019 consid. 3.2 et les références citées). Le recourant ne conteste pas les faits qui précèdent. A cet égard, les juges cantonaux relèvent à juste titre que l'intéressé, assisté par un mandataire professionnel, devait pourtant être en mesure de comprendre l'importance qu'il y avait à collaborer à l'établissement des faits. Dans ces circonstances, l'autorité précédente pouvait à bon droit considérer que le Service de la population était fondé à statuer sur la base du dossier et qu'il appartenait au recourant de supporter les conséquences de l'absence d'éléments qui pourraient attester de la véracité de ses allégations.
3.
L'<ref-law> (RS 311.0) donnant au juge pénal la compétence de statuer sur l'expulsion des étrangers qui ont commis des infractions est entré en vigueur le 1 er octobre 2016. En vertu de l'interdiction de la rétroactivité posée à l'<ref-law>, le juge pénal ne peut prononcer une expulsion que si l'acte justifiant la mesure a été accompli après cette date (cf. arrêt 2C_489/2019 du 4 octobre 2019 consid. 4 et la référence citée). Selon les faits de l'arrêt entrepris, les infractions en cause ont été commises avant le 1 er octobre 2016, le Tribunal cantonal a donc retenu à juste titre que ni l'autorité administrative, ni le juge administratif n'étaient liés par le fait que l'autorité pénale n'avait pas prononcé l'expulsion du recourant (art. 63 al. 3 LEI).
4.
Le litige porte sur le point de savoir, si compte tenu des condamnations pénales du recourant, la révocation de son autorisation d'établissement est conforme au droit.
5.
5.1. Selon l'art. 63 al. 1 let. a LEI (également applicable à la révocation d'une autorisation d'établissement UE/AELE; art. 2 al. 2 LEI; <ref-law>; arrêt 2C_76/2018 du 5 novembre 2018 consid. 3.1), en lien avec l'art. 62 al. 1 let. b LEI, l'autorité compétente peut révoquer une autorisation d'établissement lorsque l'étranger a été condamné, comme en l'espèce, à une peine privative de longue durée, c'est-à-dire à une peine supérieure à un an, résultant d'un seul jugement pénal, prononcée avec sursis, sursis partiel ou sans (<ref-ruling> consid. 2.1 p. 18; <ref-ruling> consid. 2.3 p. 300 ss).
5.2. Cependant, conformément à son art. 2 al. 2, la LEI n'est applicable aux ressortissants des Etats membres de la Communauté européenne que dans la mesure où l'ALCP n'en dispose pas autrement ou lorsque ladite loi contient des dispositions plus favorables. Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'<ref-law> (cf. <ref-ruling> consid. 3.6.2 p. 125). Conformément à la jurisprudence rendue en rapport avec cette disposition, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d' " ordre public " pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (<ref-ruling> consid. 5.3 p. 125 s. et les références citées). Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle, d'une certaine gravité pour l'ordre public. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important. A cet égard, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. <ref-ruling> consid. 5.3 p. 126; arrêt 2C_802/2015 du 11 janvier 2016 consid. 4.3).
5.3. En l'espèce, il ressort de l'arrêt attaqué que le recourant est majeur, sans activité lucrative et au bénéfice d'une rente entière AI. A l'instar de l'autorité précédente, on peut donc douter qu'il puisse se prévaloir de l'ALCP, que ce soit en qualité de personne exerçant une activité lucrative (art. 3 et 4 ALCP; <ref-law>; cf. <ref-ruling> consid. 2 p. 3 ss) ou au titre du regroupement familial (art. 7 let. d ALCP; <ref-law>; cf. arrêt 2C_739/2017 du 17 avril 2018 consid. 4). Certes, il ressort également de l'arrêt querellé que le recourant est soutenu financièrement par sa famille, sans qu'il y soit indiqué que celui-ci émargerait à l'aide sociale ou percevrait des prestations complémentaires. Dans ces circonstances, un droit à une autorisation de séjour pour personne sans activité lucrative selon l'<ref-law> n'est pas exclu (cf. <ref-ruling> consid. 3.3 p. 269 s.; arrêt 2C_567/2017 du 5 mars 2018 consid. 5.1). La question d'un droit à une autorisation de séjour selon l'ALCP peut toutefois être laissée ouverte, puisque la révocation de l'autorisation d'établissement du recourant respecte les conditions posées par l'<ref-law>.
5.4.
5.4.1. Selon les faits de l'arrêt entrepris, le recourant a été condamné à quatre reprises entre 2010 et 2015, les deux dernières fois à des peines privatives de liberté de 20 et 18 mois, soit à des peines relativement lourdes. Le vol est une infraction récurrente qui a été sanctionnée dans les trois dernières condamnations. La peine de 20 mois de prison du 3 décembre 2014 a notamment été prononcée pour actes d'ordre sexuel avec un enfant, ce qui justifie de se montrer particulièrement rigoureux dans l'examen du risque (cf. supra consid. 5.2 in fine). Dans le jugement du 8 mai 2015, dont certains passages sont repris dans l'arrêt attaqué, les juges pénaux avaient retenu que la culpabilité du recourant était importante et que celui-ci avait agi par appât du gain. Par ailleurs, toujours selon l'arrêt entrepris, les autorités pénales n'ont pas jugé que les problèmes du recourant restreignaient sa responsabilité sur le plan pénal. Le recourant ne l'allègue pas.
5.4.2. Concernant les infractions d'ordre sexuel avec des enfants, le recourant fait valoir que dans les deux cas, aucune violence ni contrainte n'a été commise, que dans un cas, le recourant a entretenu une relation librement consentie avec une jeune femme dont il ignorait l'âge et que dans l'autre cas, il s'est éloigné dès l'instant où la jeune fille a manifesté son refus de poursuivre.
Les infractions en cause ne sauraient toutefois être minimisées. Comme le relève la Cour d'appel pénale du Tribunal cantonal vaudois, citée dans l'arrêt attaqué, le recourant était conscient, dans l'infraction commise en groupe, que la victime était une fille " à problèmes " que son comportement et celui des autres membres du groupe étaient susceptibles d'aggraver. En outre, il précise à juste titre que d'une façon générale, le consentement d'un enfant de moins de seize ans ne saurait constituer une circonstance atténuante pour l'infraction de l'<ref-law> (RS 311.0), qui a précisément pour but de protéger l'enfant dont le discernement n'a pas atteint sa pleine maturité. Enfin, toujours selon l'arrêt querellé, le recourant a commis la seconde infraction d'ordre sexuel alors que l'enquête pour les faits précédents était en cours et qu'il avait suivi, de novembre 2011 à janvier 2012, le programme de prévention des violences et de promotion des compétences dans les relations amoureuses chez les jeunes intitulé - "Sortir ensemble et se respecter" (consid. 5c).
5.4.3. L'autorité précédente a ainsi retenu à bon droit que les faits pour lesquels le recourant a été condamné sont graves.
En outre, il ressort du jugement pénal du 3 décembre 2014, cité dans l'arrêt attaqué, que le recourant avait récidivé en cours d'enquête et que le pronostic le concernant était mitigé. Dans le jugement pénal du 8 mai 2015, également cité dans l'arrêt querellé, il est précisé que le recourant a récidivé pendant son délai d'épreuve qui lui avait été accordé lorsqu'il avait été jugé en 2012. Il a commis des infractions juste avant de comparaître devant le Tribunal correctionnel en juillet 2014 et n'a pas hésité à commettre de nouvelles infractions après avoir été lourdement condamné à cette occasion. Il a également poursuivi son activité délictueuse après avoir été sérieusement mis en garde par le Ministère public en septembre 2014. Seule son interpellation a permis de mettre fin à ses agissements. Les juges pénaux ont retenu un pronostic clairement défavorable. L'autorité précédente déduit à juste titre de ce qui précède que le recourant affiche un mépris certain pour les lois et les institutions suisses.
De plus, elle relève justement que le recourant ne peut pas se prévaloir de son bon comportement en prison et depuis sa sortie de prison car le contrôle étroit que les autorités pénales exercent sur un détenu au cours de la période d'exécution de sa peine ne permet pas de tirer des conclusions déterminantes de son attitude, du point de vue du droit des étrangers, afin d'évaluer sa dangerosité une fois en liberté. Il en va de même de la période de libération conditionnelle, puisqu'une récidive conduirait probablement à la révocation de ce régime (<ref-ruling> consid. 5.5.2 p. 127 s.; arrêt 2C_39/2019 du 24 janvier 2019 consid. 5.3). Contrairement à ce que soutient le recourant, le pronostic du juge de l'application des peines et mesures ne peut pas renseigner de manière décisive les autorités compétentes en matière de droit des étrangers sur la dangerosité d'une personne pour l'ordre et la sécurité publics. Celles-ci demeurent libres de tirer leurs propres conclusions à ce sujet (<ref-ruling> consid. 5.2.2 p. 237; <ref-ruling> consid. 4.3.3 p. 187 ss; arrêt 2C_1097/2016 du 20 février 2017 consid. 4.3). Dans leur appréciation, les juges cantonaux n'ont pas négligé le fait que le recourant n'avait pas récidivé depuis sa libération conditionnelle, mais ils ont retenu à juste titre que cet élément ne pouvait pas être décisif. Par ailleurs, ils ont également souligné qu'un des éléments relevés comme favorables par le juge d'application des peines était le projet du recourant d'avoir une activité occupationnelle. Or, les juges cantonaux constatent qu'en dépit de plusieurs demandes expresses du Service de la population, le recourant n'a pas établi avoir une telle occupation depuis janvier 2018. Il a certes mentionné l'existence d'une offre de place dans un atelier protégé, mais sans indiquer si cette proposition avait été suivie d'effet. Enfin, le Tribunal cantonal relève que la famille du recourant, en dépit du soutien qu'elle lui apporte n'avait pas été en mesure de le détourner de ses activités délictueuses durant les années 2010 à 2014.
5.4.4. Sur le vu de ce qui précède, on ne peut pas déduire du comportement du recourant depuis sa dernière condamnation qu'il ne présente plus un risque de récidive. En prenant en compte la répétition des infractions, sa culpabilité dans un contexte d'atteinte porté à un bien juridiquement protégé particulièrement important et le fait qu'il n'ait pas su saisir les chances qui lui ont été offertes de reprendre sa vie en main, il ne saurait être question de relativiser à ce point ses agissements et ne pas admettre un risque de récidive concret. Au vu de l'ensemble des circonstances, en considérant que l'intéressé constituait une menace actuelle et réelle d'une certaine gravité pour l'ordre public suisse, et en confirmant sur cette base la révocation de son autorisation d'établissement, le Tribunal cantonal n'a pas violé l'<ref-law>.
6.
Le recourant se plaint d'une violation du principe de la proportionnalité contenu aux art. 8 par. 2 CEDH et 96 al. 1 LEI. Il invoque également l'art. 13 Cst. Il fait en particulier valoir que l'autorité précédente n'a pas assez pris en compte son état de santé et ses difficultés, soit son faible quotient intellectuel, son trouble important du langage et son surpoids, dans le cadre de l'examen des conséquences d'un renvoi de Suisse. Selon lui, un avertissement aurait été une mesure suffisante.
6.1. La pesée globale des intérêts requise par l'art. 96 al. 1 LEI est analogue à celle requise par les art. 8 par. 2 CEDH et 13 al. 1 Cst. et peut être effectuée conjointement à celle-ci (cf. arrêt 2C_781/2018 du 28 août 2019 consid. 3.2).
En l'occurrence, la question de savoir si le recourant peut se prévaloir de l'art. 8 CEDH peut être laissée indécise. En effet, il convient de toute façon de procéder à une pesée des intérêts selon l'art. 96 LEI, dont l'examen, nous l'avons vu, se confond avec celui imposé par l'art. 8 par. 2 CEDH.
6.2. De jurisprudence constante, la question de la proportionnalité d'une révocation d'autorisation doit être tranchée au regard de toutes les circonstances du cas d'espèce, les critères déterminants se rapportant notamment en cas de condamnation pénale à la gravité de l'infraction, à la culpabilité de l'auteur, au temps écoulé depuis l'infraction, au comportement de celui-ci pendant cette période, au degré de son intégration et à la durée de son séjour antérieur, ainsi qu'aux inconvénients qui le menacent, lui et sa famille, en cas de révocation (cf. <ref-ruling> consid. 2.3.3 p. 34 ss; <ref-ruling> consid. 4.3 p. 381 s.; arrêt 2C_970/2017 du 7 mars 2018 consid. 4.1). Lorsque la mesure de révocation est prononcée en raison de la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à utiliser pour évaluer la gravité de la faute et pour procéder à la pesée des intérêts. La durée de séjour en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement (cf. arrêt 2C_970/2017 du 7 mars 2018 consid. 4.1 et les références citées).
6.3. En l'occurrence, le Tribunal cantonal a procédé, de façon convaincante, à une pesée des intérêts complète et détaillée entre l'intérêt public à l'éloignement du recourant et son intérêt privé à demeurer en Suisse. En particulier, il a pris en compte les deux condamnations, prononcées en 2014 et 2015, à respectivement 20 et 18 mois de peine privative de liberté, notamment pour avoir porté atteinte à l'intégrité sexuelle d'enfants mineurs et retenu, à bon droit, qu'il existait un intérêt public important à éloigner le recourant de Suisse.
Concernant l'intérêt privé de l'intéressé à rester en Suisse, il ressort de l'arrêt attaqué que celui-ci est célibataire et sans enfant et qu'il est arrivé dans ce pays en novembre 2008, à l'âge de 16 ans. La durée de son séjour en Suisse était donc de plus de dix ans lorsque le Tribunal cantonal a statué. Cette durée doit toutefois être relativisée dans la mesure où le Service de la population avait décidé la révocation de son autorisation d'établissement le 6 juillet 2015 déjà, avant de voir sa décision annulée par le Tribunal cantonal pour instruction complémentaire, et dans la mesure où le recourant a été placé en détention de fin 2014 à mai 2016. Enfin, il a été constaté, sans que cela ne soit remis en cause par le recourant sous l'angle de l'arbitraire comme l'exige l'<ref-law>, que celui-ci n'est pas intégré en Suisse sur le plan social et professionnel. Il dispose en revanche d'attaches familiales dans ce pays.
Concernant l'exigibilité d'un retour dans son pays d'origine, il ressort de l'arrêt entrepris que le recourant a vécu dans ce pays pendant près de 12 ans, alors qu'il était âgé de 4 à 16 ans et qu'il en maîtrise la langue, au moins aussi bien que le français. Il bénéficie en outre d'une rente entière de l'AI qu'il devrait encore percevoir une fois à l'étranger. Il ne se trouvera donc pas sans ressources financières au Portugal, ce d'autant plus qu'il devrait également pouvoir compter sur le soutien de sa famille restée en Suisse. En revanche, le Tribunal cantonal précise qu'il n'est pas établi que le recourant pourra compter dans ce pays sur des personnes pouvant le soutenir. En particulier, un soutien de son père à distance ou la venue de celui-ci au Portugal auprès de son fils ne peut être retenu, contrairement à ce que mentionne l'autorité précédente, dans la mesure où le lieu de résidence de celui-ci et les liens qu'il entretient avec son fils ne sont pas établis.
Concernant l'état de santé et les problèmes du recourant, les juges cantonaux ont retenu que l'on ne pouvait pas déduire de son faible quotient intellectuel que celui-ci n'était pas autonome. Selon eux, le recourant est en mesure de gérer les affaires courantes et, en particulier, sur le plan financier, l'utilisation de sa rente AI. Il n'a par ailleurs pas établi qu'il était au bénéfice d'une assistance particulière. Le Tribunal cantonal retient que le recourant n'est pas dépendant en Suisse d'un encadrement structuré et structurant et qu'il devrait pouvoir exercer une activité simple avec un certain encadrement. De plus, l'autorité précédente a examiné les possibilités d'une prise en charge du handicap (bégaiement) du recourant au Portugal et retenu que ce pays disposait d'un système de sécurité sociale adéquat pour prendre en charge ce trouble. Elle a également relevé que le dossier n'indiquait pas que le recourant bénéficierait actuellement d'un traitement particulier, tel par exemple un suivi logopédique. Prenant en compte les certificats médicaux établis entre juin 2017 et juillet 2018, elle a relevé que la médecin, auteure de ces certificats, n'indiquait pas que le recourant serait au bénéfice d'un suivi, ni pour son bégaiement ni pour son surpoids ni pour un autre problème de santé. Selon le Tribunal cantonal, l'état de santé du recourant ne s'est pas dégradé récemment et celui-ci est globalement bon. Enfin, il a retenu à juste titre que le certificat du 30 juillet 2018, dans lequel la médecin se limite à indiquer qu'elle ne peut pas imaginer que le recourant puisse se débrouiller seul dans un autre pays que la Suisse, ne peut pas à lui seul convaincre. En effet, comme le relève l'autorité précédente, une telle appréciation n'est aucunement étayée et émane d'une médecin qui précise qu'elle ne connaît pas bien le recourant et qu'elle ne le suit qu'occasionnellement, " surtout pour faire des certificats ou remplir des dossiers AI ". Comme déjà souligné, l'argumentation du recourant qui va dans le sens contraire est de type appellatoire et donc irrecevable (cf. supra consid. 2). En particulier, le recourant ne démontre pas en quoi il serait arbitraire de retenir que le certificat médical précité de juillet 2018 - qui n'est aucunement étayé -, de même que son faible quotient intellectuel, permettraient à eux seuls de retenir qu'il ne peut pas vivre seul au Portugal.
Sur le vu de l'ensemble de ce qui précède, l'autorité précédente pouvait de façon parfaitement soutenable considérer que le recourant était en mesure de s'adapter et de vivre seul au Portugal. Dans ces circonstances, le Tribunal cantonal ne prête pas le flanc à la critique lorsqu'il retient que la révocation de l'autorisation d'établissement du recourant est proportionnée. Il pouvait sans violer le droit fédéral estimer, implicitement, que le prononcé d'un avertissement ne serait pas une mesure suffisante pour préserver l'ordre public. En effet, la gravité des infractions, la réitération de celles-ci et la persévérance dans la délinquance en dépit de condamnations et de mise en garde des autorités pénales permettent de retenir de façon soutenable qu'un avertissement n'est pas une mesure suffisante.
7.
Le recours en matière de droit public doit ainsi être rejeté, dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté, dans la mesure où il est recevable.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Service de la population, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 10 janvier 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier