Faits : A. A.a. Ressortissant portugais, A._ est né en 1992. Il a vécu au Cap-Vert, jusqu'à l'âge de quatre ans, sa famille ayant ensuite déménagé au Portugal. Il est arrivé en Suisse en novembre 2008, à l'âge de seize ans, accompagné du reste de sa famille. Il a été mis au bénéfice d'une autorisation de séjour, puis, dès le mois de décembre 2013, d'une autorisation d'établissement. A.b. Après des tests effectués durant l'année 2010, son quotient intellectuel a été évalué à 67, résultat qualifié de largement inférieur à celui de la moyenne des jeunes de son âge. Dès août 2010, il a suivi des mesures d'orientation professionnelle au sens de l'art. 15 de la loi fédérale du 19 juin 1959 sur l'assurance-invalidité (LAI; RS 831.20). L'assurance invalidité (AI) a ensuite pris en charge ses frais de formation professionnelle initiale au sens de l'art. 16 LAI. Son souhait d'apprendre le métier de peintre en bâtiment a pu se réaliser au sein de la structure B._, en partenariat avec une entreprise de la région. En mars 2013, un rapport parvenait à la conclusion qu'il serait insérable en économie libre avec un soutien et une année de formation supplémentaire. Il a ensuite pu passer une convention pour un placement à l'essai (sur la base de l'art. 18a LAI) chez l'entreprise partenaire du 1er août 2013 au 31 janvier 2014. Cet emploi a débouché sur la signature d'un contrat ACIT (allocation d'initiation au travail) avec la même entreprise du 1er février 2014 au 31 juillet 2014. L'entreprise partenaire a toutefois résilié le contrat avec effet au 31 août 2014. En juillet 2015, l'intéressé s'est vu octroyer une rente d'invalidité complète pour un degré d'invalidité de 74 % dès le 1er juin 2010, en raison d'un bégaiement sévère. A.c. A._ a fait l'objet des condamnations suivantes: - 21 avril 2010: condamnation par la présidente du Tribunal des mineurs à trois demi-journées de prestations personnelles à subir sous forme de travail, dont deux avec sursis pendant six mois, pour appropriation illégitime, dommages à la propriété et conduite d'un cyclomoteur sans être titulaire du permis de conduire; dans ce cadre, il avait été considéré comme " un adolescent n'ayant pas besoin de soins éducatifs particuliers "; - 16 décembre 2011: condamnation par le Ministère public de l'arrondissement du Nord vaudois à 400 fr. d'amende pour vol d'importance mineure et recel d'importance mineure; - 6 juillet 2012: condamnation par le Ministère public de l'arrondissement du Nord vaudois à une peine pécuniaire de 90 jours-amende avec sursis (révoqué) et à une amende de 450 fr. pour appropriation illégitime, recel, vol et infraction d'importance mineure (vol); - 3 décembre 2014: condamnation par la Cour d'appel pénale du Tribunal cantonal vaudois, admettant très partiellement l'appel, à une peine privative de liberté de 20 mois (dont 14 mois avec sursis) et à une amende de 200 fr. pour vol, recel, actes d'ordre sexuel avec un (e) enfant (deux infractions distinctes, dont une avec commission en commun), vol d'usage d'un véhicule automobile, conduite d'un véhicule automobile sans permis de conduire, circulation sans assurance-responsabilité civile, délit et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121) (essentiellement pour des actes commis entre 2011 et 2013); - 8 mai 2015: condamnation par le Tribunal correctionnel de la Broye et du Nord vaudois à une peine privative de liberté de 18 mois et à une amende de 100 fr. pour tentative de vol, vol, dommage à la propriété, violation de domicile, contravention à la LStup et actes préparatoires délictueux de brigandage (pour des actes commis entre mai et octobre 2014). Ce jugement a été confirmé par la Cour d'appel pénale du Tribunal cantonal vaudois le 11 septembre 2015. Après plus de sept mois de détention avant jugement, l'intéressé a exécuté ses deux peines privatives de liberté du 6 mai 2015 jusqu'au 29 mars 2016, date de sa libération conditionnelle. A.d. Par décision du 21 avril 2016, le Chef du Département de l'économie et du sport du canton de Vaud (ci-après: le Département), sur proposition du Service de la population du canton de Vaud (ci-après: le Service de la population), après avoir donné à l'intéressé l'occasion de se prononcer, a révoqué son autorisation d'établissement et prononcé son renvoi immédiat de Suisse. Par arrêt du 4 novembre 2016, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a admis le recours interjeté par l'intéressé et a annulé la décision précitée du Département. Il a renvoyé le dossier à l'autorité précédente pour complément d'instruction et nouvelle décision dans le sens des considérants. Selon les juges cantonaux, il convenait en particulier d'examiner dans quelle mesure l'atteinte sur le plan de la santé et les capacités intellectuelles de l'intéressé constituaient un obstacle à son intégration dans un pays étranger, en l'occurrence probablement le Portugal. Il était selon eux également nécessaire d'examiner dans quelle mesure l'intéressé, qui indiquait habiter chez ses parents, pouvait être séparé de sa famille, en d'autres termes dans quelle mesure le soutien de ses proches lui était nécessaire pour compenser son invalidité. A.e. Le 5 janvier 2017, le Service de la population a demandé au conseil de l'intéressé de lui fournir notamment un certificat médical détaillé sur l'état de santé actuel de celui-ci, en particulier sur l'évolution de son handicap et de ses capacités intellectuelles, ainsi que des renseignements sur les membres de sa famille vivant en Suisse et au Portugal. L'intéressé a indiqué qu'il n'avait qu'un cousin dans ce dernier pays, avec lequel il n'entretenait pas de relations, et que la famille, dont il était très proche, vivait dans le canton de Vaud. Concernant son état de santé, il précisait ne pas être suivi régulièrement par un médecin. Son handicap n'évoluait pas, tout comme ses capacités intellectuelles. Il a exercé une occupation dans un atelier protégé (atelier vélo) de mars à fin décembre 2017. Le 3 mai 2017, le Service de la population lui a signalé qu'il était impératif de lui fournir un certificat médical détaillé sur son état de santé actuel, en particulier sur l'évolution de son handicap et de ses capacités intellectuelles. L'intéressé a produit un certificat médical rédigé par une médecin, daté du 28 juin 2017, formulé comme suit: " Je ne connais pas bien ce patient qui normalement est suivi par la Doctoresse C._ (congé maladie). Selon le dossier, il n'a plus touché aux psychotropes. Il a arrêté l'école à la 7ème classe, a des difficultés à parler. Il était suivi par la logopédiste. Il est très obèse (185cm, 133kg), tension trop haute (140/100). Pour ses problèmes de l'élocution, il ne trouve pas de travail. C'est très difficile à le comprendre. Autrement il est en bonne santé ". L'intéressé indiquait être conscient de la brièveté du rapport, mais partait du principe qu'il était suffisant dans la mesure où le Service de la population avait accès au dossier AI. Par courrier du 6 juin 2018, le service précité a relevé que le dossier AI ne comportait pas de rapport médical récent et a demandé à l'intéressé de lui transmettre un certificat médical détaillé sur son état de santé actuel avec mentions particulières relatives à son handicap et ses capacités intellectuelles. Il lui demandait également des informations sur ses occupations récentes. Le 6 juillet 2018, l'intéressé a transmis un certificat médical de la même médecin, daté du 18 juin 2018, formulé comme suit: "Je suis ce patient occasionnellement, surtout pour faire des certificats ou remplir des dossiers Al. Le 18.06.2018, il vient pour un nouveau certificat. Le patient aimerait bien travailler et, je lui propose une réinsertion. Il a fait une formation pratique de 6 mois (jusqu'à fin 2014) à D._ comme aide peintre et depuis juin 2018 réparation de vélo jusqu'à présent. Certificat : Incapacité de travail à 50 % dès le 22.12.2017, 1/2 journée. Monsieur A._ souffre d'importants troubles de communication. Un travail assis serait possible, un travail qui lui permet de bouger serait à préscrire (sic), vu le surpoids par contre à banir (sic) les positions de se mettre à genou, de s'accroupir et monter sur les échelles. Un travail lui permettant de marcher lentement et (sic) à conseiller ". Le 10 juillet 2018, le Service de la population a imparti à l'intéressé un dernier délai pour lui transmettre un certificat médical détaillé sur son état de santé actuel avec mentions particulières relatives à son handicap et ses capacités intellectuelles. Le 31 juillet 2018, l'intéressé a transmis un certificat médical toujours de la même médecin, daté du 30 juillet 2018, formulé comme suit: "Selon mon impression le bégaiement et le IQ du patient n'ont pas changé. Je ne peux pas m'imaginer que ce patient pourra se débrouiller tout seul dans un autre pays que la Suisse. Je propose une évaluation sur son IQ et refaire un test à l'endroit où son premier test a été fait. Si cela n'est pas possible, on pourrait voir dans le futur si le cabinet du Dr E._ pourra lui faire un test neuropsychologique ". L'intéressé précisait dans son courrier que si le certificat produit ne suffisait pas, il y aurait lieu de faire une évaluation neuropsychologique. Il conviendrait alors de déterminer qui prendrait en charge les coûts d'un tel examen. Il serait possible qu'il soit remboursé par l'assurance-maladie. B. Par décision du 2 novembre 2018, le Département a révoqué l'autorisation d'établissement de l'intéressé et a prononcé son renvoi immédiat de Suisse, en raison de ses condamnations pénales. Par arrêt du 28 juin 2019, le Tribunal cantonal a rejeté le recours formé par l'intéressé contre cette décision. C. Par la voie d'un recours en matière de droit public et constitutionnel subsidiaire, A._ demande au Tribunal fédéral, outre l'effet suspensif, l'annulation de l'arrêt cantonal et, principalement, le maintien et la prolongation de son autorisation d'établissement. Subsidiairement, il requiert le renvoi de la cause à l'autorité compétente pour nouvelle décision dans le sens des considérants. L'effet suspensif a été accordé par ordonnance présidentielle du 2 septembre 2019. Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Secrétariat d'Etat aux migrations ne s'est pas prononcé.