Faits :
A.
Par jugement du 30 janvier 2019, le Tribunal de police de l'arrondissement de Lausanne a notamment reconnu A._ coupable de vol, de tentative de vol, de violation de domicile et de contravention à la LStup (III) et l'a condamné à une peine privative de liberté de 90 jours, sous déduction de la détention subie avant jugement et d'un jour de détention subie dans des conditions illicites (IV, V), ainsi qu'à une amende de 200 francs (VI). Il a ordonné le maintien de A._ en détention pour des motifs de sûreté (VII). Il a renoncé à ordonner l'expulsion de A._ du territoire suisse (VIII) et a ordonné la poursuite du traitement ambulatoire institué par la Cour d'appel pénale le 18 avril 2018 (IX).
B.
Par jugement du 4 juin 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel formé par le ministère public contre la décision de première instance et a ordonné l'expulsion de A._ du territoire suisse pour une durée de 5 ans (VIII). Elle a confirmé le jugement de première instance pour le surplus.
En substance, la cour cantonale a retenu les faits suivants.
B.a. Entre le 6 février et le 28 septembre 2018, A._ a consommé régulièrement de la marijuana et du haschich. Le 28 septembre 2018, il a pénétré par effraction dans le restaurant B._ à C._, en brisant la vitre de la porte d'entrée. Une fois à l'intérieur, il a fouillé les lieux afin d'y dérober des biens. Il a toutefois été mis en fuite par l'arrivée de la police sans rien avoir pu emporter. Le 14 novembre 2018, A._ a pénétré sans droit dans l'appartement de D._ par la porte d'entrée, qui n'était pas verrouillée. Une fois à l'intérieur, il y a dérobé les téléphones portables de cette dernière et de son fils, avant de quitter les lieux. Le représentant du restaurant a déposé une plainte pénale qu'il a retirée. D._ a déposé plainte et s'est constituée partie plaignante, sans toutefois chiffrer le montant de ses prétentions civiles.
B.b. A._ est né en 1991 à Addis Abeba Asmaia, en Ethiopie. Ressortissant d'Erythrée, il n'a jamais vécu dans son pays d'origine. Il est arrivé en Suisse à l'âge de 9 ans, avec ses parents et son frère aîné. Durant sa minorité, il a été placé à plusieurs reprises dans divers foyers et a, très jeune, été confronté à la justice pénale. Il est au bénéfice d'une admission provisoire en Suisse (permis F), alors que sa mère bénéficie d'une autorisation de séjour (permis B). Depuis sa majorité, A._ est au bénéfice d'une mesure de curatelle volontaire de portée générale. Il n'a pas été en mesure d'achever sa scolarité obligatoire et d'acquérir une formation. Il a toutefois entrepris divers stages et a notamment travaillé, entre 2015 et 2017, auprès d'un centre d'ergo-sociothérapie. Il était prévu qu'il débute, le 1er mai 2018, une activité à 50% dans un service des vélos électriques mais cela ne s'est pas fait. Lorsqu'il n'est pas en détention, A._ vit avec sa mère dans un logement de la Ville de Lausanne. L'Établissement vaudois d'accueil des migrants (ci-après: EVAM) finance la part de loyer de l'intéressé. Pour le reste, il dépend, comme sa mère, intégralement de l'aide sociale. Depuis sa sortie de prison au mois de février 2019, A._ a recherché du travail, mais a été à nouveau interpellé avant d'en trouver. Il effectuait simplement des recherches, sans disposer de projet concret. A._ est détenu provisoirement depuis le 19 mai 2019 dans le cadre d'une nouvelle enquête pénale.
B.c. Le casier judiciaire suisse de A._ fait état de onze condamnations entre octobre 2009 et avril 2018, principalement pour un brigandage, d'autres infractions contre le patrimoine (vols, dommages à la propriété, extorsion et chantage), contre la liberté (menaces, violations de domicile) et contre l'autorité publique (violences ou menaces contre les autorités et fonctionnaires) ainsi que des infractions à la LStup et à la LArm, commises en concours.
Dans un jugement précédent, rendu le 18 avril 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a condamné le recourant pour tentative de vol, vol, violation de domicile et contravention à la LStup, à une peine privative de liberté de 6 mois ainsi qu'à une amende de 300 fr. et un traitement ambulatoire a été prononcé.
B.d. Il ressort de différents rapports d'expertise psychiatrique concernant A._, que ce dernier souffre d'un retard mental important (QI de 44) et d'une schizophrénie paranoïde, maladie mentale chronique qui, dans son cas, se distingue par une désorganisation importante de son comportement.
Selon le psychiatre traitant de A._, l'état de santé de ce dernier s'est nettement amélioré en 2015 lorsqu'il bénéficiait d'une libération conditionnelle, subordonnée à la poursuite d'un traitement ambulatoire.
Selon un rapport du Département de psychiatrie du CHUV du 19 février 2018, A._ présente plusieurs pathologies psychiatriques qui rendent son suivi et l'approche thérapeutique complexes. Il avait fait une demande de traitement médicamenteux volontaire sous la forme orale et avait repris le suivi en janvier 2018, jusqu'à l'été 2018, mais il l'a pratiquement interrompu après quelques mois. Aux débats de première instance, le Dr H._, qui suit A._ depuis 2010, a indiqué que son patient souffrait de longue date, de troubles du développement. Il a pu constater les bénéfices de la médication antipsychotique " dépôt " administrée en détention, précisant qu'un traitement et un suivi lui étaient bénéfiques. Le médecin a confirmé que son patient avait adopté une attitude de repli et n'était pratiquement plus accessible aux thérapeutes en été 2018.
Selon un courrier du 21 janvier 2019 du Dr I._, médecin auprès du Service de médecine et psychiatrie pénitentiaires, A._ a été admis en détention en état de décompensation psychotique. Compte tenu de l'importance des troubles du comportement et de l'absence de discernement, un traitement antipsychotique par voie injectable lui a été imposé. Il a ensuite accepté de poursuivre le traitement par voie orale et une amélioration de l'état psychique a été constatée.
Lors des débats d'appel, A._ a déclaré que depuis sa sortie de prison (le 11 février 2019) et sa nouvelle incarcération (le 19 mai 2019), il avait revu le Dr H._ à deux ou trois reprises. Il a précisé qu'ils ne faisaient que discuter, ajoutant qu'il s'en allait lorsque le médecin lui proposait des médicaments. A._ a estimé ne pas avoir besoin, de manière générale, de médicaments, et qu'il n'en prenait que s'il était malade. Il a conclu que, si on l'obligeait à suivre un traitement auprès de son médecin, il serait prêt à le faire, si cela était de nature à améliorer les choses. Lors des mêmes débats, le curateur de A._ a indiqué que la collaboration était bonne lorsque ce dernier prenait son traitement médical; elle était plus difficile lorsqu'il n'était plus médiqué.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est renoncé à l'expulser du territoire suisse. A titre subsidiaire, A._ conclut à l'annulation du jugement cantonal et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il requiert en outre le bénéfice de l'assistance judiciaire.
D.
Invités à se déterminer, la cour cantonale et le ministère public ont renoncé à déposer des observations en se référant à la décision entreprise.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir prononcé son expulsion du territoire suisse.
1.1. Aux termes de l'art. 66a al. 1 let. d CP, le juge expulse de Suisse l'étranger qui est condamné pour vol (<ref-law>) en lien avec une violation de domicile (<ref-law>), quelle que soit la quotité de la peine prononcée à son encontre, pour une durée de cinq à quinze ans. Selon l'<ref-law>, le juge peut exceptionnellement renoncer à une expulsion lorsque celle-ci mettrait l'étranger dans une situation personnelle grave et que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse. A cet égard, il tiendra compte de la situation particulière de l'étranger qui est né ou qui a grandi en Suisse.
1.2. En l'espèce, le recourant a commis des infractions (vol et violation de domicile) qui tombent sous le coup de l'art. 66a al. 1 let. d CP, étant précisé que le vol d'importance mineure (cf. <ref-law>), plaidé par la défense, a été exclu. Le recourant remplit donc a priori les conditions d'une expulsion, sous la réserve d'une application de l'<ref-law>, voire également des normes de droit international.
2.
Selon le recourant, la cour cantonale a prononcé son expulsion en violation des <ref-law>, 25 al. 3 Cst. ainsi que des normes de droit international (notamment art. 3 et 8 CEDH).
2.1. Les conditions pour appliquer l'<ref-law> sont cumulatives. Afin de pouvoir renoncer à une expulsion prévue par l'<ref-law>, il faut, d'une part, que cette mesure mette l'étranger dans une situation personnelle grave et, d'autre part, que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse. Le juge doit faire usage du pouvoir d'appréciation qui lui est conféré par une norme potestative dans le respect des principes constitutionnels. S'il devait refuser de renoncer à l'expulsion alors que les conditions de la clause de rigueur sont remplies, le principe de proportionnalité ancré à l'art. 5 al. 2 Cst. serait violé. Le juge doit ainsi renoncer à l'expulsion lorsque les conditions de l'<ref-law> sont réunies, conformément au principe de proportionnalité (<ref-ruling> consid. 3.3 p. 339; arrêts 6B_1329/2018 du 14 février 2019 consid. 2.2; 6B_1262/2018 du 29 janvier 2019 consid. 2.2). En règle générale, il convient d'admettre l'existence d'un cas de rigueur au sens de l'<ref-law> lorsque l'expulsion constituerait, pour l'intéressé, une ingérence d'une certaine importance dans son droit au respect de sa vie privée et familiale garanti par la Constitution fédérale (art. 13 Cst.) et par le droit international, en particulier l'art. 8 CEDH (arrêts 6B_1329/2018 du 14 février 2019 consid. 2.3.1; 6B_1262/2018 du 29 janvier 2019 consid. 2.3.1).
2.1.1. Selon l'art. 8 par. 1 CEDH, toute personne a droit au respect de sa vie privée et familiale. Ce droit n'est toutefois pas absolu. Une ingérence dans son exercice est possible, selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Il convient à cet égard de procéder, tant sous l'angle du droit interne que sous celui du droit conventionnel, à une pesée des intérêts ainsi qu'à un examen de la proportionnalité (<ref-ruling> consid. 4.3 p. 381).
Un étranger peut se prévaloir de l'art. 8 par. 1 CEDH (et de l'art. 13 Cst.), qui garantit le droit au respect de la vie privée et familiale, pour s'opposer à l'éventuelle séparation de sa famille, pour autant qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 2.1 p. 336 et les références citées). D'après une jurisprudence constante, les relations visées par l'art. 8 CEDH sont avant tout celles qui concernent la famille dite nucléaire, soit celles qui existent entre époux ainsi qu'entre parents et enfants mineurs vivant en ménage commun (<ref-ruling> consid. 6.1 p. 12; <ref-ruling> consid. 1.3.2 p. 146). L'art. 8 CEDH protège également, selon les circonstances, les enfants majeurs qui se trouvent dans un état de dépendance particulier par rapport à leurs parents, en raison par exemple d'un handicap ou d'une maladie grave (<ref-ruling> consid. 3.1 p. 230 s.; <ref-ruling> consid. 5.2 p. 80 s.; cf. arrêt 6B_639/2019 du 20 août 2019 consid. 1.3.2).
Les éléments d'ordre médical doivent être pris en compte dans l'examen de l'art. 8 par. 2 CEDH (arrêts 6B_2/2019 du 27 septembre 2019 consid. 9.1; 6B_770/2018 du 24 septembre 2018 consid. 2.1 et 6B_506/2017 du 14 février 2018 consid. 2.2; arrêts CourEDH Hasanbasic contre Suisse du 11 juin 2013 [requête n° 52166/09] § 54; Emre contre Suisse du 22 mai 2008 [requête n° 42034/04] § 71). Aussi, lorsque l'intéressé se prévaut d'une maladie ou d'une infirmité, il sied d'examiner le niveau d'atteinte à la santé, les prestations médicales qui sont à disposition dans le pays d'origine ainsi que les conséquences négatives que cela peut engendrer pour la personne concernée (Fiolka/Vetterli, Die Landesverweisung in Art. 66a ff. StGB als strafrechtliche Sanktion, in Plädoyer 5/2016, p. 85; Popescu/ Weissenberger, Expulsion pénale et droit des migrations: un casse-tête pour la pratique, in PJA 2018, p. 362).
2.1.2. L'art. 25 al. 3 Cst. dispose que nul ne peut être refoulé sur le territoire d'un Etat dans lequel il risque la torture ou tout autre traitement ou peine cruels et inhumains. L'art. 3 par. 1 de la Convention du 10 décembre 1984 contre la torture et autres peines ou traitements cruels, inhumains ou dégradants (RS 0.105; ci-après: Convention contre la torture) prévoit qu'aucun Etat partie n'expulsera, ne refoulera, ni n'extradera une personne vers un autre Etat où il y a des motifs sérieux de croire qu'elle risque d'être soumise à la torture. L'art. 3 CEDH dispose que nul ne peut être soumis à la torture ni à des peines ou traitements inhumains ou dégradants. Selon la jurisprudence de la CourEDH, pour apprécier l'existence d'un risque réel de mauvais traitements au sens de l'art. 3 CEDH, il convient d'appliquer des critères rigoureux. Il s'agit de rechercher si, eu égard à l'ensemble des circonstances de la cause, il y a des motifs sérieux et avérés de croire que l'intéressé, si on le renvoie dans son pays, y courra un risque réel d'être soumis à un traitement contraire à l'art. 3 CEDH (arrêts de la CourEDH F.G. contre Suède du 23 mars 2016 [requête n° 43611/11] § 113; Saadi contre Italie du 28 février 2008 [requête n° 37201/06] § 125 et 128; Chahal contre Royaume-Uni du 15 novembre 1996 [requête n° 22414/93] § 74 et 96).
Pour tomber sous le coup de l'art. 3 CEDH, un mauvais traitement doit toutefois atteindre un minimum de gravité (arrêt CourEDH S aadi contre Italie précité § 134). L'appréciation de ce minimum dépend de l'ensemble des données de la cause (<ref-ruling> consid. 3.2.1 p. 226). Si l'existence d'un tel risque est établie, l'expulsion, respectivement le refoulement de celui-ci emporterait nécessairement violation de l'art. 3 CEDH, que le risque émane d'une situation générale de violence, d'une caractéristique propre à l'intéressé, ou d'une combinaison des deux (cf. arrêt de la CourEDH F.G. contre Suède précité § 116 et les références citées).
2.1.3. Selon la jurisprudence de la CourEDH concernant le défaut de traitement médical approprié dans le pays de renvoi, ce n'est que dans des situations exceptionnelles, en raison de " considérations humanitaires impérieuses ", que la mise à exécution d'une décision d'éloignement d'un étranger peut emporter violation de l'art. 3 CEDH (arrêts CourEDH N. contre Royaume-Uni du 27 mai 2008 [requête n° 26565/05] § 42; Emre contre Suisse précité § 89). Les étrangers qui sont sous le coup d'un arrêté d'expulsion ne peuvent en principe revendiquer le droit de rester sur le territoire d'un Etat contractant afin de continuer à y bénéficier de l'assistance médicale. Ainsi, le fait que la situation d'une personne dans son pays d'origine serait moins favorable que celle dont elle jouit dans le pays d'accueil n'est pas déterminant du point de vue de l'art. 3 CEDH (arrêt CourEDH Emre contre Suisse précité § 91). Dans ce cas également, il faut des motifs sérieux et avérés de croire que l'intéressé, si on l'expulse vers le pays de destination, y courra un risque réel d'être soumis à un traitement contraire à l'art. 3 CEDH (arrêt CourEDH N. contre Royaume-Uni précité § 30). La CourEDH exige un seuil de gravité élevé pour que l'état de santé d'une personne lui permette de s'opposer à son expulsion (arrêts CourEDH Emre contre Suisse précité § 92; N. contre Royaume-Uni précité § 42 ainsi que § 32 ss énumérant la jurisprudence de la CourEDH relative à l'art. 3 CEDH et à l'expulsion de personnes gravement malades).
La CourEDH a clarifié son approche en rapport avec l'éloignement de personnes gravement malades. Elle a précisé qu'à côté des situations de décès imminent, il fallait entendre par " autres cas très exceptionnels" pouvant soulever un problème au regard de l'art. 3 CEDH, les cas d'éloignement d'une personne gravement malade dans lesquels il y a des motifs sérieux de croire que cette personne, bien que ne courant pas de risque imminent de mourir, ferait face, en raison de l'absence de traitements adéquats dans le pays de destination ou de défaut d'accès à ceux-ci, à un risque réel d'être exposée à un déclin grave, rapide et irréversible de son état de santé entraînant des souffrances intenses ou à une réduction significative de son espérance de vie (arrêt CourEDH Paposhvili contre Belgique du 13 décembre 2013 [requête n° 41738/10] § 183; cf. arrêt 6B_2/2019 du 27 septembre 2019 consid. 6.1).
Selon la CourEDH, il appartient aux intéressés de produire des éléments susceptibles de démontrer qu'il y a des raisons sérieuses de penser que, si la mesure litigieuse était mise à exécution, ils seraient exposés à un risque réel de se voir infliger des traitements contraires à l'art. 3 CEDH. Lorsque de tels éléments sont produits, il incombe aux autorités de l'État de renvoi, dans le cadre des procédures internes, de dissiper les doutes éventuels à leur sujet. L'évaluation du risque allégué doit faire l'objet d'un contrôle rigoureux à l'occasion duquel les autorités de l'État de renvoi doivent envisager les conséquences prévisibles du renvoi sur l'intéressé dans l'État de destination, compte tenu de la situation générale dans celui-ci et des circonstances propres au cas de l'intéressé. Dès lors qu'il s'agit de l'obligation négative de ne pas exposer quelqu'un à un risque de mauvais traitements prohibés par l'art. 3 CEDH, les conséquences du renvoi sur l'intéressé doivent être évaluées en comparant son état de santé avant l'éloignement avec celui qui serait le sien dans l'État de destination après y avoir été envoyé. S'agissant des facteurs à prendre en considération, il y a lieu pour les autorités de l'État de renvoi de vérifier au cas par cas si les soins généralement disponibles dans l'État de destination sont suffisants et adéquats en pratique pour traiter la pathologie dont souffre l'intéressé afin d'éviter qu'il soit exposé à un traitement contraire à l'art. 3 CEDH (arrêt CourEDH Paposhvili contre Belgique précité , § 186-189).
Dans une affaire concernant l'extradition d'une personne souffrant de schizophrénie paranoïde, la CourEDH a jugé qu'il y avait un risque réel de détérioration de sa santé mentale et physique, laquelle pouvait atteindre le seuil de l'art. 3 CEDH (arrêt CourEDH Aswat contre Royaume-Uni du 16 avril 2013, [requête n° 17299/12], § 57, étant précisé que les exigences relatives au respect de l'art. 3 CEDH en matière de renvoi sont identiques à celles prévalant en matière d'extradition, cf. § 32).
2.1.4. Dans une affaire récente concernant le renvoi d'un requérant d'asile en Erythrée, la CourEDH a mis en exergue certains rapports officiels en particulier de l'ONU, du bureau européen d'appui en matière d'asile (European asylum support office, ci-après: EASO) et d'autorités nationales (telles que le Secrétariat d'Etat aux Migrations). Il ressort en particulier de ces rapports que les déserteurs du service national ou les opposants au régime risquent, selon les circonstances, des sanctions accompagnées d'une incarcération dans des conditions inhumaines ou de torture en cas de retour au pays (affaire CourEDH M.O. contre Suisse du 20 juin 2017 [requête n° 41282/16] § 40, 47, 48). La CourEDH a notamment relevé, sur la base des différents rapports, que les ressortissants érythréens ont désormais la possibilité de régulariser leur situation face au régime, moyennant le paiement d'une taxe de 2% imposée à la diaspora et la signature d'une lettre de regret pour avoir offensé le gouvernement en n'ayant pas accompli le service national (affaire CourEDH M.O. précitée, § 43, 48, 52 [ch. 333 s]). En substance, la CourEDH a retenu que la situation générale des droits humains en Erythrée était particulièrement préoccupante mais elle ne représentait pas, en tant que telle, un obstacle au renvoi (affaire CourEDH M.O. contre Suisse précitée § 70).
Dans sa jurisprudence, le Tribunal administratif fédéral retient que la menace existentielle doit être admise en cas de circonstances personnelles particulières, compte tenu des conditions de vie difficiles en Erythrée, surtout du point de vue économique, ce sous l'angle du droit des étrangers (arrêt du TAF E-6449/2017 du 18 avril 2019 consid. 7.4 et 7.5, lequel mentionne en particulier l'état de santé de l'intéressé et l'existence d'un bon réseau familial; cf. art. 83 al. 4 LEI).
2.2. En l'espèce, la cour cantonale a considéré, en substance, que l'expulsion du recourant le placerait dans une situation personnelle grave. En cela, il n'y avait pas lieu de revenir sur le constat tiré du jugement d'appel du 18 avril 2018, concernant le recourant. Toutefois, la cour cantonale a rappelé que, dans cet arrêt d'avril 2018, une dernière chance avait été accordée au recourant pour qu'il prouve sa capacité de se soumettre sur le long terme à un traitement médical et ne plus occuper les instances judiciaires. Cela étant, et compte tenu de l'intégration médiocre du recourant en Suisse, de son ancrage dans la délinquance et de son incapacité de se soumettre à un traitement médical, la cour cantonale a estimé que l'intérêt public à l'expulsion devait désormais l'emporter sur son intérêt privé à demeurer en Suisse.
Par ailleurs, en référence à l'art. 3 CEDH, la cour cantonale a considéré que le recourant ne serait pas exposé à un danger immédiat pour son intégrité physique en cas de retour en Erythrée, dès lors qu'il n'entrait pas dans des catégories définies par le Tribunal administratif fédéral (notamment opposant au régime, fonction en vue avant de quitter le pays, déserteur ou réfractaire au service militaire, en référence aux arrêts du TAF E-6449/2017 du 18 avril 2019 consid. 4.2, D-4429/2017 du 17 avril 2019 consid. 5.2; E-5022/2017 du 10 juillet 2018 consid. 6.1.6).
2.3. Relevant son état de santé ainsi que la situation en Erythrée, le recourant se prévaut d'une violation des art. 25 al. 3 Cst., 3 et 13 CEDH ainsi que de l'art. 3 de la Convention contre la torture.
L'examen d'une violation de l'art. 3 CEDH n'est possible que si les conséquences prévisibles du renvoi de l'intéressé dans l'Etat de destination sont établies, en prenant en compte la situation générale dans ce pays ainsi que les circonstances propres au cas de l'intéressé (cf. sup ra consid. 2.1.3, affaire CourEDH Paposhvili contre Belgique). Or en l'occurrence, si la cour cantonale a présenté les risques de traitements inhumains et de torture auxquels sont exposés certains déserteurs ou opposants au régime erythréen, elle a omis d'envisager les conséquences concrètes du renvoi du recourant, lequel n'a jamais vécu dans le pays, présente un important retard mental et souffre d'une schizophrénie paranoïde. Tout en reconnaissant que le recourant ne bénéficierait pas de soutien médico-légal en Erythrée, la cour cantonale n'a pas vérifié les allégations, documentées par le recourant, relatives à l'absence générale de possibilité de soins psychiatriques dans ce pays, ni comparé son état de santé avant et après l'éventuel éloignement. Une telle omission ne permet pas le contrôle de la bonne application du droit par le Tribunal fédéral.
Toutefois, p our des motifs d'économie de procédure, il convient d'examiner la cause sous l'angle de l'<ref-law>, dont le recourant se prévaut également.
2.4. Ainsi que l'a admis la cour cantonale, l'expulsion du recourant en Erythrée le mettrait dans une situation grave en raison de son état de santé, lequel laisse présager qu'une (ré) intégration dans son pays d'origine serait en pratique très difficile voire impossible, de sorte que la première condition cumulative de l'<ref-law> est remplie. Il reste à déterminer si les intérêts publics présidant à son expulsion l'emportent sur son intérêt privé à demeurer en Suisse. Cet examen implique en particulier de déterminer si la mesure litigieuse respecte le principe de la proportionnalité découlant des art. 5 al. 2 Cst. et 8 par. 2 CEDH.
2.4.1. Il est incontestable que le recourant dispose d'un intérêt privé extrêmement important à demeurer en Suisse. Il y est arrivé à 9 ans avec sa famille, y a suivi sa scolarité, y vit avec sa mère et son frère (lesquels constituent sa seule famille proche) et bénéficie d'une curatelle de portée générale en raison de son état de santé. Les répercussions d'une expulsion sur sa vie familiale et sociale sont graves, ainsi que le relève la cour cantonale. Bien que majeur, le recourant, qui présente un retard mental et souffre d'une schizophrénie paranoïde, n'est pas autonome. Les chances de réinsertion (ou plutôt d'insertion) dans son pays d'origine, dans lequel il n'est jamais allé, sont quasi nulles, étant précisé que rien ne permet de considérer qu'il pourrait y bénéficier d'un encadrement médico-social (cf. jugement entrepris consid. 5.1 p. 21 et 22). Outre l'absence de réseau familial en Erythrée et son mauvais état de santé mentale, rien n'indique, dans le jugement entrepris, que le recourant sera en mesure de réguler sa situation face au régime erythréen (paiement d'une taxe de 2%, lettre de regret d'avoir offensé le gouvernement, accomplissement du service national; cf. supra consid. 2.1.4). Aussi, compte tenu des circonstances personnelles particulières du recourant, lesquelles sont également pertinentes dans le cadre de l'examen de la proportionnalité, il existe une menace existentielle pour ce dernier en cas de renvoi (cf. supra consid. 2.1.4; art. 83 al. 4 LEI).
2.4.2. Les intérêts publics présidant à l'expulsion sont également importants. Le recourant, qui a été condamné à onze reprises, à près de 4 ans de peine privative de liberté au total, n'est absolument pas intégré en Suisse et présente un danger pour la sécurité publique.
2.4.2.1. Le cas particulier d'espèce nécessite toutefois d'examiner ces critères à la lumière de la situation spécifique du recourant.
En effet, il est établi et incontesté que l'enracinement dans la délinquance et le risque de récidive du recourant sont en lien avec ses pathologies psychiatriques (jugement entrepris, consid. 5.1 p. 23). Ainsi, la mauvaise intégration en Suisse du recourant doit être relativisée par le grave état mental qu'il présente (QI de 44 et schizophrénie paranoïde), étant précisé qu'il est arrivé en Suisse alors qu'il avait 9 ans.
A cela s'ajoute qu'un traitement médicamenteux par voie injectable e t un suivi psychiatrique contraignants sont bénéfiques au recourant et permettent non seulement de limiter le risque de récidive mais également d'envisager une activité professionnelle, étant précisé que sitôt que la contrainte est levée, le recourant interrompt son traitement (cf. jugement du tribunal de police du 30 janvier 2019 consid. 6 p. 20 s.). La cour cantonale relève également qu'en 2015, un traitement pendant plus d'une année a permis au recourant de ne plus avoir de troubles du comportement et d'intégrer un atelier avec un taux d'activité minimum de 50% (jugement entrepris, consid. 5.1 p. 23). Ainsi, entre 2015 et 2017, il a travaillé et fait l'objet d'une seule condamnation pour injure et contravention à la LStup (cf. supra consid. B.b et B.c; jugement entrepris consid. C. 1.1 p. 11). Cela étant, et compte tenu des différents avis médicaux (cf. supra consid. B.d), force est de constater qu'une mesure thérapeutique contraignante peut limiter le risque de récidive et améliorer les perspectives professionnelles du recourant. La nécessité d'un traitement contraignant ressort également des déclarations du recourant et de son curateur en appel (cf. supra consid. B.d). Ainsi, contrairement à ce que prétend la cour cantonale, la mise en place de la mesure ambulatoire, dont elle a elle-même ordonné la poursuite (ch. IX du dispositif), est pertinente dans la détermination des intérêts publics présidant à l'expulsion.
2.4.2.2. Par ailleurs, si les antécédents du recourant sont très nombreux et s'étendent sur une longue période, ils concernent en grande partie des infractions dirigées contre le patrimoine. Au moment des faits reprochés, il n'y a pas eu de gravité croissante des infractions depuis l'acte de brigandage jugé en 2012, le recourant ayant été condamné, depuis lors, à des peines allant de 10 jours-amende à 6 mois de peine privative de liberté.
2.4.2.3. Dans la présente cause, une peine privative de liberté de 90 jours a été prononcée contre le recourant, pour avoir tenté de dérober des biens dans un restaurant, pour avoir pénétré dans l'appartement d'un tiers (dont la porte n'était pas verrouillée) et y avoir dérobé deux téléphones portables (cf. sur les cas bagatelles: FIOLKA/VETTERLI, op. cit., ch. 4.2.3 p. 92). Le tribunal de première instance a estimé que les actes étaient de peu de gravité, le recourant n'ayant jamais adopté un comportement violent, et a admis une diminution de responsabilité, dans une mesure légère à tout le moins (jugement de première instance, consid. 4 p. 18).
En outre, il y a lieu de tenir compte, dans l'appréciation des intérêts publics, que la condition à l'expulsion obligatoire déduite de l'art. 66a al. 1 let. d CP est réalisée en l'espèce, du seul fait que la lésée a déposé plainte pour violation de domicile (cf. sur le caractère particulier de cette disposition, FIOLKA/VETTERLI, ibidem et la référence citée; cf. également arrêt 6B_1221/2018 du 27 septembre 2019 consid. 1.5, destiné à la publication aux ATF).
2.4.2.4. Il résulte de ce qui précède que l'importance de l'intérêt public à l'expulsion du recourant est relativisée par son profil très particulier, compte tenu de son grave handicap mental, de ses troubles psychiatriques et de l'absence totale d'autonomie qui en découle (curatelle de portée générale et dépendance de sa mère et des services sociaux). La nature des infractions reprochées et la peine prononcée en l'espèce, le parcours délictuel du recourant ainsi que les bénéfices de la mise en oeuvre de la mesure ambulatoire ordonnée (limitation du risque de récidive et amélioration de l'intégration en Suisse) sont également pertinents dans l'appréciation des intérêts publics.
2.4.3. Déterminer si le recourant a honoré " l'ultime chance " qui lui avait été donnée dans le jugement d'avril 2018 pour démontrer sa capacité de se soumettre à un traitement et de ne plus occuper les instances judiciaires n'est pas un critère pertinent dans l'examen des conditions de l'art. 66a al. 1 et 2 CP. Un tel raisonnement reviendrait à envisager une forme de sursis à l'expulsion, lequel ne ressort pas de la loi.
Cette considération mise à part, d ans le cadre de la pesée des intérêts, il y a lieu de relever, d'une part, l'extrême gravité des conséquences d'une expulsion en Erythrée (pays dont la situation sous l'angle des droits humains est préoccupante) pour le recourant, lequel présente une situation personnelle particulière (retard mental et schizophrénie paranoïde, absence d'autonomie, aucun lien avec son pays d'origine, improbabilité d'y réguler sa situation). D'autre part, il convient de tenir compte, tant de la mauvaise intégration du recourant et de ses antécédents, - lesquels sont en lien avec son état mental -, que de la nature et la gravité des infractions en cause, de la peine prononcée ainsi que de la possibilité de mettre en oeuvre une mesure apte à réduire de risque de récidive et à favoriser l'intégration du recourant.
Dans les circonstances très particulières du cas d'espèce, l'intérêt privé du recourant à rester en Suisse l'emporte sur l'intérêt public à l'expulsion, de sorte que les conditions de l'<ref-law> sont réalisées. Dans l'hypothèse où le recourant devait à nouveau être condamné - étant relevé que son extrait de casier judiciaire mentionnait deux nouvelles enquêtes pénales pendant la procédure cantonale - il y aurait lieu d'apprécier les intérêts en cause à la lumière des facteurs pertinents au regard de la situation particulière (notamment état mental et degré de responsabilité du recourant).
2.4.4. En définitive, indépendamment de savoir si les art. 3 CEDH et 3 de la Convention contre la torture sont violés en l'espèce (cf. supra consid. 2.3), il doit être renoncé à expulser le recourant dans la présente procédure.
Il se justifie par conséquent d'admettre le recours et de renvoyer la cause à la cour cantonale.
3.
Le recours doit être admis, le jugement attaqué annulé et la cause renvoyée à la cour cantonale pour nouvelle décision. Le recourant, qui obtient gain de cause, ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à des dépens, à la charge du canton de Vaud (<ref-law>). Sa demande d'assistance judiciaire est sans objet (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera en mains du conseil du recourant une indemnité de 3'000 fr. pour ses dépens dans la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 novembre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke