Faits :
A.
Par jugement du 2 juin 2015, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a reconnu X._ coupable d'infraction grave, d'infraction simple et de contravention à la LStup (Loi fédérale sur les stupéfiants du 3 octobre 1951; RS 812.121) et l'a condamné à une peine privative de liberté de 14 mois, peine d'ensemble avec le solde de la détention liée au jugement du Tribunal des mineurs du 6 février 2013, sous déduction de la détention subie avant jugement, et à une amende de 300 fr., la peine privative de liberté de substitution étant de 6 jours. En outre, le Tribunal correctionnel a notamment ordonné que X._ soit soumis à un traitement institutionnel avec obligation de soins en milieu fermé au sens de l'art. 59 al. 3 CP.
B.
Statuant sur l'appel formé par X._ sur la question du traitement institutionnel, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud l'a rejeté et a confirmé le dispositif de première instance, par jugement du 17 novembre 2015.
En substance, les faits pertinents pour l'issue de la cause sont les suivants.
B.a. X._ est né en 1994. Après un passage dans l'enseignement spécialisé, il a été placé dans divers foyers jusqu'à sa majorité. Depuis lors, X._ est au bénéfice d'une curatelle de portée générale. Durant l'année 2013 et au début de l'année 2014, il a bénéficié de stages en vue de son insertion professionnelle. L'assurance invalidité a toutefois refusé d'accorder des mesures de réinsertion, estimant sa capacité de travail nulle.
B.b. Entre mars 2013 et le 24 mars 2014, date de son interpellation, X._ a vendu un total d'environ 900 g de marijuana à au moins 18 clients réguliers dont l'âge oscillait entre 16 et 30 ans. Entre le 26 mars 2014, lendemain de son audition devant le procureur, et le 25 juillet 2014, date d'une nouvelle interpellation par la police, X._ a recommencé son trafic de stupéfiants en vendant à 24 personnes au moins (dont 7 mineurs) des ecstasys, de la marijuana et du haschich. Le bénéfice total résultant de ces trafics s'élève à 10'031 francs.
Par ailleurs, du 2 février 2013 au 25 juillet 2014, X._ a consommé régulièrement de la marijuana et du haschich ainsi que des ecstasys à 2 ou 3 reprises.
B.c. Le casier judiciaire de X._ comporte trois inscriptions.
Il a été condamné le 6 février 2013 à une peine privative de liberté de deux mois, puis les 29 avril 2013 et 23 février 2014 à des peines pécuniaires de 90, respectivement 180 jours-amende, et à des amendes de 300 fr., respectivement 200 fr., pour appropriation illégitime, tentative de brigandage, brigandage, dommages à la propriété, violation de domicile, violences ou menaces contre les autorités ou les fonctionnaires, violation des règles de la circulation routière, vols d'usage d'un véhicule automobile, conduites d'un véhicule automobile sans permis de conduire, vol, injure et contraventions à la LStup.
B.d. X._ a fait l'objet d'une expertise psychiatrique, établie le 22 décembre 2014, dont il ressort qu'il souffre d'un trouble envahissant du développement, communément appelé séquelles de psychose infantile, de troubles mentaux et troubles du comportement liés à l'utilisation de dérivés de cannabis et d'un syndrome de dépendance, actuellement abstinent mais dans un environnement protégé. Ces troubles peuvent être considérés comme graves. Ils existaient déjà au moment de la commission des faits reprochés. La consommation de cannabis, entamée depuis l'année 2010, comporte une aggravation de la symptomatologie psychotique. Son fonctionnement est caractérisé par une forte impulsivité, sans mise en question possible de ses actes.
S'agissant du risque de récidive, les experts retiennent que X._ est susceptible de commettre de nouvelles infractions et que le risque est élevé dans les mêmes registres que les infractions précédemment commises (trafic de stupéfiants, brigandage, etc.). Ils préconisent dès lors un placement institutionnel dans un foyer fermé pour un temps déterminé avec obligation de soins pendant et après le placement, de type établissement pour jeunes adultes, le cadre pouvant être élargi selon l'évolution du comportement. Le soin de la dépendance est possible et favoriserait une réduction du risque de récidive, ceci en association avec le traitement anti-psychotique. Les experts exposent en outre que l'intéressé est anosognosique et refuse de se soumettre à un traitement psychiatrique. A leur sens, les soins doivent être de nature obligatoire et restent indiqués malgré leur caractère non volontaire. Ils doutent qu'un traitement ambulatoire permette de baisser le risque de récidive.
A l'audience de première instance, l'expert a notamment précisé qu'au niveau clinique, une mesure était nécessaire pour prévenir un risque de récidive, un environnement restrictif au niveau de la liberté étant favorable. S'agissant du traitement à mettre en place, l'expert a considéré que celui-ci devait comporter un volet pharmacologique et un volet socio-éducatif. L'expertisé n'a en effet pas de frein intérieur, ou insuffisamment, qui lui permettrait de gérer les aspects impulsifs de sa pathologie. Toutefois, il est conscient du caractère illicite de ses actes et des conséquences éventuelles. De par son trouble, il choisit de fixer lui-même la frontière entre ce qui est admissible et ce qui ne l'est pas. L'encadrement socio-éducatif devrait impérativement se dérouler dans un milieu assez restrictif au niveau du contrôle de la liberté du prévenu, soit dans un foyer ou en milieu carcéral.
C.
X._ forme un recours en matière pénale contre la décision cantonale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'en lieu et place d'un traitement institutionnel (art. 59 CP), un traitement ambulatoire au sens de l'art. 63 CP, subordonné à diverses obligations est ordonné. Subsidiairement, il conclut à la réforme du jugement cantonal en ce sens qu'en lieu et place d'un traitement institutionnel, une mesure de traitement applicable aux jeunes adultes (art. 61 CP) est ordonné. Plus subsidiairement, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la cour cantonale. Il sollicite en outre le bénéfice de l'assistance judiciaire.
Invités à se déterminer sur le mémoire de recours, la cour cantonale et le Ministère public y ont renoncé, se référant aux considérants de la décision entreprise.

Considérant en droit :
1.
Le recourant estime que le traitement institutionnel ne se justifie pas sous l'angle du principe de la proportionnalité et que seuls une mesure de placement dans un établissement pour jeunes adultes au sens de l'art. 61 CP, respectivement un traitement ambulatoire (art. 63 CP) pouvaient être prononcés.
1.1. Selon l'art. 56 al. 1 CP, une mesure doit être ordonnée si une peine seule ne peut écarter le danger que l'auteur commette d'autres infractions (let. a), si l'auteur a besoin d'un traitement ou que la sécurité publique l'exige (let. b) et si les conditions prévues aux art. 59 à 61, 63 ou 64 sont remplies (let. c). La mesure prononcée doit respecter le principe de la proportionnalité, c'est-à-dire que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (art. 56 al. 2 CP).
1.1.1. Selon l'art. 59 al. 1 CP, un traitement thérapeutique institutionnel peut être ordonné en faveur d'une personne souffrant d'un grave trouble mental (a) si elle a commis un crime ou un délit en relation avec ce trouble et (b) s'il est à prévoir que cette mesure la détournera de nouvelles infractions en relation avec ce trouble.
1.1.2. L'art. 61 al. 1 CP prévoit que si l'auteur avait moins de 25 ans au moment de l'infraction et qu'il souffre de graves troubles du développement de la personnalité, le juge peut ordonner son placement dans un établissement pour jeunes adultes aux conditions suivantes: l'auteur a commis un crime ou un délit en relation avec ces troubles (let. a); il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ces troubles (let. b). La mesure applicable aux jeunes adultes entend maintenir pour l'essentiel le principe de l'éducation au travail prévu par l'art. 100 bis aCP, en vigueur jusqu'au 31 décembre 2006. Dans ce contexte, la jurisprudence développée sous l'empire de l'ancien droit est toujours d'actualité (<ref-ruling> consid. 2.1.2 p. 51 et les références citées). La mesure prévue à l'art. 61 CP est ordonnée principalement en raison de l'état personnel du jeune adulte délinquant et de sa capacité à recevoir un soutien socio-pédagogique et thérapeutique pouvant influencer favorablement le développement de sa personnalité (Message du 21 septembre 1998 concernant la modification du code pénal suisse et du code pénal militaire ainsi qu'une loi fédérale régissant la condition pénale des mineurs, FF 1999 1887 ch. 213.423). Un tel placement doit par conséquent être réservé aux jeunes adultes qui peuvent encore être largement influencés dans leur développement et qui apparaissent accessibles à cette éducation. Moins l'intéressé semble encore malléable, moins cette mesure peut entrer en considération. En outre, les carences du développement pertinentes sous l'angle pénal doivent pouvoir être comblées par l'éducation, en tout cas dans la mesure où ce moyen permet de prévenir une future délinquance. Le placement implique une disposition minimale à coopérer, le jeune adulte devant présenter un minimum de motivation (<ref-ruling> consid. 2.1.2 p. 52 et les arrêts cités)
Par ailleurs, les auteurs dangereux n'ont pas leur place dans un établissement pour jeunes adultes. D'abord, la dangerosité parle en défaveur de l'efficacité de la mesure. En outre, de tels délinquants peuvent mettre en cause la sécurité de ces établissements, qui ont une mission limitée à l'éducation et qui n'ont pas à assumer en première ligne des problèmes de sécurité. Enfin, les auteurs dangereux risquent d'exercer une influence négative sur les autres jeunes. La dangerosité doit être déterminée par un pronostic, notamment en fonction du type de délit et de la manière dont il a été commis. Des actes de violence passibles d'une peine élevée constituent en tout cas un indice de dangerosité. Toutefois, ce qui est décisif, c'est la dangerosité de l'auteur, mais non celle de l'acte (<ref-ruling> consid. 2.1.2 p. 52 et l'arrêt cité).
En résumé, le placement dans un établissement pour jeunes adultes est fondé sur des considérations tirées du droit pénal des mineurs et ne visent donc que les auteurs qui peuvent encore être classés, d'après leur structure de personnalité et leur manière d'agir, dans le large cercle de la délinquance adolescente. Dans ce cadre, les critères essentiels permettant de prononcer ce placement sont les carences dans le développement caractériel, l'éducabilité, la prévention de la délinquance et l'absence de dangerosité. Nonobstant sa formulation potestative, si les conditions de l'art. 61 CP sont remplies, le juge est tenu d'ordonner ce placement (<ref-ruling> consid. 2.1.2 p. 52 s. et les arrêts cités)
1.1.3. Un traitement ambulatoire peut être prononcé au sens de l'art. 63 CP lorsque l'auteur souffre d'un grave trouble mental, est toxico-dépendant, ou souffre d'une autre addiction (al. 1), qu'il a commis un acte en rapport avec cet état (let. a) et qu'il est à prévoir que le traitement le détournera de nouvelles infractions en relation avec son état (let. b).
1.1.4. Pour ordonner une des mesures prévues aux art. 59 à 61, 63 et 64 CP, le juge doit se fonder sur une expertise. Celle-ci doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions et la nature de celles-ci, et sur les possibilités de faire exécuter la mesure (art. 56 al. 3 CP). Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise. Inversement, si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 2.1.3 p. 53).
1.2. La cour cantonale a retenu que le recourant souffrait d'un trouble envahissant du développement (séquelles de psychose infantile), de troubles mentaux et de troubles du comportement liés à l'utilisation de dérivés de cannabis et d'un syndrome de dépendance. Ces troubles pouvaient être considérés comme graves et existaient déjà au moment des faits reprochés. Elle a considéré que la commission des infractions à la LStup étaient en relation avec ces troubles. Elle a retenu, sur la base de l'expertise psychiatrique, que le risque de récidive (trafic de stupéfiants, brigandage, etc.) était élevé.
S'agissant du type de mesure susceptible de détourner le recourant de nouvelles infractions, la cour cantonale a estimé qu'un traitement ambulatoire au sens de l'art. 63 CP ou une mesure applicable aux jeunes adultes visée par l'art. 61 CP seraient totalement vains et illusoires. Selon elle, seul un traitement thérapeutique institutionnel était envisageable et propre à prévenir la commission de nouvelles infractions. Pour parvenir à cette conclusion, la cour cantonale a notamment pris en compte l'échec de l'ensemble des mesures mises en place jusqu'alors (placement à la Maison des Jeunes; un mois d'observation au CPA de Valmont; stage professionnel à l'Institut St-Raphaël; formation de type AI au Repuis; retour à la Maison des Jeunes, suivi auprès de Vif'Ados; placement au foyer d'éducation des Prêles). Elle a également relevé que le recourant était anosognosique et n'était pas disposé à se soumettre à un traitement psychiatrique. Elle a considéré qu'il ne faisait preuve d'aucune motivation ou coopération, ayant d'ailleurs indiqué à un agent de probation qu'il ne voulait pas retourner en foyer, précisant qu'il pouvait mal se comporter si on le forçait. Son comportement en détention démontrait également qu'il avait beaucoup de peine à respecter les directives et règlements demandés par l'établissement (sanctionné à trois reprises pour fraude et trafic, urine positive au THC et atteinte à l'intégrité physique) malgré les nombreux recadrages par le personnel de surveillance.
1.3. Il est établi que le recourant était âgé de moins de 25 ans lors des faits reprochés. Il ne conteste pas l'existence des troubles et leur connexité aux infractions commises. Il conteste toutefois la proportionnalité de la mesure de traitement institutionnel, laquelle reposerait sur des éléments non pertinents. Il prétend que les juges se seraient écartés de manière arbitraire de l'expertise psychiatrique en retenant qu'il n'était pas accessible à une mesure applicable aux jeunes adultes. Il s'en prend également à l'établissement du risque de récidive.
1.4. C'est en vain que le recourant tente de mettre en doute le degré du risque de récidive retenu en prétendant que l'expert se serait fondé sur des données statistiques. Il ressort du rapport d'expertise et des débats de première instance que l'expert s'est fondé sur le contexte actuel et l'examen clinique du recourant. Ainsi, quand bien même l'expert évoque un taux de récidive primaire de 50% à 6 ans, tiré de données scientifiques qu'il qualifie d'un peu anciennes, celui-ci n'est pas déterminant dans l'établissement du pronostic lequel repose sur des données concrètes. En tout état, le recourant ne tente pas de démontrer l'arbitraire de la méthode employée pour déterminer le risque de récidive.
1.5. Quand bien même la cour cantonale a exclu tant la mesure applicable aux jeunes adultes (art. 61 CP) que le traitement ambulatoire (art. 63 CP) dans un même considérant, cela ne signifie pas qu'elle a examiné la proportionnalité de ces mesures sur la base des mêmes critères.
1.5.1. Contrairement à ce que soutient le recourant, la cour cantonale s'est fondée sur des critères pertinents pour exclure le prononcé d'une mesure au sens de l'art. 61 CP. Elle a d'une part retenu que le recourant ne démontrait pas de disposition à coopérer ni aucune motivation au placement, ce qu'il ne conteste pas sous l'angle de l'arbitraire. En outre, la cour cantonale a rappelé que le recourant déniait ses troubles psychiatriques et avait mis en échec des mesures éducatives à 7 reprises entre 2010 et 2013, en se montrant désinvesti et démotivé. Il résulte du casier judiciaire du recourant que ces mesures ne l'ont d'ailleurs pas détourné de la délinquance. Dans ces circonstances, force est de constater que le recourant n'apparaît pas accessible à une mesure éducative pouvant largement influencer son développement et sa propension à la délinquance.
Certes, les experts considèrent qu'il est nécessaire d'ordonner le placement dans un établissement pour jeunes adultes et que le traitement devrait comporter un double volet pharmacologique et socio-éducatif (cf. rapport d'expertise, réponse 6.2 et PV d'audition à l'audience de première instance, p. 6). Toutefois, ils estiment également qu'un placement institutionnel est nécessaire pour diminuer le risque de récidive lié aux troubles mentaux (cf. rapport d'expertise, réponse 4.2). Selon les experts, le recourant n'est pas disposé à se soumettre à un placement, lequel demeure toutefois indiqué et conserve des chances de succès (cf. rapport d'expertise, réponse 6.3). Au vu de ce qui précède, l'on ne saurait considérer que les juges cantonaux se soient écartés sans motifs de l'expertise judiciaire. Ils ont procédé à son appréciation au regard des éléments pertinents pour le choix de la mesure, étant rappelé que le juge conserve une certaine marge d'appréciation quant au pronostic sur l'aptitude de la mesure à prévenir la commission de nouvelles infractions (cf. QUELOZ/BÜTIKOFER REPOND, Commentaire romand, Code pénal I, n° 16 ad art. 61 CP).
1.5.2. Quant au traitement ambulatoire, le recourant échoue à démontrer dans quelle mesure il pourrait le détourner de nouvelles infractions en relation avec son état. Sur ce point, les psychiatres ont d'ailleurs expressément déclaré qu'il était douteux que des soins ambulatoires obligatoires permettent de baisser la récidive et ont insisté sur la nécessité d'un encadrement.
1.6. Sur la base de l'avis des experts, du risque de récidive et compte tenu des éléments pertinents mis en évidence par la cour cantonale, celle-ci n'a pas violé le principe de proportionnalité en prononçant une mesure institutionnelle plutôt qu'un placement pour jeunes adultes, respectivement un traitement ambulatoire. Cette mesure n'apparaît pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (art. 56 al. 2 CP).
2.
Le recourant fait valoir que les juges cantonaux ont excédé les limites de leurs compétences en ordonnant l'exécution de la mesure institutionnelle en milieu fermé au sens de l'art. 59 al. 3 CP. Selon lui, il ne leur appartenait que de déterminer le type de mesure, à l'exclusion du lieu d'exécution.
2.1.1 En règle générale, le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (art. 59 al. 2 CP). L'art. 59 al. 3 CP prévoit que, tant qu'il existe un risque de fuite ou de récidive, le traitement doit être exécuté dans un établissement fermé; il peut aussi être effectué dans un établissement pénitentiaire au sens de l'art. 76 al. 2 CP, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (art. 59 al. 3, 2e phrase, CP). L'art. 59 al. 3 CP subordonne le traitement dans un établissement fermé à un risque de fuite ou de récidive. Selon la jurisprudence, il doit s'agir d'un risque qualifié, puisque toutes les mesures supposent un risque de récidive (cf. art. 56 al. 1 let. b CP). Le risque est qualifié quand il est concret et qu'il est hautement probable que le condamné commette d'autres infractions dans l'établissement ou en dehors de celui-ci. Il s'agit d'un danger qui ne peut être combattu que par le placement dans un établissement fermé. Conformément au principe de la proportionnalité, l'exécution de la mesure dans un établissement fermé suppose une sérieuse mise en danger de biens juridiques essentiels (arrêt 6B_1040/2015 du 29 juin 2016 consid. 5.1 et les arrêts cités).
2.1.2 La loi ne désigne pas l'autorité compétente pour ordonner le placement en milieu fermé selon l'art. 59 al. 3 CP. Selon la jurisprudence, le choix du lieu d'exécution de la mesure thérapeutique institutionnelle constitue une modalité d'exécution de la mesure qui relève de la compétence de l'autorité d'exécution (<ref-ruling> consid. 2.5 p. 10 et les références citées; cf. arrêt 6B_629/2009 du 21 décembre 2009 consid. 1.2.3). Cela étant, si un placement en milieu fermé apparaît déjà nécessaire au moment du prononcé du jugement, le juge peut et doit l'indiquer dans les considérants en traitant des conditions de l'art. 59 al. 3 CP (<ref-ruling> consid. 2.4.4 p. 9 et 2.5 p. 10 s.; cf. arrêt 6B_629/2009 du 21 décembre 2009 consid. 1.2.3). Dans ces circonstances, il est souhaitable que le tribunal s'exprime dans les considérants de son jugement - mais non dans son dispositif - sur la nécessité d'exécuter la mesure en milieu fermé et recommande une telle modalité d'exécution, de manière non contraignante, à l'autorité d'exécution (<ref-ruling> consid. 2.5 p. 10 s.; arrêt 6B_1040/2015 du 29 juin 2016 consid. 3.1.1).
2.2. Il ressort du jugement cantonal que le risque de récidive du recourant relatif à des infractions précédemment commises (trafic de stupéfiants, brigandage, etc.) est élevé. Les experts ont préconisé un placement institutionnel dans un foyer fermé avec obligations de soins. Selon eux, un passage en hôpital psychiatrique était totalement contre-indiqué, un environnement restrictif au niveau de la liberté étant favorable (jugement entrepris consid. C.2.2 p. 11 s.). D'après l'office d'exécution des peines, la mesure qui s'apparentait le plus aux propositions de placement des experts avec les moyens à disposition était, dans un premier temps, un placement en secteur fermé dans un établissement d'exécution des peines disposant du personnel médical nécessaire au recourant. En cas de comportement favorable, un placement en secteur ouvert pouvait ensuite être envisagé (jugement entrepris consid. B p. 9). Sur la base de ces éléments, la cour cantonale a considéré que le risque de récidive était élevé en l'absence de mesures d'encadrement sur le long terme et a ainsi tenu les conditions de l'art. 59 al. 3 CP pour réalisées.
2.3. Contrairement à ce que prétend le recourant, l'on ne saurait reprocher aux juges cantonaux d'avoir examiné les conditions de l'art. 59 al. 3 CP dans leurs considérants, dans la mesure où le placement en milieu fermé apparaissait nécessaire au moment du prononcé du jugement. A cet égard, il ne formule aucun grief relatif au lieu d'exécution de la mesure de traitement institutionnel. En tant qu'il conteste la méthode employée par les experts pour déterminer le risque de récidive, il est renvoyé supra au consid. 1.4. La récidive porte notamment sur des infractions de mise en danger de biens essentiels, ce qui n'est pas critiqué. Pour le surplus, le recourant ne conteste pas sa dangerosité ni la nécessité de prévoir des soins obligatoires.
C'est en vain que le recourant s'en prend à l'actualité de l'expertise psychiatrique. Bien qu'elle ait été établie en décembre 2014, les éléments pris en compte dans le jugement cantonal (novembre 2015) pour l'examen du lieu d'exécution ressortent en particulier de l'audition de l'expert aux débats de première instance tenus en juin 2015. Par ailleurs, c'est de manière purement appellatoire, partant irrecevable, que le recourant prétend que les juges cantonaux ne disposaient pas des éléments nécessaires pour apprécier avec suffisamment de recul l'interruption du traitement et que cette dernière se passerait bien.
En définitive, les critères pris en compte par la cour cantonale sont pertinents pour l'examen des conditions de placement en milieu fermé au sens de l'art. 59 al. 3 CP, de sorte qu'on ne perçoit pas de violation du droit fédéral à cet égard. Seule l'intégration dans le dispositif du jugement (ch. II.IV) de l'exécution en milieu fermé de la mesure institutionnelle est critiquable au regard de la jurisprudence récente (<ref-ruling> précité), dès lors que la réalisation des conditions de l'art. 59 al. 3 CP quant au caractère fermé de l'exécution n'a à être abordée que dans les considérants du jugement. Aussi, il y a lieu d'admettre le recours sur ce point. L'arrêt sera réformé sans qu'il y ait lieu de renvoyer la cause à la cour cantonale.
3.
Le recourant a requis l'assistance judiciaire. Il peut prétendre à une indemnité de dépens réduite (art. 68 al. 1 LTF), ce qui rend sa demande d'assistance judiciaire sans objet dans cette mesure. Elle est rejetée pour le surplus, le recours étant dénué de chances de succès en ce qui concerne les autres griefs (art. 64 al. 1 LTF). Le recourant supporte des frais réduits en raison de l'issue de la cause et de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est très partiellement admis et le jugement attaqué est réformé en ce sens qu'un traitement institutionnel avec obligation de soins (art. 59 CP) est prononcé. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le canton de Vaud versera au conseil du recourant une indemnité réduite de 500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La demande d'assistance judiciaire est rejetée, dans la mesure où elle n'est pas sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er novembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke