Faits :
A.
Par jugement du 30 juillet 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a constaté que X._ s'était rendu coupable de lésions corporelles simples, voies de fait, agression, vol, brigandage, injure, utilisation abusive d'une installation de télécommunication, menaces, faux dans les certificats, violence ou menace contre les autorités et les fonctionnaires, conduite sans permis de conduire, infraction à la Loi fédérale sur les armes (LArm) et contravention à la Loi fédérale sur les stupéfiants (LStup). Le Tribunal correctionnel a condamné X._ à une peine privative de liberté de 30 mois, sous déduction de 237 jours de détention déjà subis et de 9 jours à titre de réparation du tort moral pour la détention dans des conditions illicites, a révoqué la libération conditionnelle accordée le 2 décembre 2014 par la Présidente du Tribunal des mineurs et ordonné l'exécution du solde des peines, a ordonné son maintien en détention pour des motifs de sûreté et, enfin, a ordonné le traitement de ses troubles mentaux en milieu fermé au sens de l'<ref-law>. Il a également statué sur les conclusions civiles, les frais et les dépens.
B.
Par arrêt du 18 janvier 2016, la Chambre d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._.
Ce jugement repose notamment sur les éléments suivants:
B.a. X._ est né le *** 1994. Actuellement célibataire, il est le père de l'enfant B._, née le *** 2014. Entre le 2 décembre 2014 et le 6 janvier 2015, X._ s'est fréquemment disputé avec son amie et mère de sa fille, A._, chez qui il résidait depuis sa sortie de prison, elle-même habitant avec sa mère et son beau-père. En particulier, le 2 janvier 2015, X._ a frappé A._ d'un violent coup de poing à la cuisse. Il lui a donné des coups de pied dans les jambes et l'a saisie par les cheveux ainsi que par le col. Il l'a également menacée avec un couteau de cuisine et lui a craché dessus. Le 6 janvier 2015, au cours d'une nouvelle dispute, X._ a craché au visage de A._, l'a traitée de " sale pute " et l'a frappée d'un coup de poing sur le haut du crâne. C._, la mère de A._, est intervenue pour demander à X._ de s'en aller. Après lui avoir dit qu'il allait la " niquer ", le recourant l'a saisie derrière la nuque, tout en approchant son visage contre le sien. L'époux de C._, D._, s'est interposé et X._ a quitté les lieux. Le même jour dans l'après-midi, X._ a adressé au moins 19 SMS à A._, lui faisant savoir qu'il allait s'en prendre à elle et à sa famille.
Les autres faits retenus par la cour cantonale à l'encontre de X._ ne sont pas contestés par celui-ci. On peut dès lors se limiter à renvoyer au jugement entrepris à cet égard.
B.b. Le casier judiciaire de X._ comporte trois inscriptions. Il a été condamné le 12 juin 2013 par le Tribunal correctionnel de Lausanne à une peine privative de liberté de 24 mois et une amende de 1000 fr., exécution de la peine suspendue au profit d'un traitement institutionnel des addictions (<ref-law>) ainsi que d'un traitement ambulatoire (<ref-law>), le 27 juin 2013 par le Tribunal des mineurs de Lausanne à une peine privative de liberté DPMin de 11 mois, exécution de la peine suspendue au profit d'un traitement institutionnel des addictions (<ref-law>), et le 28 juin 2013 par le Tribunal des mineurs de Lausanne à une peine privative de liberté DPMin de 1 mois, exécution de la peine suspendue au profit d'un traitement institutionnel des addictions (<ref-law>). Les infractions retenues par ces autorités sont des lésions corporelles simples, mise en danger de la vie d'autrui, vols, brigandages simples ou muni d'une arme, violations de domiciles, menaces, délits contre la LArm, dommages à la propriété, vols d'usage d'un véhicule automobile, utilisation frauduleuse d'un ordinateur, recel, injure, faux dans les certificats, violence ou menace contre les autorités et les fonctionnaires, conducteur se trouvant dans l'incapacité de conduire et conduite d'un véhicule sans permis de conduire, usage abusif de permis et/ou de plaques de contrôle, violation des règles de la circulation routière et des obligations en cas d'accident et contravention à la LStup.
Par décision du 1er décembre 2014, la Présidente du Tribunal des mineurs a accordé à X._ la libération conditionnelle des peines prononcées les 27 et 28 juin 2013, fixant à six mois le délai d'épreuve. La liberté conditionnelle était notamment subordonnée à la condition que X._ entreprenne un suivi thérapeutique.
B.c. Placé en détention provisoire du 7 janvier au 16 juin 2015 dans le cadre de la présente procédure, X._ exécute sa peine de manière anticipée depuis le 17 juin 2015. Il a été sanctionné disciplinairement à quatre reprises entre avril et juillet 2015, dont la dernière fois pour avoir menacé des agents de détention.
B.d. Dans le cadre d'une précédente affaire, une expertise psychiatrique avait été ordonnée. Les Drs E._ et F._ avaient alors déposé leur rapport le 12 octobre 2012, complété le 17 janvier 2013 à la demande de l'autorité d'instruction. Un complément d'expertise a été requis du Dr E._ le 17 décembre 2015 par la Cour d'appel. Selon ces expertises, X._ souffre d'un trouble mixte de la personnalité (immature, impulsive et dyssociale), d'un syndrome de dépendance à l'alcool et d'un syndrome de dépendance au cannabis, qualifiés de graves. La responsabilité de l'expertisé était diminuée dans une mesure moyenne. Le risque de récidive pour des infractions de même nature a été évalué comme étant élevé.
C.
Agissant par la voie du recours en matière pénale auprès du Tribunal fédéral, X._ conclut, avec suite de frais et dépens, à la réforme du jugement du 18 janvier 2016 en ce sens qu'il est condamné à une peine privative de liberté de 24 mois, sous déduction des jours de détention déjà subis et des jours déduits à titre de réparation du tort moral, et soumis à un traitement de ses addictions en milieu ouvert au sens de l'<ref-law>. Subsidiairement, il conclut à sa condamnation à une peine équitable dont la quotité sera fixée à dire de justice et à ce qu'il soit ordonné un traitement de ses addictions en milieu ouvert au sens de l'<ref-law>. Il sollicite par ailleurs l'assistance judiciaire.
D.
Invités à se déterminer sur le mémoire de recours, la cour cantonale et le Ministère public y ont renoncé, se référant aux considérants de la décision entreprise.

Considérant en droit :
1.
Le recourant produit un bordereau de pièces qui figurent pour la plupart déjà au dossier cantonal. Les pièces nouvelles sont irrecevables (<ref-law>).
2.
Bien que le recourant ne prenne aucune conclusion tendant à son acquittement, même partiel, des faits qui lui sont reprochés, on comprend de la motivation de son recours qu'il nie avoir porté des coups à son ex-amie A._ les 2 et 6 janvier 2015, sans toutefois contester les menaces et injures envoyées par SMS. Il se plaint d'arbitraire dans l'établissement des faits et dénonce la violation de la présomption d'innocence.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53 et les références citées; <ref-ruling> consid. 6.1 p. 205).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst. et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle sur l'appréciation des preuves, elle est violée lorsque le juge, qui s'est déclaré convaincu, aurait dû éprouver des doutes quant à la culpabilité du prévenu au vu des éléments de preuve qui lui étaient soumis (<ref-ruling> consid. 2a p. 40 s. et les références citées). Dans cette mesure, elle se confond avec l'interdiction générale de l'arbitraire, prohibant une appréciation reposant sur des preuves inadéquates ou sans pertinence (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.3 p. 266).
2.2. La cour cantonale a constaté que tant dans sa plainte que lors de ses auditions ultérieures, A._ avait indiqué avoir reçu du recourant un coup sur la tête en date du 6 janvier 2015 et d'autres coups dans la partie inférieure de son corps le 2 janvier 2015. Les déclarations de la victime étaient à cet égard constantes, cohérentes et crédibles, sans qu'il n'existât de motifs pertinents pour les mettre en doute. Elles étaient corroborées par le constat médical établi le 7 janvier 2015 par l'Unité de médecine des violences de G._. De plus, la mère de A._, présente lors des événements du 6 janvier 2015, avait confirmé la violence du recourant, précisant que sa fille lui avait dit que son ami la battait. Il en allait de même du beau-père de la victime, qui avait relevé que A._ était descendue de sa chambre en pleurs en disant que X._ l'avait frappée et lui avait craché au visage. Enfin, les messages adressés par l'intéressé à son amie attestaient également de sa violence et de son impulsivité. Le fait que l'enfant B._ ait été ultérieurement hospitalisée à la suite de mauvais traitements, que la mère de l'enfant soit aujourd'hui sous le coup d'une enquête pénale et qu'elle ait eu un comportement ambivalent à la suite de l'audience de première instance ne permettait pas de douter de la réalité des événements précités.
2.3. Exposant la même argumentation qu'en appel, le recourant s'en prend pour l'essentiel aux considérants du tribunal de première instance. Ce faisant, il ne formule pas de grief recevable à l'encontre de la décision de dernière instance cantonale (cf. art. 42 al. 2 et 80 al. 1 LTF). En lien avec le jugement attaqué, le recourant se limite à suggérer que A._ aurait été frappée par son nouveau compagnon, sans pour autant contester s'être trouvé chez cette dernière les 2 et 6 janvier 2015. Il allègue " que le manque d'argumentation [du jugement attaqué] laisse très clairement apparaître que l'autorité de seconde instance a elle aussi versé dans l'arbitraire ", mais ne discute pas les éléments de preuve retenus à l'appui de l'appréciation cantonale. Dans la mesure où le recourant n'explique nullement en quoi les considérations du jugement attaqué seraient insoutenables, la motivation présentée ne satisfait pas aux exigences de l'<ref-law>. Elle est, partant, irrecevable.
Au demeurant, au regard du faisceau de preuves incriminant le recourant, l'appréciation de la cour cantonale n'apparaît pas insoutenable. La cour cantonale pouvait ainsi retenir sans arbitraire que le recourant avait commis les actes de violence dénoncés par A._. Le grief est rejeté dans la mesure de sa recevabilité, également dans la mesure où il est porté à l'encontre des conclusions civiles de l'intimée.
3.
Le recourant conteste la peine qui lui a été infligée.
3.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Celle-ci doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 6.1.1 p. 66 s. et les références citées).
L'<ref-law> confère un large pouvoir d'appréciation au juge. Par conséquent, celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'<ref-law>, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61 et les références citées).
3.2. Le recourant s'est rendu coupable de lésions corporelles simples, voies de fait, agression, vol, brigandage, injure, utilisation abusive d'une installation de télécommunication, menaces, faux dans les certificats, violence ou menace contre les autorités et les fonctionnaires, conduite sans permis de conduire, infraction à la LArm et contravention à la LStup. La cour cantonale a retenu que sa culpabilité était très lourde. Elle a constaté qu'il souffrait de troubles mixtes de la personnalité (immature, impulsive et dyssociale) et de syndromes de dépendance à l'alcool et au cannabis, atténuant sa responsabilité dans une mesure moyenne. Le recourant était une personne violente, qui n'avait aucun scrupule à être mêlé à des agressions menées par des bandes qui choisissaient leur proie afin d'être sûres de l'emporter. Il était conscient que son intérêt résidait dans les brigandages eux-mêmes et non dans le produit des vols. Les regrets et excuses formulés paraissaient être de circonstance et étaient totalement insuffisants pour retenir un repentir sincère. Le recourant n'avait jamais cessé de commettre des infractions depuis 2008, son casier judiciaire comportant déjà trois condamnations à des peines privatives de liberté. Il n'avait pas su saisir les occasions multiples qui lui avaient été données de reprendre sa vie en main. A charge, il fallait encore tenir compte du concours d'infractions. A décharge, outre la diminution de responsabilité, l'enfance difficile du recourant devait être prise en considération. Sur le vu de l'ensemble de ces éléments, une peine privative de liberté de 30 mois était adéquate, sous déduction de 237 jours de détention avant jugement et de 9 jours accordés à titre de réparation du tort moral.
3.2.1. Le recourant fait grief à la cour cantonale de ne pas avoir retenu le repentir sincère au sens de l'art. 48 let. d CP et se plaint d'un défaut de motivation à cet égard.
Pour remplir les conditions du repentir sincère, l'auteur doit avoir agi de son propre mouvement dans un esprit de repentir, dont il doit avoir fait la preuve en tentant, au prix de sacrifices, de réparer le tort qu'il a causé (<ref-ruling> consid. 1 p. 99 et les références citées). Le seul fait qu'il a passé des aveux ou manifesté des remords ne suffit pas. Il n'est en effet pas rare que, confronté à des moyens de preuve ou constatant qu'il ne pourra échapper à une sanction, un prévenu choisisse de dire la vérité ou d'exprimer des regrets. Un tel comportement n'est pas particulièrement méritoire (arrêt 6B_339/2014 du 27 novembre 2014 consid. 2.1).
Même à supposer, comme le recourant l'affirme, qu'il fût sincère dans l'expression de ses regrets malgré la froideur manifestée, il ne ressort pas du jugement attaqué qu'il aurait déployé des efforts tels qu'il remplirait les conditions précitées. C'est à juste titre que l'autorité précédente a considéré que les excuses et regrets formulés lors des débats de première instance étaient insuffisants pour retenir la circonstance atténuante du repentir sincère au sens de l'art. 48 let. d CP. La motivation cantonale était de surcroît suffisante sous l'angle du droit d'être entendu du recourant.
3.2.2. En tant que le recourant allègue une prise de conscience des conséquences de ses actes sur autrui, il s'écarte de l'état de fait cantonal sans en démontrer l'arbitraire, de sorte que son argument est irrecevable. Un tel élément ne ressort au demeurant pas expressément de l'expertise psychiatrique versée au dossier, l'expert soulignant au contraire la tendance du recourant à la projection avec attribution à l'autre ou à l'alcool de la responsabilité de ses réactions impulsives ou irréfléchies (rapport d'expertise du 17 décembre 2015, p. 6).
Le recourant reproche par ailleurs à la cour cantonale d'avoir relativisé sa culpabilité par rapport au jugement rendu par le tribunal de première instance sans pour autant en tirer de conséquence quant à la peine prononcée. Un tel grief, uniquement fondé sur une comparaison entre les deux jugements cantonaux, est impropre à établir une violation du large pouvoir d'appréciation dont disposait la cour cantonale dans le cadre de la fixation de la peine.
3.2.3. Le recourant ne cite en définitive aucun élément important, propre à modifier la peine, qui aurait été omis ou pris à tort en considération. La cour cantonale a en particulier tenu compte de son enfance difficile, et elle a exprimé son espoir que la naissance et la situation actuelle de sa fille, placée dans un foyer, lui donneraient l'énergie d'évoluer. Au vu des circonstances, la peine infligée, par 30 mois de privation de liberté, n'est pas exagérément sévère au point de constituer un abus du pouvoir d'appréciation. Le grief est infondé dans la mesure où il est recevable.
4.
Le recourant demande à être soumis à une mesure de placement dans un établissement pour le traitement des addictions au sens de l'<ref-law>, en lieu et place d'une mesure thérapeutique institutionnelle en milieu fermé (<ref-law>).
4.1. Aux termes de l'<ref-law>, une mesure doit être ordonnée si une peine seule ne peut écarter le danger que l'auteur commette d'autres infractions, si l'auteur a besoin d'un traitement ou que la sécurité publique l'exige et si les conditions prévues aux art. 59 à 61, 63 ou 64 CP sont remplies (al. 1). Le prononcé d'une mesure suppose que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (al. 2). L'<ref-law> rappelle que si plusieurs mesures s'avèrent appropriées, mais qu'une seule est nécessaire, le juge ordonne celle qui porte à l'auteur les atteintes les moins graves. Si plusieurs mesures s'avèrent nécessaires, le juge peut les ordonner conjointement.
4.1.1. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si l'auteur a commis un crime ou un délit en relation avec ce trouble et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (<ref-law>). Ce traitement s'effectue dans un établissement fermé tant qu'il y a lieu de craindre que l'auteur ne s'enfuie ou ne commette de nouvelles infractions. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'<ref-law> dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (<ref-law>).
4.1.2. L'<ref-law> prévoit que lorsque l'auteur est toxico-dépendant ou qu'il souffre d'une autre addiction, le juge peut ordonner un traitement institutionnel lorsque l'auteur a commis un crime ou un délit en relation avec cette addiction (let. a) et qu'il est à prévoir que ce traitement le détournera d'autres infractions en relation avec cette addiction (let. b).
4.1.3. Pour ordonner une des mesures prévues aux art. 59 à 61, 63 et 64 CP, le juge doit se fonder sur une expertise. Celle-ci doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions et la nature de celles-ci, et sur les possibilités de faire exécuter la mesure (<ref-law>).
Selon la jurisprudence, le juge apprécie en principe librement une expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise. Inversement, si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 2.1.3 p. 53).
L'expert se détermine ainsi sur l'ensemble des conditions de fait de la mesure, étant gardé à l'esprit qu'il incombe au juge de déterminer si une mesure doit être ordonnée et, cas échéant, laquelle (MARIANNE HEER, Basler Kommentar, Strafrecht I, 3e éd. 2013, n° 50 et 83 ad <ref-law>; cf. arrêts 6B_265/2015 du 3 décembre 2015 consid. 4.1.3; 6B_206/2015 du 8 octobre 2015 consid. 3.3.5). En effet, ce n'est pas à l'expert, mais bien au juge qu'il appartient de résoudre les questions juridiques qui se posent, dans le complexe de faits faisant l'objet de l'expertise (<ref-ruling> consid. 1c p. 145 ss et les références citées).
4.2. Faute de s'en prendre à la décision de dernière instance cantonale, les développements que le recourant consacre à la critique du jugement de première instance, identiques à ceux présentés à l'appui de son mémoire d'appel, sont irrecevables (art. 42 al. 2 et 80 al. 1 LTF).
En lien avec le jugement attaqué, le recourant ne conteste pas l'existence de graves troubles mentaux (troubles mixtes de la personnalité), d'un syndrome de dépendance à l'alcool et d'un syndrome de dépendance au cannabis, en relation avec les infractions commises, ainsi qu'un risque élevé de récidive, susceptible de diminuer grâce à un traitement adapté. Il reproche cependant à la cour cantonale de s'être écartée du complément d'expertise du 17 décembre 2015 en ce qui concerne le choix de la mesure, alors même qu'elle a considéré cette expertise comme probante sur les autres aspects traités. Selon lui, un traitement institutionnel au sens de l'<ref-law> ne se justifie pas sous l'angle du principe de proportionnalité.
4.3. Dans leur rapport du 12 octobre 2012, complété le 17 janvier 2013, les Drs E._ et F._ ont préconisé un traitement institutionnel au sens de l'<ref-law>, respectivement des art. 60 et 61 CP, en précisant qu'un traitement institutionnel et ses chances de succès ne seraient pas entravés par l'exécution d'une peine privative de liberté. Dans son complément d'expertise du 17 décembre 2015, le Dr E._ a relevé que pour ce qui était des syndromes de dépendance du recourant en relation avec l'alcool et le cannabis, une mesure au sens de l'<ref-law> apparaissait adéquate du fait de la relative inaccessibilité de ces substances en milieu carcéral. Il considérait toutefois qu'un traitement au sens de l'<ref-law> paraissait le plus à même de répondre à la fois aux troubles de la personnalité et aux troubles de l'addiction. L'expert évoquait, à l'appui de sa position, une plus grande disponibilité des intervenants et des approches thérapeutiques en milieu institutionnel qu'en milieu carcéral, craignant que la confrontation de longue durée au milieu carcéral n'enfermât le recourant dans une attitude de plus grande hostilité et de désinvestissement de toute opportunité de socialisation, aussi minime fût-elle. Il recommandait ainsi de privilégier un placement dans une institution telle que H._, qui avait déjà accueilli le recourant pour l'exécution d'une mesure fondée sur l'<ref-law> en 2013.
4.3.1. Les mesures des <ref-law> et 60 CP portent toutes les deux sur des traitements thérapeutiques institutionnels, la première dirigée à l'encontre des troubles mentaux de l'intéressé, la seconde visant les addictions. Le choix entre ces deux mesures doit donc se faire en fonction du type de trouble ou de syndrome devant être traité. A cet égard, l'expert a préconisé une mesure répondant à la fois aux troubles de la personnalité et aux troubles de l'addiction diagnostiqués, tout en précisant qu'une abstinence ou à tout le moins une modération de la consommation serait de facto obtenue sans beaucoup d'intervention psychothérapeutique, au contraire des troubles de la personnalité, pour lesquels il soulignait la nécessité d'un traitement. On ne peut dès lors reprocher à la cour cantonale, qui dispose du pouvoir de déterminer quelle mesure doit être ordonnée (consid. 4.1.3 supra), de considérer que l'avis préférentiel de l'expert en faveur de la mesure de l'<ref-law>, limitée au traitement des addictions, ne la liait pas, et qu'il convenait plutôt de prononcer la mesure de l'<ref-law> portant sur le traitement des troubles mentaux et permettant également de garantir de facto une modération, voire une abstinence dans la consommation d'alcool et de cannabis. L'expert ayant posé les éléments de fait permettant de retenir que le recourant remplit les conditions de l'<ref-law>, la cour cantonale ne s'est pas écartée de l'expertise sans motifs. Compte tenu également du fait que le recourant a mis en échec les précédentes mesures fondées sur l'<ref-law> et qu'il a récidivé pendant la période de sa liberté conditionnelle subordonnée au suivi d'un traitement thérapeutique ambulatoire, la cour cantonale n'a pas violé le principe de proportionnalité en ordonnant le traitement institutionnel au sens de l'<ref-law>.
4.3.2. Le recourant invoque sa récente paternité pour convaincre de sa volonté de changer son attitude, pour le bien de sa fille. Il entend ainsi démontrer que la mesure de l'<ref-law> serait suffisante pour le détourner de nouvelles infractions en relation avec son état. La cour cantonale n'a toutefois pas constaté une telle intention, relevant au contraire, à l'instar de l'expert, que les actes de violence qui lui étaient reprochés vis-à-vis de la mère de son enfant avaient été commis après la naissance de sa fille, voire même en présence de celle-ci (jugement entrepris, consid. 6.3 p. 33; expertise du 17 décembre 2015 p. 8-9). Dans la mesure où le recourant s'écarte ainsi de l'état de fait cantonal sans en démontrer l'arbitraire, son argumentation est irrecevable (art. 97 al. 1 et 105 al. 2 LTF).
Au reste, le recourant admet dans son recours avoir besoin d'un traitement institutionnel et d'un suivi psychologique, de sorte qu'il semble surtout contester l'exécution de la mesure de l'<ref-law> en milieu fermé selon l'alinéa 3 de cette disposition, plutôt que le traitement institutionnel lui-même.
4.4. La question de savoir si le placement doit s'effectuer en milieu fermé ou non relève de la compétence de l'autorité d'exécution. Cela étant, si un placement en milieu fermé apparaît déjà nécessaire au moment du prononcé du jugement, le juge peut et doit l'indiquer dans les considérants en traitant des conditions de l'<ref-law> (<ref-ruling> consid. 2.4.4 p. 9 et 2.5 p. 10 s.) Dans ces circonstances, il est souhaitable que le tribunal s'exprime dans les considérants de son jugement - mais non dans son dispositif - sur la nécessité d'exécuter la mesure en milieu fermé et recommande une telle modalité d'exécution, de manière non contraignante, à l'autorité d'exécution (<ref-ruling> consid. 2.5 p. 10 s.; arrêts 6B_22/2016 du 1er novembre 2016 consid. 2; 6B_1040/2015 du 29 juin 2016 consid. 3.1.1).
Comme vu ci-dessus, l'<ref-law> prévoit que le traitement s'effectue dans un établissement fermé tant qu'il existe un risque de fuite ou de récidive (consid. 4.1.1 supra). Selon la jurisprudence, il doit s'agir d'un risque qualifié, puisque toutes les mesures supposent un risque de récidive (cf. <ref-law>). Le risque est qualifié quand il est concret et qu'il est hautement probable que le condamné commette d'autres infractions dans l'établissement ou en dehors de celui-ci. Il s'agit d'un danger qui ne peut être combattu que par le placement dans un établissement fermé. Conformément au principe de la proportionnalité, l'exécution de la mesure dans un établissement fermé suppose une sérieuse mise en danger de biens juridiques essentiels (arrêts 6B_22/2016 précité consid. 2; 6B_1040/2015 précité consid. 5.1 et les arrêts cités).
4.4.1. Selon l'expert, le recourant présentait un risque de récidive élevé; sur la base d'une grille d'évaluation des risques (HCR-20), le risque se situait même au plus haut de l'échelle (rapport d'expertise du 17 décembre 2015, p. 7). L'expert a également observé que les précédentes tentatives de traitements en milieu ouvert et de traitements ambulatoires avaient échoué, le recourant ne se rendant pas régulièrement aux rendez-vous fixés par les thérapeutes, fuguant à de nombreuses reprises de l'établissement résidentiel dans lequel il avait été placé, et consommant de l'alcool et des stupéfiants pendant ses fugues. Condamné déjà à trois reprises à des peines privatives de liberté et réincarcéré moins de deux mois après sa libération conditionnelle, le recourant avait par ailleurs été plusieurs fois sanctionné disciplinairement dans le cadre de sa détention entre avril et juillet 2015, notamment pour avoir menacé des agents (jugement entrepris, consid. 5 p. 14 et 6.3 p. 33; rapport d'expertise du 17 décembre 2015, p. 3, 4 et 5).
Sur la base de ces faits, qui ne sont pas contestés, la cour cantonale a retenu que le risque de récidive pour des infractions de même nature était élevé (jugement entrepris, consid. 6.3 p. 32). Elle a ainsi tenu les conditions de l'<ref-law> pour réalisées, considérant que le recourant avait besoin d'un encadrement structurant avec la confrontation aux règles sociales minimales qu'il n'avait pas entièrement intégrées jusque-là, et que cet encadrement agirait pendant un certain temps également comme facteur de protection à l'égard des sollicitations négatives diverses. Elle a encore précisé que l'instauration d'un suivi ambulatoire pourrait être envisagée par la suite, cela de manière progressive.
4.4.2. Compte tenu de ce qui précède, la cour cantonale n'a pas violé le principe de proportionnalité en considérant que la dangerosité du recourant était importante et ne pouvait être écartée que par l'intermédiaire d'un traitement institutionnel en milieu fermé. En ce qui concerne la crainte de l'expert que la disponibilité de plusieurs intervenants et de plusieurs approches thérapeutiques ne soit pas suffisante au sein d'un établissement pénitentiaire, il y a lieu de relever, à l'instar de la cour cantonale, que lorsque la mesure est exécutée dans un établissement pénitentiaire, le traitement thérapeutique nécessaire doit être assuré par du personnel qualifié (<ref-law>). Il appartiendra ainsi à l'autorité d'exécution de veiller à ce que le recourant reçoive les soins dont il a besoin au sein de l'établissement dans lequel elle décidera, cas échéant, de le placer. Enfin, attendu que les réponses apportées par les experts permettaient d'en tirer les conclusions utiles, il n'y avait pas lieu d'ordonner un complément d'expertise ou une contre-expertise.
En définitive, seule l'intégration dans le dispositif du jugement (ch. II.VII) de l'exécution en milieu fermé de la mesure institutionnelle est critiquable au regard de la jurisprudence récente (<ref-ruling> précité), dès lors que la réalisation des conditions de l'<ref-law> quant au caractère fermé de l'exécution n'a à être abordée que dans les considérants du jugement. Le jugement sera réformé en ce sens, sans qu'il y ait lieu de renvoyer la cause à la cour cantonale.
5.
Le recourant a requis l'assistance judiciaire. Il peut prétendre à une indemnité de dépens réduite (<ref-law>), ce qui rend sa demande d'assistance judiciaire sans objet dans cette mesure. Elle est rejetée pour le surplus, le recours étant dénué de chances de succès en ce qui concerne les autres griefs (<ref-law>). Le recourant supporte des frais réduits en raison de l'issue de la cause et de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est très partiellement admis et le jugement attaqué est réformé en ce sens qu'un traitement institutionnel avec obligation de soins (<ref-law>) est prononcé. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le canton de Vaud versera au conseil du recourant une indemnité réduite de 500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La demande d'assistance judiciaire est rejetée, dans la mesure où elle n'est pas sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 décembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy