Faits :
A.
Par jugement du 8 juillet 2015, rectifié par prononcé du 10 juillet 2015, le Tribunal criminel de l'arrondissement de l'Est vaudois a reconnu X._ coupable de tentative de meurtre, de lésions corporelles simples qualifiées, de voies de fait qualifiées, de dommages à la propriété, d'injure, d'utilisation abusive d'une installation de télécommunication, de menaces, de menaces qualifiées, de tentative de contrainte, de violation de domicile, d'incendie intentionnel, d'insoumission à une décision de l'autorité, de contravention à la LStup et d'infraction à la LArm. Il l'a condamné à une peine privative de liberté de six ans, sous déduction de 308 jours de détention provisoire et de 450 jours de détention en exécution anticipée de peine, à une peine de 45 jours-amende à dix francs le jour-amende et à une amende de 500 fr., la peine privative de liberté de substitution étant de cinq jours, peine partiellement complémentaire à celle prononcée le 26 septembre 2012 par le Ministère public de l'arrondissement de Lausanne. Il a ordonné que l'intéressé soit soumis à un traitement institutionnel dans un établissement fermé au sens de l'<ref-law>. Enfin, il a révoqué un sursis accordé le 26 septembre 2012 et a alloué aux victimes différents montants à titre de dommages-intérêts et de tort moral.
B.
Par jugement du 14 décembre 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._, ainsi que l'appel joint du Ministère public vaudois.
En résumé, elle retient les faits suivants:
B.a. X._, né en 1970 à Istanbul (Turquie), est originaire de A._. Arrivé en Suisse en 1991, il a suivi une formation dans une école hôtelière, puis il a travaillé dans ce domaine jusqu'en 1995, avant d'occuper différents postes dans le domaine bancaire. Il s'est marié avec B._, à Istanbul; de cette union est née en 2006 C._. Les relations du couple sont rapidement devenues houleuses et des violences conjugales sont apparues. Le divorce a été prononcé en juin 2013.
B.b. En date du 11 juin 2013, X._ s'est rendu au domicile de son épouse. Il a agressé B._ alors qu'elle rentrait chez elle avec sa fille. Il a voulu prendre les clés de l'appartement à son épouse en les arrachant, mais celle-ci a résisté. Il a alors délibérément tiré une balle dans sa cuisse droite. Une fois X._ parti, B._ a pu rejoindre son appartement. Avec sa fille et ses parents, elle s'est réfugiée dans la salle de bains attenante à la chambre à coucher. X._ a passé par l'extérieur de l'immeuble afin de rejoindre l'appartement. Il a tiré des coups de feu à travers la baie vitrée donnant sur la terrasse pour entrer. Une fois dans l'appartement, il a brisé les téléphones portables et a fait feu sur la télévision. Ensuite il a enfoncé la porte de la salle de bains où s'étaient réfugiés B._, ses beaux-parents et sa fille C._. Il a tiré sur sa belle-mère qui se trouvait dans la salle de bains et l'a atteinte à l'abdomen. Il a également fait feu contre la main droite de son beau-père, alors que ce dernier retenait la porte. Il s'est ensuite rendu au jardin et a déposé sur la table de la terrasse ses deux armes dont il avait préalablement enlevé les magasins. Il a entendu les sirènes de police et a attendu les agents intervenants.
B.c. Le 6 février 2014, vers 18h35-18h40, dans sa cellule de la prison, après avoir reçu une ordonnance du 31 janvier 2014 séquestrant 18'000 fr. lui appartenant, X._ a entassé derrière la porte de sa cellule, sur une chaise en plastique, divers objets provenant de l'équipement de celle-ci et de ses effets personnels pour y bouter le feu au moyen de son briquet. Un incendie s'est ainsi déclaré, endommageant entièrement la cellule et entraînant un important dégagement de fumée, lequel a mis en danger la vie des agents de détention qui sont intervenus pour éteindre les flammes. X._ a été sauvé par les gardiens et a été acheminé au CHUV pour un contrôle.
B.d. En cours d'enquête, X._ a été soumis à une expertise psychiatrique confiée aux Drs D._ et E._, médecin adjoint et médecin assistant auprès de F._. Dans leur rapport du 23 octobre 2013, les experts ont posé un diagnostic de " trouble mixte de la personnalité (traits de la personnalité émotionnellement labile type impulsif et traits paranoïaques) et d'épisode dépressif moyen sans syndrome somatique " (expertise 2013 p. 9). S'agissant du risque de récidive, ils ont estimé que X._, au vu de sa personnalité éminemment fragile, était susceptible de commettre le même type d'infraction mais ciblée pour l'heure, sur les mêmes personnes (expertise 2013 p. 9). Selon les experts, " l'expertisé, au vu d'un trouble mental jugé comme grave et en lien avec l'infraction commise, devrait bénéficier d'un traitement psychiatrique et psychothérapeutique intégré lui permettant d'abord de diminuer l'impulsivité et, sur un plus long terme, de renforcer et de mieux asseoir un sentiment d'identité fragile, permettant alors, dans l'idéal, d'assouplir ses traits de personnalité et de modifier son rapport au monde et aux autres " (expertise 2013 p. 12 s.). Les experts ont préconisé un traitement ambulatoire sous la forme d'une prise en charge psychiatrique et psychothérapeutique intégrée permettant de limiter le risque de récidive (expertise 2013 p. 13). Il leur semble idéal que l'expertisé poursuive le traitement initié avec son thérapeute, le Dr G._. Ils évoquent aussi, en plus d'un suivi individuel, un suivi de groupe focalisé sur la violence et l'impulsivité tel qu'il peut être proposé par exemple par la VIFA (violences et familles), à Lausanne (expertise 2013 p. 13). Selon les experts, ce traitement ne serait pas entravé par l'exécution de la peine privative de liberté; l'expertisé est actuellement contenu par l'environnement carcéral, les angoisses sont moindres et cela permettrait un meilleur accès à son intériorité (expertise 2013 p. 14).
A la suite de l'incendie intentionnel perpétré par X._ dans sa cellule et de son comportement lors de la reconstitution des faits, les experts ont été invités à compléter leur rapport. Dans leur rapport complémentaire du 9 octobre 2014, ils n'ont pas remis en cause le diagnostic posé dans la première expertise et ne se sont pas écartés de leurs conclusions pour ce qui est du type de traitement. Ils ont considéré qu'un traitement ambulatoire était toujours indiqué, soulignant que le trouble de personnalité que présentait l'expertisé compliquait son accès aux soins et que des modifications en profondeur (de sa personnalité et des comportements), qui n'étaient pas exclues, nécessiteraient un suivi long, régulier, avec un contrôle serré de sa compliance médicamenteuse (le traitement neuroleptique devant permettre de diminuer les idées de persécution et de la sthénicité). Ils estimaient pour l'heure qu'un traitement institutionnel n'apporterait pas de plus grandes chances d'amélioration qu'un traitement ambulatoire ordonné par la justice, strictement encadré, avec une surveillance serrée de la compliance au traitement, tant psychothérapeutique que médicamenteuse (expertise 2014 p. 11).
Entendus aux débats de première instance, les experts ont indiqué que le risque de récidive était élevé, que seul un traitement psychothérapeutique au long cours pourrait réduire le risque de récidive et qu'au vu de la dangerosité de X._, il serait préférable qu'il suive un traitement en milieu fermé, dans un cadre contenant et sécurisé. Interrogés sur le point de savoir si un traitement institutionnel serait plus approprié qu'un traitement ambulatoire, les experts ont refusé de trancher entre les deux mesures, insistant sur le fait que le recourant avait besoin d'un traitement psychothérapeutique et médicamenteux dans un cadre sécurisé, fermé et de nature à le contenir (jugement de première instance p. 11). Ils ont ajouté que seul un traitement sur le long cours pourrait permettre une amélioration de ses troubles (jugement de première instance p. 14).
C.
Contre ce dernier jugement cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. En substance, il conclut, principalement, à la réforme du jugement attaqué en ce sens qu'il est condamné à un traitement ambulatoire (<ref-law>); à titre subsidiaire, il requiert l'annulation du jugement attaqué et le renvoi de la cause à la cour cantonale ou au tribunal de première instance pour nouveau jugement dans le sens des considérants. En outre, il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir ordonné une mesure thérapeutique institutionnelle en milieu fermé (<ref-law>) au lieu d'un traitement ambulatoire (<ref-law>), tel que l'auraient préconisé les experts.
1.1.
1.1.1. Aux termes de l'<ref-law>, une mesure doit être ordonnée si une peine seule ne peut écarter le danger que l'auteur commette d'autres infractions, si l'auteur a besoin d'un traitement ou que la sécurité publique l'exige et si les conditions prévues aux art. 59 à 61, 63 ou 64 CP sont remplies (al. 1). Le prononcé d'une mesure suppose que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité (al. 2). L'<ref-law> rappelle que si plusieurs mesures s'avèrent appropriées, mais qu'une seule est nécessaire, le juge ordonne celle qui porte à l'auteur les atteintes les moins graves. Si plusieurs mesures s'avèrent nécessaires, le juge peut les ordonner conjointement.
1.1.2. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si l'auteur a commis un crime ou un délit en relation avec ce trouble et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (<ref-law>).
L'<ref-law> précise que le traitement institutionnel doit s'effectuer dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures. S'il existe un risque de fuite ou de récidive, le traitement doit avoir lieu en milieu fermé (<ref-law>).
1.1.3. Lorsque l'auteur souffre d'un grave trouble mental, est toxico-dépendant ou qu'il souffre d'une autre addiction, le juge peut ordonner un traitement ambulatoire au lieu d'un traitement institutionnel, si l'auteur a commis un acte punissable en relation avec son état et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec son état (<ref-law>).
Le traitement ambulatoire suppose en principe que l'auteur reste en liberté. Il peut toutefois être appliqué pendant l'exécution d'une peine privative de liberté, lorsque le traitement ambulatoire exécuté en liberté paraît dangereux pour autrui (cf. <ref-law>). Dans ce cas, la mesure aura le caractère d'une injonction judiciaire, qui obligera la direction de l'établissement d'y donner suite et qui empêchera le condamné de s'y soustraire (ANDREA BAECHTOLD, Exécution des peines, L'exécution des peines et mesures concernant les adultes en Suisse, Berne, 2008, p. 310).
1.1.4. Pour ordonner une des mesures prévues aux art. 59 à 61, 63 et 64 CP, le juge doit se fonder sur une expertise. Celle-ci doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions et la nature de celles-ci, ainsi que sur les possibilités de faire exécuter la mesure (<ref-law>). Dans ce cadre, l'expert devra se prononcer, en particulier, sur la forme du traitement et la mesure qui lui semble la plus appropriée (cf. sous l'ancien droit: <ref-ruling> consid. 3b p. 128; arrêts 6S.250/2006 du 28 septembre 2006, consid. 1.5; 6S.46/2004 du 2 avril 2004, consid. 2.1.3).
1.1.5. Comme tous les autres moyens de preuve, les expertises sont soumises à la libre appréciation du juge. S'agissant des questions dont la réponse demande des connaissances professionnelles particulières, le juge ne peut s'écarter de l'expertise que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité; il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise (<ref-ruling> consid. 2.1.3 p. 53; <ref-ruling> consid. 1c p. 145). Si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 2.1.3 p. 53).
1.2.
1.2.1. Les experts ont préconisé un traitement ambulatoire dans leur rapport d'expertise et leur complément. Aux débats de première instance, interrogés sur le point de savoir si une mesure thérapeutique institutionnelle ne serait pas préférable, ils ont refusé de trancher entre ces deux mesures, insistant sur le fait que le recourant avait besoin d'un traitement psychothérapeutique et médicamenteux dans un cadre sécurisé, fermé et de nature à le contenir; ils ont ajouté que seul un traitement sur le long cours pourrait permettre une amélioration de ses troubles.
1.2.2. La cour cantonale a ordonné un traitement institutionnel dans un établissement fermé au sens de l'<ref-law>. Elle a relevé que les experts avaient certes plutôt préconisé un traitement ambulatoire en milieu carcéral dans leur rapport d'expertise et leur complément, mais que, lors des débats, ils avaient surtout insisté sur le fait que, vu la dangerosité du recourant, seul un traitement psychothérapeutique au long cours prodigué en milieu fermé, dans un cadre contenant et sécurisé, pourrait réduire le risque de récidive. La cour cantonale a expliqué qu'un traitement ambulatoire serait vain et illusoire. En effet, le recourant avait déjà été suivi par un psychiatre, le Dr G._, au moment des faits, mais cela ne l'avait pas empêché de commettre les actes du 11 juin 2013. En outre, le recourant avait montré une mauvaise compliance au traitement médicamenteux et avait tendance à cesser toute médication dès qu'il se sentait mieux. Enfin, la cour cantonale a noté que seul un long suivi régulier du recourant pourrait apporter des modifications en profondeur de sa personnalité et de ses comportements.
1.3.
1.3.1. Les conditions pour prononcer une mesure selon l'<ref-law> sont réalisées en l'espèce. Selon les experts, le recourant souffre d'un trouble mental grave (traits émotionnellement labiles type impulsif et traits paranoïaques), en lien avec les infractions commises (<ref-law>). Au vu de la personnalité éminemment fragile du recourant, les experts ont estimé que le risque de récidive était important et qu'il s'étendait au-delà de la cellule familiale. A leur avis, un traitement permettrait de diminuer l'impulsivité du recourant et sur le long terme de favoriser un assouplissement de ses traits de personnalité et de l'aider à avoir un rapport à l'autre et au monde plus adéquat (expertise 2013 p. 9, 12); le risque de récidive pourrait ainsi être mieux circonscrit (expertise 2013 p. 13; <ref-law>, <ref-law>).
1.3.2. Le traitement institutionnel, ordonné par la cour cantonale, correspond mieux au traitement décrit par les experts que le traitement ambulatoire en exécution de peine.
En effet, selon les experts, le recourant devrait bénéficier d'un traitement psychothérapeutique régulier, avec un contrôle serré de sa compliance médicamenteuse, ainsi qu'un suivi de groupe; ce traitement devrait être prodigué sur le long terme et dans un cadre contenant et sécurisé.
Or, seul un établissement d'exécution des mesures ou un établissement psychiatrique dispose d'une infrastructure et d'un personnel formé, permettant d'assurer un tel suivi. Les établissements pénitentiaires ne disposent pas tous, ni en nombre ni en qualité d'une équipe de thérapeutes suffisamment importante, de sorte qu'ils ne sont pas en mesure d'assurer des traitements ambulatoires individualisés et réguliers, sur un rythme hebdomadaire ou bimensuel, avec toute l'intensité et la constance nécessaire.
En outre, le suivi du traitement en milieu pénitentiaire risque d'être mis en péril par des facteurs typiquement liés à l'exécution des peines elle-même comme, par exemple, le transfert d'un établissement pénitentiaire à l'autre ou pendant des sanctions disciplinaires (ANDREA BAECHTOLD, Exécution des peines, l'exécution des peines et mesures concernant les adultes en Suisse, 2008, p. 313 s.; TRECHSEL/PAUEN BORER, Schweizerisches Strafgesetzbuch, Praxiskommentar, 2e éd., n° 2 ad <ref-law>; MARIANNE HEER, Basler Kommentar, Strafrecht I, 3e éd., 2013, n° 74 ad <ref-law>).
Dans la mesure où le traitement devrait être prodigué sur le long terme, la mesure institutionnelle apparaît aussi mieux adaptée, car elle pourra être prolongée (<ref-law>), alors que le traitement ambulatoire prendra en principe fin avec l'exécution de la peine privative de liberté (même si le remplacement d'un traitement ambulatoire par une mesure institutionnelle est aussi possible alors que la peine privative de liberté est déjà exécutée; cf. <ref-law>; <ref-ruling>).
Compte tenu de la description du traitement faite par les experts, le traitement institutionnel selon l'<ref-law> est donc bien la forme de traitement la plus adéquate. C'est ainsi pour des justes motifs que la cour cantonale s'est écartée des conclusions du rapport d'expertise et de son complément, les experts ayant d'ailleurs eux-mêmes relativisé leurs conclusions initiales lors de leur audition aux débats de première instance.
1.4. Le recourant dénonce une violation du principe de la proportionnalité. Conformément à ce principe, la mesure ordonnée est inadmissible si une autre mesure, qui s'avère également appropriée, mais porte des atteintes moins graves à l'auteur, suffit pour atteindre le but visé (principe de la nécessité ou de la subsidiarité). Comme vu ci-dessus, le traitement institutionnel, qui s'effectue dans un établissement disposant d'un personnel formé et des installations adéquates, est plus adapté aux besoins du recourant, qui souffre d'une pathologie complexe et qui nécessite un suivi sur le long terme. La cour cantonale n'a donc pas porté atteinte au principe de la proportionnalité en ordonnant une mesure thérapeutique institutionnelle.
1.5. En définitive, la cour cantonale n'a pas violé le droit fédéral en prononçant une mesure thérapeutique institutionnelle.
2.
2.1. En général, le traitement institutionnel s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (<ref-law>). S'il y a lieu de craindre que l'auteur ne s'enfuie ou ne commette de nouvelles infractions, le traitement s'effectue toutefois dans un établissement fermé; il peut aussi avoir lieu dans un établissement pénitentiaire au sens de l'<ref-law> dans la mesure où il est assuré par du personnel qualifié (<ref-law>). Selon la jurisprudence, le risque de fuite ou de récidive doit être qualifié, puisque toutes les mesures supposent un risque de récidive (cf. <ref-law>). Le risque est qualifié quand il est concret et qu'il est hautement probable que le condamné commette d'autres infractions dans l'établissement ou en dehors de celui-ci. Il s'agit d'un danger qui ne peut être combattu que par le placement dans un établissement fermé. Conformément au principe de la proportionnalité, l'exécution de la mesure dans un établissement fermé suppose une sérieuse mise en danger de biens juridiques essentiels (cf. arrêts 6B_1040/2015 du 29 juin 2016 consid. 5.1; 6B_708/2015 du 22 octobre 2015 consid. 3.3, non publié in <ref-ruling>).
La compétence de placer le condamné dans une institution fermée ou un établissement pénitentiaire appartient à l'autorité d'exécution (<ref-ruling>). Cela étant, si un placement en milieu fermé apparaît déjà nécessaire au moment du prononcé du jugement, le juge peut et doit l'indiquer dans les considérants en traitant des conditions de l'<ref-law> (<ref-ruling> consid. 2.4.4 p. 9 et 2.5 p. 10 s.). Dans ces circonstances, il est souhaitable que le tribunal s'exprime dans les considérants de son jugement - mais non dans son dispositif - sur la nécessité d'exécuter la mesure en milieu fermé et recommande une telle modalité d'exécution, de manière non contraignante, à l'autorité d'exécution (<ref-ruling> consid. 2.5 p. 10 s.; arrêts 6B_22/2016 du 1er novembre 2016 consid. 2; 6B_1040/2015 du 29 juin 2016 consid. 3.1.1).
2.2. La cour cantonale a considéré que le traitement institutionnel devait être exécuté dans un milieu fermé (<ref-law>). Les critères qu'elle a pris en compte sont pertinents. En effet, le recourant a mis le feu à sa cellule et un tel comportement met gravement en danger la sécurité et l'ordre internes de l'établissement. Les experts ont aussi insisté sur le fait que, vu la dangerosité du recourant, le traitement psychothérapeutique devait être prodigué en milieu fermé. Toutefois, l'intégration dans le dispositif du jugement de l'exécution en milieu fermé de la mesure institutionnelle est critiquable selon la jurisprudence récente (<ref-ruling> précité), dès lors que la réalisation des conditions de l'<ref-law> quant au caractère fermé de l'exécution n'a à être abordée que dans les considérants du jugement. Le jugement sera réformé en ce sens, sans qu'il y ait lieu de renvoyer la cause à la cour cantonale.
3.
Le recourant a requis l'assistance judiciaire. Il peut prétendre à une indemnité de dépens réduite (<ref-law>) pour ce qui a trait à l'admission très partielle de son recours (supra consid. 2.2), ce qui rend sa demande d'assistance judiciaire sans objet dans cette mesure. Elle est rejetée pour le surplus, le recours étant dénué de chances de succès en ce qui concerne les autres griefs (<ref-law>). Le recourant supporte des frais réduits en raison de l'issue de la cause et de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est très partiellement admis et le jugement attaqué est réformé en ce sens qu'une mesure thérapeutique institutionnelle (<ref-law>) est prononcée. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Une part des frais judiciaires, arrêtée à 800 fr., est mise à la charge du recourant.
3.
Le canton de Vaud versera au conseil du recourant une indemnité de 500 fr. à titre de dépens réduits pour la procédure devant le Tribunal fédéral.
4.
La demande d'assistance judiciaire est rejetée, dans la mesure où elle n'est pas sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 février 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Kistler Vianin