Faits :
A.
Par jugement du 6 octobre 2015, le Tribunal civil de l'arrondissement de Lausanne a rejeté la demande de X._ tendant au versement, par l'Etat de Vaud, d'un montant de 100'000 fr., avec intérêts à 5 % l'an dès le 1er décembre 2011, en raison de son maintien dans un établissement pénitentiaire pendant 565 jours.
B.
Par arrêt du 4 avril 2016, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et confirmé le jugement de première instance.
En substance, elle a retenu les faits suivants:
B.a. X._ a été condamné par le Tribunal de police de l'arrondissement de Lausanne le 30 novembre 2011 à une peine privative de liberté de onze mois, à une peine pécuniaire de vingt jours-amende et à une amende de 300 fr., ainsi qu'à un traitement thérapeutique institutionnel selon l'<ref-law>, pour lésions corporelles simples, dommages à la propriété, injure, menaces, contrainte et insoumission à une décision de l'autorité. Le Tribunal de police a précisé que sa compétence, découlant des <ref-law> et 8 al. 1 let. b LVCPP (loi d'introduction du code de procédure pénale suisse du 19 mai 2009; RSV 312.01), ne lui permettait pas d'ordonner un traitement dans un établissement fermé au sens de l'<ref-law> et qu'il appartiendrait donc à l'autorité d'exécution de déterminer le lieu d'exécution approprié. Ce jugement est entré en force.
B.b. X._ se trouvait jusqu'au jour du jugement en détention provisoire. Il a été maintenu en détention pour motifs de sûreté ensuite, selon le jugement du Tribunal de police. Le 19 mars 2012, l'Office d'exécution des peines vaudois (ci-après: OEP) a prononcé, à titre rétroactif au jour du jugement, le placement institutionnel provisoire de X._ à la prison A._, avec un traitement thérapeutique auprès du Service de médecine et psychiatrie pénitentiaire et a déclaré que le dossier serait réexaminé d'office à réception de l'avis de la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC). Le 25 mai 2012, la CIC a préconisé un placement en milieu carcéral, car X._ n'envisageait aucune participation à un processus thérapeutique et présentait une dangerosité reconnue et un risque de récidive avéré. Se référant à cet avis, l'OEP a ordonné le 3 juillet 2012 la poursuite du traitement thérapeutique de X._ en milieu pénitentiaire.
B.c. La juge d'application des peines a été saisie d'une procédure d'examen de la libération conditionnelle. Elle a entendu le condamné à son audience du 8 octobre 2012. Dans cette procédure, X._ a fait valoir, le 10 octobre 2012, que le jugement du 30 novembre 2011 du Tribunal de police de l'arrondissement de Lausanne était nul en raison de l'incompétence du juge saisi à prononcer une mesure thérapeutique institutionnelle au sens de l'<ref-law>. Il a invité la juge d'application des peines à constater cette nullité et à en tirer les conclusions juridiques qui en découlaient. Par prononcé du 3 mai 2013, la juge d'application des peines a rejeté cette réquisition. Sur recours, la Chambre des recours pénale du Tribunal cantonal vaudois a invité l'OEP à transférer X._ dans un établissement approprié selon l'<ref-law>. Elle relevait que le Tribunal de police n'avait pas la compétence d'ordonner une mesure selon l'<ref-law>, de sorte qu'il avait ordonné un traitement à forme de l'<ref-law>, mesure qui ne pouvait pas fonder la détention de X._ dans un établissement pénitentiaire fermé. Le 14 juin 2013, l'OEP a ordonné le placement institutionnel de X._ à l'EMS B._ dès le 17 juin 2013, avec une prise en charge thérapeutique.
C.
Contre l'arrêt du 4 avril 2016, X._ dépose un recours en matière de droit public devant le Tribunal fédéral. Il conclut à la constatation du caractère illicite de sa détention dans un établissement pénitentiaire fermé du 30 novembre 2011 au 17 juin 2013 et au renvoi de la cause devant les premiers juges afin qu'ils procèdent au calcul de l'indemnisation pour la détention illicite subie. En outre, il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2.1 p. 397; <ref-ruling> consid. 2 p. 59).
1.1.
1.1.1. Le litige porte sur l'éventuelle responsabilité de l'Etat de Vaud à l'égard du recourant et l'arrêt attaqué peut en principe faire l'objet d'un recours en matière de droit public au Tribunal fédéral (<ref-law>). Peu importe que le droit cantonal place l'action dans la compétence des autorités judiciaires civiles (cf. arrêts 2C_1150/2014 du 9 juin 2015 consid. 1.1; 2C_443/2012 du 27 novembre 2012 consid. 1.2). La Cour de droit pénal est compétente pour traiter un tel recours (art. 30 al. 1 let. c ch. 1 et art. 33 du règlement du Tribunal fédéral [RS 173.110.131]; <ref-ruling> consid. 1.1.2 p. 46).
1.1.2. En matière de responsabilité étatique, le recours en matière de droit public n'est recevable que si la valeur litigieuse s'élève au moins à 30'000 fr. (<ref-law>). En cas de recours contre une décision finale, cette valeur est déterminée par les conclusions - recevables - restées litigieuses devant l'autorité précédente juste avant que celle-ci prononce le jugement (<ref-law>). En l'espèce, devant l'autorité précédente, le recourant a conclu au paiement d'un montant de 100'000 fr., avec intérêt à 5 % l'an dès le 13 septembre 2012, de sorte que la valeur litigieuse est acquise.
1.1.3. Devant le Tribunal fédéral, le recourant a conclu à la constatation du caractère illicite de son maintien dans un établissement pénitentiaire fermé et au renvoi de la cause à l'autorité précédente pour le calcul de l'indemnisation due en raison de cette détention illicite. Il n'a pas chiffré ses conclusions (cf. arrêt 2C_298/2010 du 28 avril 2011 consid. 1.4.2). Dans les procédures de recours en matière de droit public, le Tribunal fédéral est toutefois moins strict dans la formulation des conclusions que dans les recours en matière civile (cf. FLORENCE AUBRY GIRARDIN, in Commentaire de la LTF, 2e éd., 2014, n° 15 ad <ref-law>). L'objet du litige est bien circonscrit, puisque le recourant a pris des conclusions chiffrées en instance cantonale. En outre, comme la cour cantonale a rejeté l'appel, elle ne s'est pas prononcée sur le montant d'une éventuelle indemnisation, de sorte qu'en cas d'admission du recours, le Tribunal fédéral - qui ne dispose pas des éléments nécessaires pour fixer le dommage - ne pourrait que renvoyer la cause à l'autorité précédente. Dans ces conditions, il faut admettre que les conclusions sont recevables.
2.
Le recourant fait valoir que son maintien dans un établissement pénitentiaire, à savoir en milieu fermé, durant 565 jours, n'était pas justifié et que cette détention est constitutive d'un acte illicite de la part de l'Etat de Vaud.
2.1. L'indemnisation de conditions de détention illicites après jugement relève des normes ordinaires en matière de responsabilité de l'Etat (<ref-ruling> consid. 4.3 p. 355 et réf.; arrêt 6B_1136/2015 du 18 juillet 2016 consid. 4.4.1).
2.2. En vertu de l'<ref-law>, la législation cantonale peut déroger aux règles des <ref-law> en ce qui concerne la responsabilité encourue par des agents publics pour le dommage ou le tort moral qu'ils causent dans l'exercice de leurs fonctions. Lorsque de telles normes existent, la responsabilité des agents publics échappe au droit civil fédéral, ce qui découle aussi de l'<ref-law> (cf. <ref-ruling> consid. 2 p. 103 et les arrêts cités).
Le canton de Vaud a fait usage de cette faculté en édictant la loi du 16 mai 1961 sur la responsabilité de l'Etat, des communes et de leurs agents (LRECA; RSV 170.11). Aux termes de l'art. 4 LRECA, l'Etat et les corporations communales répondent du dommage que leurs agents causent à des tiers d'une manière illicite. S'agissant de définir la notion d'acte illicite dans le contexte du cas particulier, le Tribunal cantonal s'est référé à la jurisprudence du Tribunal de céans sur la responsabilité des collectivités publiques pour un préjudice causé par une décision administrative ou judiciaire.
Selon cette jurisprudence, toute illégalité ne peut pas être qualifiée d'acte illicite lorsque l'on a affaire non pas à un acte matériel, mais à une décision administrative ou judiciaire. La responsabilité d'une collectivité publique en raison de l'illicéité d'une décision n'est admise qu'à des conditions restrictives. Ainsi, le comportement d'un magistrat ou d'un agent n'est illicite que lorsque celui-ci viole un devoir essentiel à l'exercice de sa fonction ou commet une erreur grave et manifeste qui n'aurait pas échappé à un homologue consciencieux (<ref-ruling> consid. 3.3 p. 457). Le simple fait qu'une décision se révèle par la suite inexacte, contraire au droit ou même arbitraire ne suffit pas (<ref-ruling> consid. 4d/dd p. 582; arrêts 2C_158/2010 du 18 août 2010 consid. 3.1; 2C_25/2008 du 18 juin 2008 consid. 3.2, in SJ 2008 I p. 481; FLORENCE AUBRY GIRARDIN, Responsabilité de l'Etat: un aperçu de la jurisprudence du Tribunal fédéral, in La responsabilité de l'Etat, 2012, p. 131 s.; ETIENNE POLTIER, La responsabilité de l'Etat pour acte illicite: l'exigence de l'illicéité, in op. cit., p. 70).
3.
Le recourant admet que l'OEP est en principe compétent pour déterminer le lieu d'exécution de la mesure thérapeutique institutionnelle. Toutefois, dans le cas particulier, il soutient que cette autorité ne pouvait pas ordonner l'exécution du traitement institutionnel en milieu fermé, car, dans son jugement du 30 novembre 2011, le Tribunal de police avait préconisé, dans sa motivation, que le lieu d'exécution devait être un établissement ouvert selon l'<ref-law>; du reste, d'après le recourant, le Tribunal de police (juge unique) n'était pas compétent pour recommander une mesure institutionnelle en milieu fermé; s'il estimait qu'une mesure en milieu fermé se justifiait, il aurait dû renvoyer la cause devant le Tribunal correctionnel. Le recourant s'en prend ensuite aux décisions des 19 mars et 3 juillet 2012 de l'OEP, faisant valoir que les conditions justifiant un placement en milieu fermé n'étaient pas réalisées.
3.1.
3.1.1. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si l'auteur a commis un crime ou un délit en relation avec ce trouble et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (<ref-law>). L'<ref-law> précise que le traitement institutionnel doit s'effectuer dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures. S'il existe un risque de fuite ou de récidive, le traitement doit avoir lieu en milieu fermé (<ref-law>).
3.1.2. Selon la jurisprudence, les autorités d'exécution sont compétentes pour désigner le lieu d'exécution du traitement institutionnel, en tenant compte du risque de fuite ou de récidive (<ref-ruling>). Si un placement en milieu fermé apparaît déjà nécessaire au moment du prononcé du jugement, il est souhaitable que le tribunal s'exprime dans les considérants de son jugement - mais non dans son dispositif - sur la nécessité d'exécuter la mesure en milieu fermé et recommande une telle modalité d'exécution, de manière non contraignante, à l'autorité d'exécution (<ref-ruling> consid. 2.5 p. 10 s.; arrêts 6B_22/2016 du 1er novembre 2016 consid. 2; 6B_1040/2015 du 29 juin 2016 consid. 3.1.1). Le Tribunal fédéral a admis que, malgré l'<ref-law>, le juge unique pouvait et devait recommander, dans les considérants de son jugement, une mesure thérapeutique en établissement fermé, s'il considérait que les conditions de l'<ref-law> étaient remplies au moment du jugement (<ref-ruling> consid. 2.4.4 p. 9).
3.1.3. Dans le canton de Vaud, l'art. 21 al. 2 let. a de la loi sur l'exécution des condamnations pénales du 4 juillet 2016 (LEP; RSV 340.1) prévoit que, dans le cas où un traitement thérapeutique institutionnel a été ordonné à l'endroit d'une personne condamnée, l'OEP est compétent pour mandater l'établissement dans lequel la personne condamnée sera placée, notamment en tenant compte du risque de fuite ou de récidive (art. 59 al. 2 et 3 CP). Avant de prendre une telle décision, il doit solliciter de la Commission interdisciplinaire consultative concernant les délinquants dangereux un avis, afin d'apprécier la dangerosité que présente la personne condamnée pour la collectivité (<ref-law>) (art. 21 al. 4 LEP).
3.1.4. En conséquence, la compétence de l'OEP pour ordonner une mesure institutionnelle en milieu pénitentiaire doit être admise, même si le jugement du 30 novembre 2011 émanait d'un juge unique. Les griefs soulevés sur cette question doivent être rejetés. Il convient dès lors d'examiner si l'OEP a commis une erreur grave et manifeste en plaçant le recourant en milieu fermé.
3.2.
3.2.1. L'<ref-law> subordonne le traitement dans un établissement fermé à un risque de fuite ou de récidive. Selon la jurisprudence, il doit s'agir d'un risque qualifié, puisque toutes les mesures supposent un risque de récidive (cf. <ref-law>). Le risque est qualifié quand il est concret et qu'il est hautement probable que le condamné commette d'autres infractions dans l'établissement ou en dehors de celui-ci. Il s'agit d'un danger qui ne peut être combattu que par le placement dans un établissement fermé. Conformément au principe de la proportionnalité, l'exécution de la mesure dans un établissement fermé suppose une sérieuse mise en danger de biens juridiques essentiels (cf. arrêt 6B_708/2015 du 22 octobre 2015 consid. 3.3, non publié in <ref-ruling>).
3.2.2. En l'espèce, l'OEP a pris la décision du 19 mars 2012, en se fondant sur le jugement du 30 novembre 2011. Le recourant avait été condamné pour avoir fait subir à son ex-épouse et à son compagnon des injures, des menaces, une surveillance et de nombreux dommages à la propriété, leur faisant ainsi vivre un véritable enfer depuis près de trois ans. Le tribunal de police avait insisté sur le caractère dangereux et agressif du recourant et le besoin de protection des parties plaignantes. Il ressortait en effet de ce jugement plusieurs signaux d'alarme. L'audience de jugement avait débuté sous les insultes, ce qui avait obligé le président à renvoyer le recourant en cellule (jugement p. 3). Le recourant avait déjà été condamné à plusieurs reprises, sans qu'il ne semblât avoir pris conscience du caractère répréhensible de ses actes. Il avait même menacé sa fille de mort, lui déclarant qu'il " comptait finir sa vie en prison, mais pas pour rien " (jugement p. 23). Enfin, le recourant se refusait à toute expertise psychiatrique et, par là, à tout traitement. Le tribunal de police avait conclu son analyse, en déclarant que " l'énergie déployée par le recourant était inquiétante ". Pour lui, il était " manifeste que le recourant doit se faire soigner et que la seule possibilité est dès lors d'ordonner une telle mesure, qui sera dès lors de surcroît seule de nature à protéger les parties plaignantes " (jugement p. 24). Ces éléments justifiaient, notamment pour protéger les parties plaignantes de nouvelles atteintes, d'ordonner en mars 2012 l'exécution de la mesure en milieu fermé.
Conformément à l'art. 21 al. 4 LEP, la décision du 19 mars 2012 réservait l'avis de la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après. CIC). Dans son avis du 25 mai 2012, la CIC a estimé que seul un placement en milieu pénitentiaire était envisageable. Se référant à cet avis, l'OEP a prononcé, le 3 juillet 2012, la poursuite du traitement thérapeutique en milieu fermé. L'avis de la CIC, qui ne lie certes pas l'autorité compétente, joue un rôle important. Le caractère pluridisciplinaire de la commission donne au préavis qu'elle émet un poids déterminant et l'autorité de décision s'en écartera difficilement (arrêt 6B_27/2011 du 5 août 2011, consid. 3.1). Dans ces conditions et au vu de l'ensemble des circonstances, il ne peut donc être reproché à l'OEP d'avoir suivi l'avis de la CIC.
3.2.3. Le recourant invoque enfin l'arrêt du 27 mai 2013 de la Chambre des recours pénale du Tribunal cantonal vaudois. Dans cet arrêt, la Chambre des recours pénale a expliqué que, compte tenu de l'<ref-law> et de l'art. 8 al. 1 let. b LVCPP, le tribunal de police ne pouvait ordonner qu'un traitement institutionnel à forme de l'<ref-law> et que, partant, son jugement ne pouvait pas fonder la détention du recourant dans un établissement fermé. En conséquence, elle a invité l'OEP à ordonner le transfert du recourant dans un établissement approprié au sens de l'<ref-law>. Les réflexions de cet arrêt en matière de compétence pour ordonner l'exécution d'un traitement institutionnel en milieu fermé sont dépassées par l'<ref-ruling> (supra, consid. 3.1.2). L'OEP était compétent pour ordonner un traitement institutionnel, même si le jugement de condamnation émanait du tribunal de police (juge unique) (cf. consid. 3.1.4). Le recourant ne peut donc rien tirer de l'arrêt de la Chambre des recours pénale vaudoise.
3.2.4. Au vu de ce qui précède, l'OEP n'a pas commis une erreur grave et manifeste en ordonnant un placement dans un milieu pénitentiaire. Ses décisions des 19 mars et 3 juillet 2012 étaient justifiées en raison du comportement du recourant et de la nécessité de protéger les parties plaignantes. Elles ne constituent donc pas un acte illicite susceptible de fonder la responsabilité de l'Etat. Il n'y a pas lieu d'examiner ici plus en détail si les conditions posées par la jurisprudence pour admettre un risque de fuite ou de récidive au sens de l'<ref-law> étaient réalisées. Cette question relève en effet de la légalité des décisions. Si le recourant estimait que les décisions de l'OEP étaient contraires à l'<ref-law>, il lui appartenait de recourir directement contre celles-ci, ce qu'il n'a pas fait. Celui qui n'a pas usé des voies de recours à sa disposition pour contester une décision ne peut en effet remettre en cause cette décision, une fois que celle-ci est entrée en force, par le biais d'une action en responsabilité.
4.
Le recours doit être rejeté.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 2 juin 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Kistler Vianin