Faits :
A.
Par jugement du 24 septembre 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu X._ coupable de lésions corporelles simples qualifiées, de voies de fait qualifiées, d'utilisation abusive d'une installation de télécommunication, de menaces qualifiées, de violation de domicile, de violation du devoir d'assistance et d'éducation et d'insoumission à une décision de l'autorité. Il l'a condamné à une peine privative de liberté de quatre ans, sous déduction de 272 jours de détention avant jugement, et à une amende de 500 fr., la peine privative de liberté de substitution en cas de défaut de paiement étant de cinq jours, précisant que ces peines étaient partiellement complémentaires à celle qui a été prononcée par le Tribunal correctionnel de l'arrondissement de Lausanne le 23 juillet 2014. Pour le surplus, le Tribunal a renoncé à révoquer le sursis qui avait été octroyé à X._ le 23 juillet 2014 et a ordonné une mesure au sens de l'<ref-law>.
B.
Par jugement du 29 janvier 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et confirmé le jugement attaqué.
En résumé, elle a retenu les faits suivants:
B.a. D'origine kurde, de nationalité turque, X._ est né en 1978 en Turquie. Il a sept frères et soeurs. Issu d'un milieu d'agriculteurs, il n'a pas été scolarisé dans son pays natal. En 1998, il est parvenu à rejoindre la Suisse, où il a déposé une demande d'asile en tant que réfugié politique. Analphabète à son arrivée, il a appris à lire et écrire grâce à des cours qu'il a suivis durant deux ans. Il a travaillé pendant 12 ans dans des entreprises de construction et de nettoyage jusqu'à son licenciement en 2012. Sans emploi depuis lors et ayant épuisé son droit aux prestations de l'assurance-chômage, il bénéficiait du revenu d'insertion au moment de son arrestation.
En 2000, X._ a pu faire venir en Suisse A._, avec laquelle il s'était fiancé dans son pays d'origine. Le couple s'est ensuite marié à Lausanne en 2001. Quatre enfants sont issus de cette union : B._, né en 2001, C._, née en 2004, D._, née en 2006 et E._, né en 2008.
B.b. Entre le 24 septembre 2008, les faits antérieurs étant prescrits, et le 26 avril 2014, X._ a frappé son fils B._ sur l'abdomen à l'aide d'une boucle de ceinture et lui a asséné à plusieurs reprises des coups de poing et des gifles sur tout le corps. A une occasion, à la suite d'une arrivée tardive, il a saisi son fils par la gorge et l'a lancé. Par ailleurs, au fil du temps, il s'est mis à s'enfermer dans une pièce avec ce dernier pour s'en prendre à lui afin que les autres personnes présentes ne puissent pas intervenir. Il a agi de la sorte avec chacun des membres de la famille. De plus, il a régulièrement menacé B._ de le frapper plus violemment s'il en parlait à quelqu'un.
Entre les mois de mai 2010 et le 26 avril 2014, X._ s'en est pris physiquement à sa fille C._ en la frappant avec des ceintures ainsi que des câbles électriques et en lui assénant plusieurs gifles. Il l'a également saisie par la gorge et l'a soulevée du sol. Il l'a en outre menacée de la frapper si elle parlait de leur situation familiale à des tiers.
Le 19 août 2010, à la suite d'une altercation liée au repas, X._ a frappé son épouse à l'aide d'un manche de balai au niveau du poignet, du dos, des bras, des jambes et du tronc. Cette dernière s'est rendue au CHUV le 22 août 2010, mais a toutefois déclaré aux médecins avoir chuté en raison de vertiges.
Le 29 mai 2013, X._ a saisi sa fille, D._, parce que cette dernière l'agaçait en raison de pleurs, et l'a lancée contre son lit, lui cassant la hanche. Lors de l'hospitalisation de la fillette à l'Hôpital de l'enfance, la mère a déclaré, par peur des représailles de son mari, que la fillette était tombée dans les escaliers.
Au mois de mars ou avril 2014, X._ a frappé sa fille D._ au ventre parce qu'elle pleurait. En raison de la violence du choc, l'enfant est tombée au sol sur le dos. Elle s'est immédiatement plainte de douleurs et a eu des difficultés de miction. Lors de la consultation à l'Hôpital de l'enfance, la mère a menti sur les raisons des lésions subies par peur de son mari.
Entre le 23 et le 25 avril 2014, X._ a donné des coups à son épouse au niveau du bras et du genou gauche au moyen d'un pied de table.
Le 26 avril 2014, à la suite d'une altercation téléphonique avec le frère de son épouse, X._ s'en est pris à cette dernière en lui tirant les cheveux, en la bousculant et en la portant au sol, avant de lui ordonner d'insulter sa famille tout en la menaçant de la tuer et de la couper en morceaux si elle ne s'exécutait pas. Il a ensuite tenté de lui asséner un coup de pied à la tête, mais en a été empêché par son neveu qui s'est interposé.
Le 5 février 2015, vers 19h00, X._ s'est rendu au domicile de son épouse et de ses enfants, malgré l'interdiction de périmètre notifiée le 17 septembre 2014 par le Tribunal d'arrondissement de Lausanne. Après avoir pénétré dans le logement, il a saisi son épouse par le col et l'a menacée de mort au cas où elle demandait le divorce. Il a également proféré des menaces de mort à l'encontre de la famille de celle-ci. Par ailleurs, il lui a demandé de retirer sa plainte du 26 avril 2014. Il a ensuite passé la nuit sur place et s'en est allé au petit matin, après que son épouse lui avait faussement déclaré que la femme de ménage du CMS allait arriver. Dans la journée du 6 février 2015, entre 12h58 et 16h30, il a tenté à 67 reprises de joindre téléphoniquement son épouse ou ses enfants.
B.c. Pour les besoins de la procédure pénale, X._ a été soumis à une expertise qui a été confiée au Centre d'expertise du Département de psychiatrie du CHUV. Selon un rapport du 11 novembre 2014, les experts ont estimé que sa responsabilité pénale était conservée, en l'absence de maladie mentale avérée, et qu'il existait un risque que X._ commette de nouvelles infractions de nature similaire.
Dans le cadre de la procédure de mesures protectrices de l'union conjugale, X._ a également été soumis à une expertise psychiatrique réalisée par l'Unité de pédopsychiatrie légale de l'IPL. Dans leur rapport du 14 septembre 2015, les experts ont relevé avoir observé chez l'expertisé une très faible tolérance à la frustration, une impulsivité marquée et une nette tendance aux conflits en raison d'une manière de percevoir la relation à autrui qui pouvait s'accompagner d'accès de colère. Ils ont indiqué que l'intéressé était habité, depuis l'adolescence, par un fort sentiment de persécution ainsi que par une tendance interprétative et projective, ce qui manifestait des traits paranoïaques. Par ailleurs, ils ont observé un manque d'empathie. Selon eux, il était fort probable que l'intensité et peut-être le nombre de ces symptômes, qui s'inséraient dans un trouble de la personnalité, étaient liés, d'une part, au contexte de séparation et de la suspension des visites des enfants et, d'autre part, à la procédure pénale. Sur la base de ces éléments, ils ont posé le diagnostic de trouble de la personnalité paranoïaque (F60.0).
Appelés à se déterminer sur les résultats divergents des deux expertises précitées, les auteurs du premier rapport d'expertise ont relevé que les éléments nécessaires pour poser le diagnostic de trouble de la personnalité paranoïaque n'étaient pas tous présents. Ils ont considéré qu'il était possible que ces traits du registre paranoïaque préexistaient déjà dans le fonctionnement psychique de l'intéressé lors de la première expertise, mais qu'ils n'étaient devenus patents que plus tard, à la faveur de l'accumulation de changements existentiels importants et d'événements stressants auxquels il avait dû faire face après la période de réalisation de la première expertise, notamment son incarcération depuis février 2015, la demande de séparation intervenue à cette même période ainsi que l'interdiction du droit de visite à ses enfants. Ces nouveaux éléments ne modifiaient toutefois pas leurs conclusions initiales, à savoir que l'intéressé conservait une responsabilité pleine au moment des faits et qu'il présentait un risque de récidive.
C.
Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision. En outre, il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Dénonçant une violation de l'<ref-law>, le recourant reproche aux autorités cantonales de ne pas avoir recouru à un traducteur lors de l'établissement de l'expertise. Il se plaint également que les conclusions de l'expertise n'ont pas été traduites dans sa langue.
Le Tribunal fédéral ne doit pas entrer en matière lorsque la partie recourante invoque pour la première fois la violation d'une garantie de procédure (par exemple: récusation, droit d'être entendu) qu'elle aurait pu et dû invoquer devant l'autorité précédente (<ref-ruling> consid. 4.4.6 p. 158 s.). En l'espèce, la cour cantonale n'a pas traité cette question. Le recourant ne prétend pas ni n'établit avoir soulevé ce grief devant la cour cantonale ni ne prétend que celle-ci aurait commis un déni de justice en n'examinant pas cette question. Le grief soulevé est donc irrecevable.
2.
Le recourant reproche à la cour cantonale d'avoir suivi les conclusions de l'expertise pénale. Se prévalant notamment de l'expertise psychiatrique réalisée lors de la procédure civile, il soutient que la cour cantonale aurait dû retenir une diminution de sa responsabilité pénale.
2.1. A l'instar des autres moyens de preuve, le juge apprécie librement la force probante de l'expertise (<ref-ruling> consid. 6.1). Si celle-ci est incomplète ou peu claire, s'il existe des doutes quant à son exactitude ou si ses conclusions divergent notablement de celles d'autres expertises, la direction de la procédure doit compléter ou clarifier l'expertise ou désigner un nouvel expert (<ref-law>). Si le juge se fonde sur une expertise dont les conclusions apparaissent douteuses sur des points essentiels et qu'il renonce à recueillir des preuves complémentaires, il peut commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 6.1).
Lorsque deux ou plusieurs expertises divergent sur des points essentiels, le juge doit faire son choix, en toute liberté, sans autre limite que celle de l'arbitraire (<ref-ruling>; ANDREAS DONATSCH, in Kommentar zur Schweizerischen Strafprozessordnung, 2014, 2e éd., n° 26 ad <ref-law>). Il appartient au juge de se prononcer sur leur sérieux selon son appréciation personnelle et, le cas échéant, d'ordonner une troisième expertise (NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2e éd., 2013, n° 2 ad <ref-law>). En pratique, il sera opportun de confronter les experts et de leur demander de se prononcer sur les conclusions l'un de l'autre (JOËLLE VUILLE, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 15 ad <ref-law>).
2.2. En l'espèce, deux expertises judiciaires ont été ordonnées dans des contextes et à des moments différents, et leurs résultats étaient divergents. L' expertise pénale a conclu à l'absence de toute maladie mentale et, partant, a exclu toute diminution de la responsabilité pénale; pour sa part, l' expertise civile a admis que le recourant souffrait d'un trouble de la personnalité paranoïaque. La présidente de la cour cantonale a donc interpellé les auteurs de l'expertise pénale afin qu'ils indiquent, au regard de l'expertise civile, s'ils modifiaient ou confirmaient leur appréciation et leurs conclusions.
La cour cantonale a donné sa préférence à l'expertise pénale, en expliquant les raisons de son choix. Après avoir noté que la mission des experts était différente, elle a considéré que les auteurs de l'expertise pénale avaient expliqué de manière cohérente et convaincante pour quels motifs l'expertise civile ne remettait pas en question leurs conclusions. Ils avaient ainsi relevé que les éléments nécessaires pour poser le diagnostic de trouble de la personnalité faisaient en partie défaut; ensuite et surtout, ils avaient considéré que même si le recourant présentait certains traits de la personnalité paranoïaque au moment de la première expertise, ceux-ci étaient latents à cette époque et n'étaient devenus manifestes que plus tard, à savoir au moment où l'intéressé avait été confronté à des changements importants dans sa vie (incarcération, procédure de séparation). Dans ces conditions, la cour cantonale n'a pas fait preuve d'arbitraire, en retenant les conclusions de l'expertise pénale et en considérant que la responsabilité pénale du recourant était pleine au moment des faits.
3.
Condamné à une peine privative de liberté de quatre ans, le recourant s'en prend à la mesure de cette peine qu'il juge excessive.
3.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
L'<ref-law> confère un large pouvoir d'appréciation au juge. Par conséquent, celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'<ref-law>, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p 61; <ref-ruling> consid. 5.3.1, p. 134 s.; <ref-ruling> consid. 2.1; <ref-ruling> consid. 6.1 et les références citées).
3.2. La cour cantonale a retenu que le recourant s'était comporté en tyran domestique pendant de longues années, s'en prenant à des personnes vulnérables notamment à ses enfants. Elle a tenu compte de ses antécédents démontrant qu'il faisait recours à la violence face aux situations difficiles, du déni total dans lequel il s'était enfermé rendant impossible toute prise de conscience et de sa persistance à inverser les rôles auteur/victime. Par ailleurs, elle a retenu le concours d'infractions, la récidive commise en cours d'enquête ainsi que la récidive spéciale. Comme élément à décharge, elle a relevé que le recourant avait eu un passé difficile, qui n'avait toutefois eu aucun impact sur sa responsabilité pénale.
3.3. Le recourant reproche à la cour cantonale de ne pas avoir retenu la circonstance atténuante de la détresse profonde ou du profond désarroi (art. 48 let. c CP).
Selon l'art. 48 let. c CP, le juge atténue la peine si l'auteur a agi en proie à une émotion violente que les circonstances rendaient excusable ou s'il a agi dans un état de profond désarroi.
Il ne ressort du jugement cantonal aucune constatation de fait, de laquelle on pourrait déduire que le recourant a agi sous l'emprise d'une émotion violente ou en état de profond désarroi. Des traits de caractères spécifiques (forte irritabilité ou jalousie maladive) ou un état particulier (maladie mentale, influence de l'alcool ou de substances psychotropes) ne tombent pas sous le coup de cette disposition (<ref-ruling> consid. 2b/bb p. 106). Dans la mesure de sa recevabilité, le grief soulevé doit être rejeté.
3.4. Le recourant se plaint du fait que la cour cantonale n'a pas tenu compte de la circonstance atténuante de l'écoulement du temps (art. 48 let. e CP).
Selon l'art. 48 let. e CP, le juge atténue la peine si l'intérêt à punir a sensiblement diminué en raison du temps écoulé depuis l'infraction et que l'auteur s'est bien comporté dans l'intervalle.
L'atténuation de la peine en raison du temps écoulé depuis l'infraction procède de la même idée que la prescription. L'effet guérisseur du temps écoulé, qui rend moindre la nécessité de punir, doit aussi pouvoir être pris en considération lorsque la prescription n'est pas encore acquise, si l'infraction est ancienne et si le délinquant s'est bien comporté dans l'intervalle. Cela suppose qu'un temps relativement long se soit écoulé depuis l'infraction. Cette condition est en tout cas réalisée lorsque les deux tiers du délai de prescription de l'action pénale sont écoulés. Le juge peut toutefois réduire ce délai pour tenir compte de la nature et de la gravité de l'infraction (<ref-ruling> consid. 3.1 et les références citées).
Comme l'a expliqué la cour cantonale, des coups ont été assénés jusqu'en 2014. En particulier, le 29 mai 2013, il a lancé sa fille D._ contre le lit, lui cassant ainsi la hanche, avant de la frapper à nouveau en mars ou avril 2014; les coups portés sur B._ et C._ n'ont également cessé que bien plus tard, à savoir en avril 2014. Dans ces conditions, une réduction de peine pour les faits plus anciens n'est pas possible, dès lors que le recourant ne s'est pas bien comporté depuis ceux-ci, mais a au contraire continué à frapper ses enfants. Le grief soulevé doit être rejeté.
3.5. Le recourant fait grief à la cour cantonale de ne pas avoir suffisamment tenu compte de son vécu et de sa situation personnelle.
Ce grief est infondé. La cour cantonale a résumé le vécu et la situation personnelle du recourant en pages 10 et 11 de son jugement. Lors de la fixation de la peine, elle a précisé qu'il convenait de tenir compte de son passé difficile comme élément à décharge (jugement attaqué p. 19).
3.6. Le recourant reproche à la cour cantonale d'avoir omis d'examiner l'effet de la peine sur son avenir. Il invoque notamment les effets négatifs de la peine sur les relations avec ses enfants.
Ce critère est mentionné à l'<ref-law>. La perspective que l'exécution d'une peine privative de liberté puisse détacher le condamné d'un environnement favorable peut ainsi, selon les circonstances concrètes du cas, déployer un effet atténuant et conduire au prononcé d'une peine inférieure à celle qui serait proportionnée à sa culpabilité (ATF <ref-ruling> consid. 3.4 p. 24). Cela étant, il est inévitable que l'exécution d'une peine ferme d'une certaine durée ait des répercussions sur la vie professionnelle et familiale du condamné. Ces conséquences ne peuvent conduire à une réduction de la peine qu'en cas de circonstances extraordinaires. De telles circonstances ne sont pas données en l'espèce.
3.7. Enfin, le recourant fait valoir que le procureur a requis une peine qui ne soit pas inférieure à trois ans.
La cour cantonale n'est pas liée par la réquisition du procureur. En prononçant une peine de quatre ans, elle a du reste suivi la réquisition du procureur, puisque cette peine n'est pas inférieure à trois ans.
3.8. En définitive, la cour cantonale n'est pas sortie du cadre légal et il n'apparaît ni qu'elle se serait fondée sur des critères non pertinents ni qu'elle aurait omis des éléments pertinents. Au surplus, compte tenu de l'ensemble des circonstances évoquées par la cour cantonale, la peine infligée au recourant n'apparaît pas exagérément sévère au point de constituer un abus du large pouvoir d'appréciation dont dispose le juge. Le grief tiré de la violation de l'<ref-law> doit être rejeté.
4.
Le recours est rejeté dans la mesure de sa recevabilité.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 décembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Kistler Vianin