Faits : A. Par jugement du 24 septembre 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu X._ coupable de lésions corporelles simples qualifiées, de voies de fait qualifiées, d'utilisation abusive d'une installation de télécommunication, de menaces qualifiées, de violation de domicile, de violation du devoir d'assistance et d'éducation et d'insoumission à une décision de l'autorité. Il l'a condamné à une peine privative de liberté de quatre ans, sous déduction de 272 jours de détention avant jugement, et à une amende de 500 fr., la peine privative de liberté de substitution en cas de défaut de paiement étant de cinq jours, précisant que ces peines étaient partiellement complémentaires à celle qui a été prononcée par le Tribunal correctionnel de l'arrondissement de Lausanne le 23 juillet 2014. Pour le surplus, le Tribunal a renoncé à révoquer le sursis qui avait été octroyé à X._ le 23 juillet 2014 et a ordonné une mesure au sens de l'art. 63 CP. B. Par jugement du 29 janvier 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et confirmé le jugement attaqué. En résumé, elle a retenu les faits suivants: B.a. D'origine kurde, de nationalité turque, X._ est né en 1978 en Turquie. Il a sept frères et soeurs. Issu d'un milieu d'agriculteurs, il n'a pas été scolarisé dans son pays natal. En 1998, il est parvenu à rejoindre la Suisse, où il a déposé une demande d'asile en tant que réfugié politique. Analphabète à son arrivée, il a appris à lire et écrire grâce à des cours qu'il a suivis durant deux ans. Il a travaillé pendant 12 ans dans des entreprises de construction et de nettoyage jusqu'à son licenciement en 2012. Sans emploi depuis lors et ayant épuisé son droit aux prestations de l'assurance-chômage, il bénéficiait du revenu d'insertion au moment de son arrestation. En 2000, X._ a pu faire venir en Suisse A._, avec laquelle il s'était fiancé dans son pays d'origine. Le couple s'est ensuite marié à Lausanne en 2001. Quatre enfants sont issus de cette union : B._, né en 2001, C._, née en 2004, D._, née en 2006 et E._, né en 2008. B.b. Entre le 24 septembre 2008, les faits antérieurs étant prescrits, et le 26 avril 2014, X._ a frappé son fils B._ sur l'abdomen à l'aide d'une boucle de ceinture et lui a asséné à plusieurs reprises des coups de poing et des gifles sur tout le corps. A une occasion, à la suite d'une arrivée tardive, il a saisi son fils par la gorge et l'a lancé. Par ailleurs, au fil du temps, il s'est mis à s'enfermer dans une pièce avec ce dernier pour s'en prendre à lui afin que les autres personnes présentes ne puissent pas intervenir. Il a agi de la sorte avec chacun des membres de la famille. De plus, il a régulièrement menacé B._ de le frapper plus violemment s'il en parlait à quelqu'un. Entre les mois de mai 2010 et le 26 avril 2014, X._ s'en est pris physiquement à sa fille C._ en la frappant avec des ceintures ainsi que des câbles électriques et en lui assénant plusieurs gifles. Il l'a également saisie par la gorge et l'a soulevée du sol. Il l'a en outre menacée de la frapper si elle parlait de leur situation familiale à des tiers. Le 19 août 2010, à la suite d'une altercation liée au repas, X._ a frappé son épouse à l'aide d'un manche de balai au niveau du poignet, du dos, des bras, des jambes et du tronc. Cette dernière s'est rendue au CHUV le 22 août 2010, mais a toutefois déclaré aux médecins avoir chuté en raison de vertiges. Le 29 mai 2013, X._ a saisi sa fille, D._, parce que cette dernière l'agaçait en raison de pleurs, et l'a lancée contre son lit, lui cassant la hanche. Lors de l'hospitalisation de la fillette à l'Hôpital de l'enfance, la mère a déclaré, par peur des représailles de son mari, que la fillette était tombée dans les escaliers. Au mois de mars ou avril 2014, X._ a frappé sa fille D._ au ventre parce qu'elle pleurait. En raison de la violence du choc, l'enfant est tombée au sol sur le dos. Elle s'est immédiatement plainte de douleurs et a eu des difficultés de miction. Lors de la consultation à l'Hôpital de l'enfance, la mère a menti sur les raisons des lésions subies par peur de son mari. Entre le 23 et le 25 avril 2014, X._ a donné des coups à son épouse au niveau du bras et du genou gauche au moyen d'un pied de table. Le 26 avril 2014, à la suite d'une altercation téléphonique avec le frère de son épouse, X._ s'en est pris à cette dernière en lui tirant les cheveux, en la bousculant et en la portant au sol, avant de lui ordonner d'insulter sa famille tout en la menaçant de la tuer et de la couper en morceaux si elle ne s'exécutait pas. Il a ensuite tenté de lui asséner un coup de pied à la tête, mais en a été empêché par son neveu qui s'est interposé. Le 5 février 2015, vers 19h00, X._ s'est rendu au domicile de son épouse et de ses enfants, malgré l'interdiction de périmètre notifiée le 17 septembre 2014 par le Tribunal d'arrondissement de Lausanne. Après avoir pénétré dans le logement, il a saisi son épouse par le col et l'a menacée de mort au cas où elle demandait le divorce. Il a également proféré des menaces de mort à l'encontre de la famille de celle-ci. Par ailleurs, il lui a demandé de retirer sa plainte du 26 avril 2014. Il a ensuite passé la nuit sur place et s'en est allé au petit matin, après que son épouse lui avait faussement déclaré que la femme de ménage du CMS allait arriver. Dans la journée du 6 février 2015, entre 12h58 et 16h30, il a tenté à 67 reprises de joindre téléphoniquement son épouse ou ses enfants. B.c. Pour les besoins de la procédure pénale, X._ a été soumis à une expertise qui a été confiée au Centre d'expertise du Département de psychiatrie du CHUV. Selon un rapport du 11 novembre 2014, les experts ont estimé que sa responsabilité pénale était conservée, en l'absence de maladie mentale avérée, et qu'il existait un risque que X._ commette de nouvelles infractions de nature similaire. Dans le cadre de la procédure de mesures protectrices de l'union conjugale, X._ a également été soumis à une expertise psychiatrique réalisée par l'Unité de pédopsychiatrie légale de l'IPL. Dans leur rapport du 14 septembre 2015, les experts ont relevé avoir observé chez l'expertisé une très faible tolérance à la frustration, une impulsivité marquée et une nette tendance aux conflits en raison d'une manière de percevoir la relation à autrui qui pouvait s'accompagner d'accès de colère. Ils ont indiqué que l'intéressé était habité, depuis l'adolescence, par un fort sentiment de persécution ainsi que par une tendance interprétative et projective, ce qui manifestait des traits paranoïaques. Par ailleurs, ils ont observé un manque d'empathie. Selon eux, il était fort probable que l'intensité et peut-être le nombre de ces symptômes, qui s'inséraient dans un trouble de la personnalité, étaient liés, d'une part, au contexte de séparation et de la suspension des visites des enfants et, d'autre part, à la procédure pénale. Sur la base de ces éléments, ils ont posé le diagnostic de trouble de la personnalité paranoïaque (F60.0). Appelés à se déterminer sur les résultats divergents des deux expertises précitées, les auteurs du premier rapport d'expertise ont relevé que les éléments nécessaires pour poser le diagnostic de trouble de la personnalité paranoïaque n'étaient pas tous présents. Ils ont considéré qu'il était possible que ces traits du registre paranoïaque préexistaient déjà dans le fonctionnement psychique de l'intéressé lors de la première expertise, mais qu'ils n'étaient devenus patents que plus tard, à la faveur de l'accumulation de changements existentiels importants et d'événements stressants auxquels il avait dû faire face après la période de réalisation de la première expertise, notamment son incarcération depuis février 2015, la demande de séparation intervenue à cette même période ainsi que l'interdiction du droit de visite à ses enfants. Ces nouveaux éléments ne modifiaient toutefois pas leurs conclusions initiales, à savoir que l'intéressé conservait une responsabilité pleine au moment des faits et qu'il présentait un risque de récidive. C. Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision. En outre, il sollicite l'assistance judiciaire.