Faits :
A.
Par jugement du 28 janvier 2015, le Tribunal criminel du Littoral et du Val-de-Travers a condamné X._ à une peine privative de liberté de six ans, dont à déduire 272 jours de détention provisoire subis, pour lésions corporelles (art. 123 ch. 2 CP), voies de fait (art. 126 al. 2 let. b CP), menaces (art. 180 CP), contrainte (art. 181 CP), séquestration (art. 183 CP), contraintes sexuelles (art. 189 CP) et viol (art. 190 CP). Il a ordonné l'arrestation immédiate du condamné et sa mise en détention pour des motifs de sûreté. Sur le plan civil, il a arrêté l'indemnité pour tort moral due à la victime à 15'000 fr., avec intérêts à 5 % l'an dès le 23 juin 2013.
B.
Par jugement d'appel du 3 février 2016, la Cour pénale du Tribunal cantonal neuchâtelois a partiellement admis l'appel formé par X._ et modifié le jugement attaqué en ce sens qu'elle a reconnu X._ coupable de lésions corporelles (art. 123 ch. 2 CP), de voies de fait (art. 126 al. 2 let. b CP), de contrainte (art. 181 CP), de séquestration (art. 183 CP) et de viol (art. 190 CP) et l'a condamné à une peine privative de liberté de cinq ans, dont à déduire 272 jours de détention provisoire subis, maintenant le jugement de première instance pour le surplus.
En substance, cette condamnation repose sur les faits suivants:
X._ a exercé sur son épouse des violences conjugales et des sévices sexuels et corporels, à réitérées reprises, pendant près de 18 mois. Il lui a fait subir de nombreux actes de contraintes, de lésions corporelles simples et de viols. Les actes de violence ont atteint leur paroxysme le 29 mai 2013. A la suite d'un rêve, X._ était persuadé que son épouse le trompait depuis le 6 janvier 2011. Il l'a empêchée de se rendre à son travail et l'a obligée à téléphoner à son chef pour lui dire qu'elle était malade et qu'elle ne pouvait pas venir. Il l'a ensuite plaquée au sol, lui a attaché les poignets et l'a traînée par les jambes dans la chambre à coucher, sa tête heurtant violemment le carrelage. Il a pris une écharpe qu'il a serrée derrière la tête, lui a rapproché les jambes et la tête et les a fait tenir ensemble, de sorte qu'elle ne pouvait plus bouger. Il lui a ensuite planté des aiguilles à coudre dans la tête, sur les bras et dans le dos. Il a sorti un couteau de cuisine et l'a menacée de le lui planter dans le dos si elle ne donnait pas le nom des personnes avec qui elle le trompait. Après avoir approché le couteau de son visage, il a coupé les foulards qui entouraient les poignets de la victime et lui a interdit d'appeler la police.
Le 22 juin 2013, X._ a forcé son épouse à entretenir un rapport sexuel auquel elle s'était clairement refusée. Il lui a attrapé les mains et lui a tiré les doigts en arrière, lui ordonnant de se rendre dans la chambre à coucher, où il l'a déshabillée avant de la pénétrer sans ménagement. Le lendemain, il s'est rendu sur son lieu de travail, à G._. Estimant qu'un client se trouvait trop près d'elle, il lui a téléphoné pour lui ordonner de quitter son travail dans les dix minutes. Ensuite, il a obligé sa femme à suivre avec lui ce client qui s'en allait de son côté. Il a appelé ce dernier, puis l'a menacé de se battre avec lui, le laissant finalement partir après cinq ou six minutes d'altercation.
C.
Contre ce dernier jugement, X._ dépose un recours en matière pénale devant le Tribunal fédéral. En substance, il conclut, principalement, à la réforme du jugement attaqué en ce sens qu'il est acquitté de l'ensemble des charges retenues contre lui, qu'il est mis immédiatement en liberté et qu'il lui est accordé une indemnité équitable fondée sur l'art. 429 CPP; à titre subsidiaire, il demande qu'il soit condamné à une peine privative de liberté entièrement compensée par la détention subie, qu'il soit mis immédiatement en liberté et qu'il lui soit accordé une indemnité équitable selon l'art. 429 CPP; plus subsidiairement encore, il conclut à sa condamnation à une peine privative de liberté d'ensemble de deux ans au plus, à la suspension de l'exécution de cette peine avec un délai d'épreuve de deux ans, à sa mise en liberté immédiate et à l'octroi d'une indemnité équitable selon l'art. 429 CPP; encore plus subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants. Enfin, il sollicite l'assistance judiciaire.
Invités à se déterminer, la cour cantonale y a renoncé, alors que le Ministère public neuchâtelois a déposé des observations, qui ont été communiquées au recourant à titre de renseignement.
Considérant en droit :
1.
Dénonçant la violation de son droit d'être entendu, le recourant reproche à la cour cantonale d'avoir rejeté ses réquisitions de preuve figurant dans sa déclaration d'appel. Il y avait sollicité la production de vidéos du magasin B._ à G._ et l'audition de plusieurs témoins ou membres de sa famille, domiciliés au Kosovo, aux Etats-Unis ou en Allemagne.
1.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF 133 I 270 consid. 3.1 p. 277; 126 I 15 consid. 2a/aa p. 16; 124 I 49 consid. 3a p. 51). En procédure pénale, l'art. 318 al. 2 CPP prévoit que le ministère public peut écarter une réquisition de preuves si celle-ci porte sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés en droit. Selon l'art. 139 al. 2 CPP, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés. Le législateur a ainsi consacré le droit des autorités pénales de procéder à une appréciation anticipée des preuves. Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (ATF 136 I 229 consid. 5.3 p. 236).
1.2. La direction de la procédure de la cour cantonale a rejeté tous les moyens de preuve proposés par le recourant, par ordonnance du 30 septembre 2015. Il convient de distinguer les vidéos du magasin B._ et les auditions des témoins.
1.2.1. Pour retenir le viol commis le 22 juin 2013, la cour cantonale s'est fondée essentiellement sur les déclarations de l'intimée, qui ont été constantes et non contradictoires et qu'elle a donc jugées fiables (cf. consid. 2). Elle a considéré que les vidéos du magasin B._ - pour autant qu'elles aient été conservées - n'apporteraient pas un éclairage sur ces faits, dès lors que ceux-ci avaient été commis au domicile conjugal (jugement attaqué, p. 11). Le recourant ne démontre pas que le raisonnement de la cour cantonale serait arbitraire, mais se borne à nier les faits, affirmant que l'intimée lui avait fait des avances quelques heures plus tard sur son lieu de travail, ce que la vidéo aurait permis d'établir ou d'infirmer. Cette argumentation est purement appellatoire, mais aussi non pertinente. En effet, le fait que les époux aient entretenu des relations sexuelles sur les lieux du travail de l'intimée n'exclut pas la commission d'un viol le soir précédent. Le grief soulevé est infondé.
1.2.2. La cour cantonale n'a pas non plus jugé pertinent d'entendre les témoins proposés, car la majeure partie des faits s'était déroulée, en l'absence de ceux-ci, au domicile conjugal; elle a ajouté qu'en outre, leur audition serait compliquée et onéreuse au vu de leur domiciliation à l'étranger et pourrait sensiblement retarder la procédure d'appel; de plus, certains témoins avaient été entendus lors de l'instruction et le dossier paraissait suffisamment instruit; finalement, la cour cantonale a relevé que les preuves n'avaient pas été demandées en première instance (cf. jugement attaqué p. 11). Le recourant ne démontre pas en quoi l'appréciation anticipée des preuves à laquelle a procédé la cour cantonale serait arbitraire. En particulier, il n'expose pas quels éclaircissements supplémentaires concrets pourraient apporter ces témoins et en quoi ces éclaircissements pourraient influer sur l'issue du jugement. Insuffisamment motivé (art. 106 al. 2 LTF), le grief soulevé est irrecevable.
2.
Le recourant reproche à la cour cantonale d'avoir versé dans l'arbitraire en retenant qu'il avait commis des viols au préjudice de son épouse.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. La notion d'arbitraire a été rappelée récemment dans l'ATF 141 IV 305 consid. 1.2 p. 308 s., auquel on peut se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat. Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF). Les critiques de nature appellatoire sont irrecevables (ATF 141 IV 249 consid. 1.3.1 p. 253).
2.2.
2.2.1. Les faits reprochés au recourant se sont déroulés, au domicile des époux, en l'absence de témoins directs. Pour retenir les viols, y compris celui commis dans la soirée du 22 juin 2013, la cour cantonale s'est fondée essentiellement sur les déclarations de l'intimée, qu'elle a considérées comme étant crédibles. En effet, l'intimée avait été entendue pendant l'instruction à trois reprises, à savoir par la police bernoise le 23 juin 2013, par la police neuchâteloise le 17 juillet 2013 et par le tribunal criminel le 28 janvier 2015, et ces déclarations avaient été constantes et ne contenaient pas de contradiction. Sur les autres faits que le viol, notamment sur ceux survenus le 29 mai 2013, les accusations de la victime avaient été confirmées par des témoins indirects (une collègue, C._; son médecin traitant, Dr D._; son patron, E._), par l'expert F._ (qui a examiné les photographies des lésions prises par l'intimée le 29 mai 2013 avec son téléphone portable) et les objets trouvés dans l'appartement du couple lors d'une perquisition (bouts de tissus, épingles et couteau). Pour le surplus, des témoins avaient attesté du comportement violent, jaloux et colérique du recourant, et l'expert psychiatre a posé un diagnostic de trouble narcissique de la personnalité.
2.2.2. La cour cantonale n'a pas versé dans l'arbitraire en retenant les viols, sur la base des déclarations de l'intimée. Elle a apprécié leur valeur probante au vu de l'ensemble des éléments figurant au dossier et en a conclu que l'intimée était crédible. Le recourant se borne à nier les faits, mais n'apporte aucun élément propre à mettre en doute les déclarations de la victime. Le rapport d'examen gynécologique effectué le 23 juin 2013 à l'hôpital H._, auquel se réfère le recourant, relève qu'il n'y avait pas de lésions vaginales en faveur de rapports sexuels obligés, ce qui n'exclut toutefois pas un rapport sexuel non volontaire et obligé. Le recourant soutient aussi avoir entretenu avec son épouse un rapport sexuel consenti le matin du 23 juin 2013 dans le magasin où travaillait son épouse, à l'initiative de cette dernière, ce qui, selon lui, exclurait tout viol la soirée du 22 juin 2013. De nature appellatoire, ce grief n'est pas pertinent, car, contrairement à ce que soutient le recourant, un rapport sexuel consenti le matin du 23 juin 2013 n'exclut pas la commission d'un viol le soir précédent. Enfin, le recourant se borne à contester avoir contraint l'intimée à entretenir un rapport sexuel forcé le lendemain de son interruption volontaire de grossesse. Purement appellatoire, ce grief est aussi irrecevable.
3.
Le recourant s'en prend à la peine privative de liberté de cinq ans qui lui a été infligée.
3.1. Selon l'art. 47 CP, le juge fixe la peine d'après la culpabilité de l'auteur. Celle-ci doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution (objektive Tatkomponente). Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur (subjektive Tatkomponente). A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même (Täterkomponente), à savoir les antécédents (judiciaires et non judiciaires), la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (ATF 141 IV 61 consid. 6.1.1 p. 66 s.; 136 IV 55 consid. 5 p. 57 ss; 134 IV 17 consid. 2.1 p. 19 s.; 129 IV 6 consid. 6.1 p. 20 s.).
Le juge dispose d'un large pouvoir d'appréciation et le Tribunal fédéral, qui examine l'ensemble de la question d'office (art. 106 al. 1 LTF), n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'art. 47 CP, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation. L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (art. 50 CP). Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit cependant justifier la peine prononcée, en permettant de suivre le raisonnement adopté même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite (ATF 136 IV 55 consid. 5.6 p. 61; 134 IV 17 consid. 2.1 p. 19 s.; 127 IV 101 consid. 2c p. 104 s.). Plus la peine est élevée, plus la motivation doit être complète (ATF 127 IV 101 consid. 2c p. 105).
3.2. La cour cantonale a qualifié les faits retenus contre le recourant de très graves. En effet, le recourant a fait subir à son épouse des violences conjugales et des sévices sexuels et corporels, à réitérées reprises, pendant près de dix-huit mois; la victime a été l'objet de nombreux actes de contraintes, de lésions corporelles et de viols; les événements du 29 mai 2013 ont constitué un paroxysme de la violence, le recourant faisant preuve, à cette occasion, d'une immense brutalité. A charge, la cour cantonale a retenu le concours d'infractions. A décharge, elle a tenu compte d'une légère diminution de la responsabilité pénale, de la violation du principe de la célérité et des mesures de contrainte. Elle a examiné la situation personnelle du recourant et ses antécédents (jugement attaqué p. 23 s.).
3.3.
3.3.1. Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de l'abandon des chefs d'inculpation de contrainte sexuelle et de menaces lors de la fixation de la peine.
Lorsque le prévenu est condamné pour plusieurs infractions en première instance, puis qu'il est acquitté de certains chefs d'accusation en appel, sa faute est diminuée, ce qui doit entraîner en principe une réduction de la peine. La juridiction d'appel est toutefois libre de maintenir la peine infligée en première instance, mais elle doit motiver sa décision, par exemple en expliquant que les premiers juges auraient mal apprécié les faits en fixant une peine trop basse qu'il n'y aurait pas lieu de réduire encore (cf. art. 50 CP; ATF 118 IV 18 consid. 1c/bb p. 21; 117 IV 395 consid. 4 p. 397; cf. également arrêts 6B_859/2013 du 2 octobre 2014 consid. 4.2; 6B_1066/2013 du 27 février 2014 consid. 5.2.1; WIPRÄCHTIGER/ECHLE, in: Basler Kommentar, Strafrecht I, 3e éd., 2013, n° 7 ad art. art. 50 CP).
En l'espèce, la cour cantonale a abandonné plusieurs chefs d'inculpation, notamment celui des menaces, de contrainte et de contrainte sexuelle (cf. jugement attaqué p. 19). Lors de la fixation de la peine, elle ne mentionne pas ces acquittements et n'explique pas pourquoi l'abandon de ces chefs d'accusation n'entraîne aucune diminution de peine, étant précisé que la diminution de la peine de six ans à cinq ans résulte de la prise en considération d'autres facteurs. Le recours doit donc être admis sur ce point, l'arrêt attaqué annulé et la cause renvoyée à la cour cantonale pour qu'elle se prononce sur les conséquences entraînées par l'abandon de ces chefs d'inculpation.
3.3.2. Le recourant fait grief à la cour cantonale d'avoir violé l'art. 49 al. 1 CP, en englobant les voies de fait - punies exclusivement de l'amende - dans la peine privative de liberté.
Selon l'art. 49 al. 1 CP, si, en raison d'un ou de plusieurs actes, l'auteur remplit les conditions de plusieurs peines de même genre, le juge le condamne à la peine de l'infraction la plus grave et l'augmente dans une juste proportion. En vertu de cette disposition, le principe d'aggravation (Asperationsprinzip) est applicable si l'auteur remplit les conditions de plusieurs peines de même genre. En revanche, lorsque la loi pénale ne prévoit pas le même genre de peine pour toutes les infractions, les peines doivent être prononcées de manière cumulative (ATF 137 IV 57 consid. 4.3.1 p. 58). Ainsi, en présence d'un viol (art. 190 CP), d'une injure (art. 177 CP) et de voies de fait (art. 126 CP), le juge doit prononcer, cumulativement, une peine privative de liberté, une peine pécuniaire et une amende (arrêts 6B_867/2010 du 19 juillet 2011, consid. 1.1.2, publié in JT 2011 I 380; 6B_890/2008 du 6 avril 2009 consid. 7.1).
En l'espèce, la cour cantonale a fixé une peine privative globale de cinq ans pour sanctionner les infractions commises bien que celles-ci prévoient des peines de genre différents. En effet, le viol est puni d'une peine privative de liberté de un à dix ans; les lésions corporelles simples, la contrainte et la séquestration sont punissables d'une peine privative de liberté de trois ans au plus (ou de cinq ans au plus) ou d'une peine pécuniaire; enfin, les voies de fait (art. 126 al. 2 let. b CP) sont réprimées par une amende. Dans un tel cas, la cour cantonale ne pouvait pas fixer une peine privative de liberté globale, mais devait cumuler cette sanction avec une amende (pour tenir compte des voies de fait). Le recours doit donc être également admis sur ce point, le jugement attaqué doit être annulé et la cause doit être renvoyée à la cour cantonale pour qu'elle tienne compte des différents genres de peine.
3.3.3. Le recourant estime que la cour cantonale n'a pas tiré les justes conséquences de la violation du principe de la célérité.
Les art. 5 CPP et 29 al. 1 Cst. garantissent notamment à toute personne le droit à ce que sa cause soit traitée dans un délai raisonnable. Ces dispositions consacrent le principe de la célérité et prohibent le retard injustifié à statuer. Comme les retards dans la procédure pénale ne peuvent pas être guéris, le Tribunal fédéral a fait découler de la violation du principe de la célérité des conséquences sur le plan de la peine. Le plus souvent, la violation de ce principe conduira à une réduction de la peine, parfois même à la renonciation à toute peine ou encore, en tant qu'ultima ratio dans des cas extrêmes, à une ordonnance de classement (ATF 135 IV 12 consid. 3.6 p. 26; 133 IV 158 consid. 8 p. 170; 130 IV 54 consid. 3.3.1 p. 54 s. et les références). Pour déterminer les conséquences adéquates de la violation du principe de la célérité, il convient de prendre en considération la gravité de l'atteinte que le retard dans la procédure a causé au prévenu, la gravité des infractions qui sont reprochées, les intérêts des lésés ainsi que la complexité du cas (ATF 117 IV 124 consid. 4e p. 129 s.; arrêts 6B_338/2012 du 30 novembre 2012 consid. 9.3; 6B_140/2011 du 17 mai 2011 consid. 5.1).
La cour cantonale a admis que le principe de la célérité avait été violé. En effet, elle a relevé que le Tribunal criminel neuchâtelois avait pris plus de six mois pour notifier les considérants écrits de son jugement, ne respectant ainsi pas les délais de 60, respectivement 90 jours, prévus à l'art. 84 al. 4 CPP (jugement attaqué, p. 20). Sur la base de ce constat, elle a réduit la peine. Dans son raisonnement sur la fixation de la peine, la cour cantonale s'est référée à une prolongation de la procédure d'environ trois mois (jugement attaqué p. 24), ce que critique le recourant. En effet, celui-ci estime que la prolongation de la procédure doit se calculer par rapport au délai de 60 jours (délai normal) et non de 90 jours (délai extraordinaire, notamment en cas de complexité particulière). Cette critique n'est pas pertinente. En effet, la réduction de la peine ne doit pas correspondre à la durée de la prolongation de la procédure, mais doit être calculée au vu d'un ensemble de circonstances (gravité de l'atteinte aux droits du prévenu, gravité des infractions, intérêts du lésé, complexité de l'affaire). Comme le recours doit être admis sur la question de la peine (cf. consid. 3.3.1 et 3.3.2), il appartiendra à la cour cantonale de fixer la nouvelle peine en tenant compte de l'ensemble des circonstances susmentionnées.
3.3.4. Le recourant reproche à la cour cantonale d'avoir retenu que la détention illicite du recourant n'avait duré que trois mois (du 28 janvier au 6 mai 2015). Il conteste que l'exécution anticipée de la peine ait mis fin à la détention illicite; selon lui, l'exécution anticipée de la peine privative de liberté ne saurait le priver de se prévaloir ultérieurement de la violation de ses droits.
3.3.4.1. Par arrêt du 30 octobre 2015, le Tribunal fédéral a constaté que l'arrestation ordonnée le 28 janvier 2015 par le Tribunal criminel neuchâtelois était illicite au vu du sauf-conduit et a ordonné la remise en liberté immédiate du recourant. Il a ajouté qu'il appartiendra, le cas échéant, au juge du fond de tirer les conséquences de l'irrégularité constatée; il a précisé que, dans ce contexte, pourra, le cas échéant, être pris en compte le fait que le recourant exécute depuis le 6 mai 2015, à sa demande, sa peine de manière anticipée (art. 236 CP; arrêt 1B_335/2015 du 30 octobre 2015 consid. 3.2, considérant non publié in ATF 141 IV 390).
3.3.4.2. La cour cantonale a tenu compte de la détention illicite, en réduisant la peine. Selon la jurisprudence, l'autorité de jugement peut tenir compte des violations constatées, par exemple en octroyant une indemnisation fondée sur l'art. 431 CPP ou, cas échéant, en réduisant la peine (ATF 142 IV 245 consid. 4.1-4.3; 141 IV 349 consid. 2.1 p. 352 et les arrêts cités; ATF 140 I 125 consid. 2.1 p. 128). L'indemnisation sous forme de réduction de peine - du reste non contestée par le recourant - n'est dès lors pas critiquable.
Pour réduire la peine, la cour cantonale s'est fondée à juste titre sur une détention illicite de trois mois. En effet, le recourant a été arrêté le 28 janvier 2015; ordonnée en violation du sauf-conduit, cette arrestation était illicite. Depuis le 6 mai 2015, le recourant n'était toutefois plus en détention pour des motifs de sûreté, mais exécutait sa peine de manière anticipée. La détention illicite a donc duré du 28 janvier 2015 au 6 mai 2015.
3.3.5. Enfin, le recourant reproche à la cour cantonale d'avoir retenu qu'une diminution légère de la responsabilité devait conduire à une légère atténuation de la peine, procédant ainsi à un raccourci contraire aux principes en matière de motivation de la peine.
La culpabilité de l'auteur dont la responsabilité pénale est restreinte est moins grande que celle de l'auteur dont la responsabilité est pleine et entière. Le principe de la faute exige dès lors que la peine prononcée en cas d'infraction commise en état de responsabilité restreinte soit inférieure à celle qui serait infligée à un auteur pleinement responsable. La peine moins sévère résulte d'une faute plus légère. Selon la jurisprudence, il ne s'agit donc plus d'une atténuation de la peine, mais d'une réduction de la faute. Dans une première étape, le juge doit apprécier la culpabilité relative à l'acte (et éventuellement fixer la peine hypothétique en résultant), comme s'il n'existait aucune diminution de responsabilité. Dans un deuxième temps, il doit motiver comment la diminution de responsabilité se répercute sur l'appréciation de la faute et indiquer la peine (hypothétique). Dans une dernière phase, cette peine est éventuellement augmentée ou diminuée en raison des facteurs liés à l'auteur (ATF 136 IV 55 consid. 5.5 à 5.7 p. 59 ss; arrêt 6B_784/2010 du 2 décembre 2010, consid. 1.2).
La méthode appliquée par la cour cantonale pour tenir compte de la diminution de la responsabilité du recourant ne respecte pas les principes susmentionnés. Les juges cantonaux devaient déterminer l'effet de la diminution de la responsabilité sur la faute. Or, ils ont simplement réduit la peine d'une année, pour tenir compte de la violation du principe de la célérité, des mesures de contrainte illicites, ainsi que, finalement, de la responsabilité pénale légèrement diminuée. Ils n'ont pas apprécié le degré de gravité de la faute du recourant à la suite de la diminution légère de la responsabilité pénale et n'ont pas indiqué la peine (hypothétique). Le recours doit donc aussi être admis sur ce point, à charge pour la cour cantonale de fixer la nouvelle peine en conformité avec la jurisprudence du Tribunal fédéral.
3.4. Le recours doit être admis sur la question de la peine, l'arrêt attaqué doit être annulé et la cause doit être renvoyée à la cour cantonale pour qu'elle fixe une peine dans le sens des considérants ci-dessus. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (art. 66 al. 1 LTF) et peut prétendre à une indemnité de dépens à la charge du canton de Neuchâtel (art. 68 al. 1 et 2 LTF), ce qui rend sans objet la requête d'assistance judiciaire.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Neuchâtel versera au mandataire du recourant la somme de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 24 janvier 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Kistler Vianin