Faits:
Faits:
A. A.X._ et B.X._ se sont mariés le 23 novembre 1995. Deux enfants sont issus de cette union, C.X._ née en 1996 et D.X._ né en 1999. A.X._ a été condamné le 21 mars 2002 pour lésions corporelles simples, mise en danger de la vie d'autrui, injure, menaces, contrainte, violation de domicile et infractions à la LStup à une peine de deux ans d'emprisonnement et au suivi d'un traitement ambulatoire durant l'exécution de celle-ci. Les faits sanctionnés par cette condamnation ont été commis pour l'essentiel à l'encontre de B.X._.
Dès le 15 octobre 2002, A.X._ a bénéficié du régime de la semi-liberté. Il s'est en revanche vu refuser la libération conditionnelle le 4 février 2003. Il a finalement obtenu cette dernière, avec un délai d'épreuve de 4 ans, dès le 7 avril 2003, après avoir pris l'engagement écrit de ne pas se rendre au domicile de sa femme, ni de la rencontrer. Comme règles de conduite lui ont été imposées l'interdiction de rencontrer ou de tenter de rencontrer son épouse et l'obligation de poursuivre le traitement thérapeutique entamé en cours de détention.
Dans la nuit du 1er juillet 2003, l'agent de police F._, ami de B.X._, a constaté la présence de A.X._ au domicile de celle-ci. Intrigué, il est entré dans l'immeuble et est allé écouter à la porte du logement, ce qui lui a permis d'entendre l'épouse de A.X._ gémir et pleurer entre 30 et 40 minutes. Il est retourné le lendemain au domicile de B.X._, qu'il a trouvée tremblante et en pleurs. Il a pris contact avec la police de sûreté et deux inspecteurs se sont rendus sur les lieux où ils ont rencontré B.X._, toujours tremblante et pratiquement incapable de parler, pouvant tout de même indiquer qu'elle n'en pouvait plus de devoir subir son mari depuis de nombreuses semaines et précisant que celui-ci abusait régulièrement d'elle, en profitant de la peur qu'il lui inspirait. Le même jour une information a été ouverte contre A.X._. Son épouse a formellement déposé plainte le 4 juillet 2003 pour injures, menaces, contrainte et viol. A.X._ a été renvoyé devant l'autorité de jugement sous les préventions de viols, subsidiairement abus de la détresse et plus subsidiairement encore actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, actes commis à La Chaux-de-Fonds et Neuchâtel le 3 novembre 2002, en mars 2003, le 26 avril 2003, entre fin avril et juin 2003 et le 1er juillet 2003 ainsi que de délits manqués de contrainte ou tentatives de contrainte commis à Genève, La Chaux-de-Fonds et Neuchâtel le 27 octobre 2002 puis entre le 3 novembre 2002 et le 1er juillet 2003 et, enfin, de violations de domicile perpétrées à La Chaux-de-Fonds les 26 avril et 1er juillet 2003.
Dans la nuit du 1er juillet 2003, l'agent de police F._, ami de B.X._, a constaté la présence de A.X._ au domicile de celle-ci. Intrigué, il est entré dans l'immeuble et est allé écouter à la porte du logement, ce qui lui a permis d'entendre l'épouse de A.X._ gémir et pleurer entre 30 et 40 minutes. Il est retourné le lendemain au domicile de B.X._, qu'il a trouvée tremblante et en pleurs. Il a pris contact avec la police de sûreté et deux inspecteurs se sont rendus sur les lieux où ils ont rencontré B.X._, toujours tremblante et pratiquement incapable de parler, pouvant tout de même indiquer qu'elle n'en pouvait plus de devoir subir son mari depuis de nombreuses semaines et précisant que celui-ci abusait régulièrement d'elle, en profitant de la peur qu'il lui inspirait. Le même jour une information a été ouverte contre A.X._. Son épouse a formellement déposé plainte le 4 juillet 2003 pour injures, menaces, contrainte et viol. A.X._ a été renvoyé devant l'autorité de jugement sous les préventions de viols, subsidiairement abus de la détresse et plus subsidiairement encore actes d'ordre sexuel sur une personne incapable de discernement ou de résistance, actes commis à La Chaux-de-Fonds et Neuchâtel le 3 novembre 2002, en mars 2003, le 26 avril 2003, entre fin avril et juin 2003 et le 1er juillet 2003 ainsi que de délits manqués de contrainte ou tentatives de contrainte commis à Genève, La Chaux-de-Fonds et Neuchâtel le 27 octobre 2002 puis entre le 3 novembre 2002 et le 1er juillet 2003 et, enfin, de violations de domicile perpétrées à La Chaux-de-Fonds les 26 avril et 1er juillet 2003.
B. Par jugement du 24 août 2004, le Tribunal correctionnel du district de La Chaux-de-Fonds a retenu que B.X._ était terrorisée en raison des menaces répétées dont elle avait été l'objet de la part de son mari et que c'était contre son gré, parce qu'elle n'avait pas le choix, qu'elle avait entretenu des relations sexuelles avec celui-ci. Il a condamné A.X._ pour viols à quatre ans de réclusion et à l'expulsion du territoire suisse pendant 10 ans. Les autres préventions ont été abandonnées en raison de doutes devant profiter à A.X._.
B. Par jugement du 24 août 2004, le Tribunal correctionnel du district de La Chaux-de-Fonds a retenu que B.X._ était terrorisée en raison des menaces répétées dont elle avait été l'objet de la part de son mari et que c'était contre son gré, parce qu'elle n'avait pas le choix, qu'elle avait entretenu des relations sexuelles avec celui-ci. Il a condamné A.X._ pour viols à quatre ans de réclusion et à l'expulsion du territoire suisse pendant 10 ans. Les autres préventions ont été abandonnées en raison de doutes devant profiter à A.X._.
C. Par arrêt du 5 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours de A.X._. Après examen des divers éléments de preuve dont elle disposait, la Cour cantonale a considéré que la version des faits de la victime était plus crédible que celle du recourant et que la condamnation de celui-ci pour viol ne prêtait pas le flanc à la critique.
C. Par arrêt du 5 avril 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le recours de A.X._. Après examen des divers éléments de preuve dont elle disposait, la Cour cantonale a considéré que la version des faits de la victime était plus crédible que celle du recourant et que la condamnation de celui-ci pour viol ne prêtait pas le flanc à la critique.
D. A.X._ forme un recours de droit public et un pourvoi en nullité contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation. Il demande également à être mis au bénéfice de l'assistance judiciaire pour les deux procédures. Il sollicite en outre, dans les deux recours, l'effet suspensif et sa mise en liberté, requêtes qui ont été rejetées par ordonnance du Président de la Cour de cassation pénale du Tribunal fédéral du 14 juin 2006.
D. A.X._ forme un recours de droit public et un pourvoi en nullité contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation. Il demande également à être mis au bénéfice de l'assistance judiciaire pour les deux procédures. Il sollicite en outre, dans les deux recours, l'effet suspensif et sa mise en liberté, requêtes qui ont été rejetées par ordonnance du Président de la Cour de cassation pénale du Tribunal fédéral du 14 juin 2006.
E. Se référant à son arrêt, la cour cantonale a déclaré n'avoir pas d'observations à formuler. Le Ministère public a également renoncé à formuler des observations, mais a conclu au rejet des recours.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
I. Recours de droit public
I. Recours de droit public
2. 2.1 Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation de droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ). Il n'est en revanche pas ouvert pour se plaindre d'une violation du droit fédéral, qui peut donner lieu à un pourvoi en nullité (art. 269 al. 1 PPF). Un tel grief ne peut donc pas être invoqué dans le cadre d'un recours de droit public, qui est subsidiaire (art. 84 al. 2 OJ; art. 269 al. 2 PPF).
Le recours de droit public n'est, sous réserve de certaines exceptions, qui n'entrent pas en ligne de compte en l'espèce, recevable qu'à l'encontre des décisions prises en dernière instance (art. 86 al. 1 OJ). Les griefs du recourant sont donc irrecevables dans la mesure où ils sont dirigés contre la décision de première instance.
2.2 En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'examine donc que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
2.2 En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'examine donc que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
3. Le recourant se plaint tout d'abord d'arbitraire dans la constatation des faits et l'appréciation des preuves ainsi que de violation du principe « in dubio pro reo ».
Une décision est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'invalide l'appréciation retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. Il ne suffit pas que les motifs de la décision soient insoutenables, il faut en outre que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 4 p. 58).
En matière d'appréciation des preuves et d'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1 p. 9).
La présomption d'innocence, garantie par l'art. 32 al. 1 Cst. et par les art. 6 par. 2 CEDH et 14 par. 2 Pacte ONU II, ainsi que son corollaire, le principe « in dubio pro reo », concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2c p. 36 et les références citées). En tant que règles sur le fardeau de la preuve, ces principes signifient, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter à l'accusé (<ref-ruling> consid. 2c p. 37). Comme règles de l'appréciation des preuves, ils sont violés lorsque le juge, qui s'est déclaré convaincu, aurait dû éprouver des doutes quant à la culpabilité de l'accusé au vu des éléments de preuve qui lui étaient soumis (<ref-ruling> consid. 2c p. 37). Le Tribunal fédéral examine librement si ces principes ont été violés en tant que règle sur le fardeau de la preuve, mais il n'examine que sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (<ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2e p. 38).
3.1 Le recourant reproche tout d'abord à la cour cantonale d'avoir violé l'interdiction de l'arbitraire en donnant du crédit aux témoignages indirects de la mère de la victime, ainsi que de MM. F._ et G._, tous proches de la victime, pour retenir le viol. Cependant, comme l'a rappelé l'autorité cantonale, ce ne sont pas ces témoignages qui ont servi pour l'essentiel à forger l'intime conviction du tribunal correctionnel. Quant au témoignage F._, la cour cantonale a expliqué pourquoi elle le tenait pour fondamental (arrêt attaqué p. 12 et 13 let. b). Le recourant se contente d'opposer à cette argumentation les liens unissant les témoins à la victime, liens que la cour cantonale n'a pas ignorés. Il se contente également d'alléguer que malgré de fausses déclarations de M. G._ sur ses liens avec la victime, il aurait été tenu compte de son témoignage. Le recourant présente ainsi de simples allégations sans expliquer de manière suffisante en quoi la décision attaquée serait arbitraire, de sorte que son grief n'a pas à être examiné.
3.2 Le recourant reproche à la cour cantonale d'avoir ignoré le témoignage de H._. Selon lui, ce témoin, qui n'avait avec l'accusé que de simples rapports de voisinage, a fourni dans ses déclarations des éléments permettant de démentir le fait que la victime vivait dans la crainte de son mari ou se rendait chez lui sous la contrainte. Ce témoin aurait dit qu'il avait l'impression que la victime venait librement et avec plaisir chez son mari, que toute la famille était souriante, y compris madame, qu'il n'avait pas l'impression que les époux faisaient des efforts pour paraître heureux devant les enfants. Le recourant reproche également à l'autorité cantonale de ne pas avoir mentionné les raisons pour lesquelles elle n'a pas retenu ce témoignage.
L'autorité cantonale a jugé que les témoignages sur lesquels s'appuie notamment la décision ne sont pas contredits par ceux auxquels se réfère le recourant, qui sont plus anecdotiques. Cette motivation est certes un peu courte, mais, s'agissant d'un témoignage à l'évidence non pertinent, elle paraît dans le contexte de la présente affaire suffisante. En effet, la conviction des juges s'est notamment formée sur la base de l'analyse des déclarations des protagonistes, des témoignages de la mère de la victime et de M. F._, sur les rapports d'expertise du Dr K._ et les rapports des autorités pénitentiaires ainsi que de l'ensemble des intervenants professionnels, qui ont confirmé la crainte de la victime et l'emprise de son mari sur elle. Sur ces questions, et face aux éléments retenus par les autorités cantonales, le témoignage d'un voisin, qui dit ne pas avoir remarqué que la victime ne venait pas librement voir son mari mais qui ne peut rien dire sur ce qui se passait dans l'appartement -parce que les appartements sont bien insonorisés, qu'ils sont séparés par un corridor et qu'il écoutait souvent de la musique avec un casque- n'est pas pertinent. En effet, dans un contexte de terreur psychologique, il n'est pas surprenant que l'épouse, qui n'a d'ailleurs pas déclenché de son propre chef la procédure, n'ait pas parlé de ce qu'elle vivait au voisin de son mari, qui paraissait en bons termes avec ce dernier. De plus, ce témoignage ne contredit pas véritablement l'appréciation faite par les autorités cantonales, le témoin ayant également parlé de disputes entre les époux, du fait qu'il a dû intervenir pour calmer la situation entre eux et qu'il a même trouvé nécessaire d'intervenir lors d'une dispute à l'extérieur. Ce témoignage montre donc que la situation n'était pas celle à laquelle voudrait faire croire le recourant. L'appréciation confirmée par l'autorité cantonale n'est donc pas arbitraire. Ce grief ne peut qu'être rejeté.
Il ne peut en outre être entré en matière sur le grief par lequel le recourant reproche à l'autorité cantonale d'avoir passé sous silence le témoignage de J._. En effet, le recourant ne montre pas en quoi ce témoignage était à ce point pertinent qu'il faille considérer qu'il était arbitraire de confirmer l'appréciation des juges de première instance.
3.3 Le recourant reproche par ailleurs à l'autorité cantonale de ne pas avoir éprouvé de doutes. Il cite une série d'éléments qui, selon lui, auraient dû conduire cette autorité à en éprouver.
3.3.1 Ainsi, il reproche tout d'abord aux autorités cantonales d'avoir minimisé le fait que la victime ne se soit pas soumise à l'expertise ordonnée par le juge d'instruction. L'autorité cantonale a taxé le comportement de la victime de critiquable en dépit des excuses invoquées et compréhensibles à certains égards. Néanmoins, elle a admis d'une part que cette expertise n'aurait pas permis de démontrer que la victime aurait menti, ce qui n'est, selon elle, à l'évidence pas le cas au vu du dossier à disposition, et d'autre part que l'expertise avait un autre objectif, soit de déterminer si les éléments constitutifs de l'<ref-law> étaient réalisés. Comme cette infraction n'a pas été retenue à l'encontre du recourant, celui-ci ne saurait tirer argument de l'absence d'expertise.
Le recourant se contente d'affirmer que l'expertise fait référence à l'<ref-law> et que, si elle avait été effectuée, il aurait pu poser des questions complémentaires à l'expert, s'agissant en particulier de la prétendue contrainte psychologique ayant permis de retenir le viol. Il soutient qu'il n'appartenait pas au tribunal de se substituer à l'expert pour déterminer l'état psychologique de la victime et que l'absence d'expertise est devenue un élément à décharge capital. Ce faisant, le recourant ne motive pas l'arbitraire de la décision cantonale.
Au demeurant, comme l'a relevé l'autorité cantonale, l'expertise avait pour but de faire constater l'état de santé de la victime après ce qu'elle avait subi, ainsi que sa dépendance et ses facultés de résistance, et non pas de dire si la victime avait menti. Au surplus, elle concernait essentiellement une éventuelle application de l'<ref-law> qui n'a pas été retenu en l'espèce. Dans ces circonstances et eu égard à l'ensemble du dossier à disposition, l'absence de cette expertise qui ne devait de toute manière pas porter sur la crédibilité de la victime ne remettait pas en cause la version de celle-ci, qui était au demeurant étayée par d'autres éléments de preuve et n'était pas propre à susciter un doute important. Le grief du recourant ne peut qu'être rejeté.
3.3.2 Quant aux éléments cités par le recourant, soit le fait que son épouse ait pu refuser d'écrire une lettre souhaitée par lui ou encore, qu'elle ait pu, en présence d'un tiers, ce qu'il omet de dire, refuser une fois de le suivre dans son appartement, ils ne permettent pas non plus de qualifier d'arbitraire le fait que l'autorité cantonale ait confirmé l'appréciation faite par l'autorité de première instance de la capacité de la victime à s'opposer à son mari et de l'emprise exercée par ce dernier.
3.3.3 Le recourant tente encore de mettre en doute la crédibilité de la victime en invoquant de prétendus mensonges de celle-ci sur sa consommation d'alcool, sur une éventuelle liaison avec un tiers, ou sur son mari. D'une part, tous ces soi-disant mensonges ne sont pas démontrés mais seulement allégués par le recourant. En outre, quand bien même ils seraient avérés, ils n'ont pas de lien immédiat avec les faits reprochés au recourant et ne permettraient pas de qualifier d'arbitraire la décision cantonale. Toujours pour mettre en doute la crédibilité de la victime, le recourant prétend que la dénonciation pour viol serait une version arrangée par celle-ci pour cacher à son amant qu'elle avait renoué avec son mari et reproche à la victime de ne pas avoir parlé du soi-disant viol de novembre 2002 aux autorités de poursuite pénale, alors qu'elle était interrogée par ces dernières dans le cadre d'une procédure pour un prétendu viol commandité par son mari depuis la prison. Outre que de telles allégations ne suffisent pas à motiver l'arbitraire de l'arrêt cantonal, le recourant perd de vue que ce n'est pas la victime qui a déclenché la procédure, mais qu'elle n'a parlé des faits, qu'elle aurait préféré taire, que suite à l'intervention de la police et qu'elle a exprimé sa peur qui peut expliquer qu'elle n'ait pas parlé de ces faits auparavant. Les allégués du recourant ne permettent pas de qualifier d'arbitraire la décision cantonale relative à l'appréciation faite par l'autorité cantonale des déclarations de la victime, appréciation renforcée par ailleurs par d'autres éléments de preuve. Quant à l'absence de traces de sperme dans les prélèvements faits sur la victime le 2 juillet, le recourant ne démontre pas non plus en quoi cela permettrait d'exclure un viol commis le 1er juillet. Le grief du recourant ne peut qu'être rejeté.
3.3.4 Il en est de même lorsque le recourant se plaint que les autorités cantonales ont donné plus de crédit aux déclarations de la victime qu'aux siennes, ne tenant notamment pas suffisamment compte du fait que s'il s'est contredit c'est en raison de problèmes de santé, ou n'ont pas accordé plus d'importance à l'expertise du prévenu du 27 novembre 2003, à un rapport de son supérieur hiérarchique qui l'aurait qualifié de très correct ou encore à un rapport favorable du 24 juin 2004 des prisons de La Chaux-de-Fonds. S'agissant de l'expertise de 2003, la cour cantonale a longuement expliqué (p. 9) que contrairement à ce que prétend le recourant, les premiers juges n'ont pas préféré la première à la seconde et que cette dernière ne permettait nullement d'exclure que le recourant avait continué de se montrer menaçant à l'égard de son épouse. Une fois de plus, le recourant ne motive pas l'arbitraire de cette décision. On ne voit pas non plus en quoi les autres éléments cités par le recourant sont pertinents et permettent de qualifier d'arbitraire l'arrêt cantonal confirmant l'appréciation faite par l'autorité de première instance des faits à la base des viols et le recourant ne le démontre pas. Le recourant n'établit notamment pas que des problèmes de santé seraient à la base de ses contradictions. Son grief n'a pas à être examiné davantage.
3.4 Le recourant invoque encore une violation de son droit d'être entendu et notamment de son droit à obtenir une décision suffisamment motivée. Ce grief ne répondant pas aux exigences de motivation de l'art. 90 al. 1 let. b OJ, il n'y a pas lieu de l'examiner.
Au vu de ce qui précède, le recours ne peut qu'être rejeté dans la mesure où il est recevable.
II. Pourvoi en nullité
II. Pourvoi en nullité
4. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter sous peine d'irrecevabilité (<ref-ruling> consid. 1 p. 66/67).
4. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter sous peine d'irrecevabilité (<ref-ruling> consid. 1 p. 66/67).
5. Le recourant, sans plus contester les éléments constitutifs objectifs du viol, prétend que l'élément intentionnel de cette infraction fait défaut. Il n'aurait pas pu discerner d'absence de consentement de la victime, ni savoir que sa seule présence mettait son épouse sous le coup d'une pression psychologique susceptible d'annihiler toute résistance.
L'infraction prévue par l'<ref-law> est intentionnelle. L'auteur doit vouloir ou accepter que la victime ne soit pas consentante, qu'il exerce ou exploite un moyen de contrainte sur elle et qu'elle se soumette à l'acte sexuel sous l'effet de la contrainte.
Dans le cas particulier, il ressort des constatations de fait des autorités cantonales, auxquelles la cour de céans est liée et dont le recourant n'est pas admis à s'écarter, que la victime a cédé à son mari contre son gré sous la contrainte, qu'elle n'était par conséquent pas consentante et qu'au vu de ses capacités intellectuelles, ce dernier était parfaitement conscient des menaces qu'il exerçait, de la crainte qu'il inspirait à la plaignante et du fait que ce qu'il obtenait d'elle l'était par l'effet de cette crainte. Par conséquent, c'est sans violer le droit fédéral que l'autorité cantonale a retenu que l'élément subjectif de l'intention était réalisé.
Dans le cas particulier, il ressort des constatations de fait des autorités cantonales, auxquelles la cour de céans est liée et dont le recourant n'est pas admis à s'écarter, que la victime a cédé à son mari contre son gré sous la contrainte, qu'elle n'était par conséquent pas consentante et qu'au vu de ses capacités intellectuelles, ce dernier était parfaitement conscient des menaces qu'il exerçait, de la crainte qu'il inspirait à la plaignante et du fait que ce qu'il obtenait d'elle l'était par l'effet de cette crainte. Par conséquent, c'est sans violer le droit fédéral que l'autorité cantonale a retenu que l'élément subjectif de l'intention était réalisé.
6. Le recourant invoque une violation de l'<ref-law>. Il prétend que l'expertise a posé un diagnostic de troubles de la personnalité équivalant à un trouble de la santé mentale qui aurait dû conduire à un certain doute quant à sa responsabilité pleine et entière, dont il aurait fallu tenir compte lors de la fixation de la peine.
Le pourvoi en nullité au Tribunal fédéral revêt un caractère subsidiaire par rapport aux voies de recours de droit cantonal (art. 268 PPF). Il suppose donc l'épuisement préalable des instances et voies de droit cantonales permettant de faire réexaminer librement l'application du droit fédéral. Si l'autorité cantonale, selon la loi de procédure applicable, ne pouvait examiner que les griefs valablement soulevés, il n'y a pas d'épuisement des instances cantonales, lorsque la question, déjà connue, n'a pas été régulièrement invoquée, de telle sorte que l'autorité cantonale n'a pas pu se prononcer à son sujet. En revanche, si l'autorité cantonale avait le devoir ou simplement la possibilité, selon le droit cantonal de procédure, d'examiner aussi des questions de droit qui ne lui étaient pas expressément soumises, ces questions peuvent être soulevées pour la première fois dans le cadre du pourvoi en nullité, même si le recourant ne les a pas fait valoir devant l'autorité cantonale de dernière instance (<ref-ruling> consid. 2a p. 44 s. et les arrêts cités).
Aux termes de l'art. 251 al. 2 CPP NE, la Cour de cassation n'était pas liée par les moyens invoqués par les parties, ce qui implique qu'elle pouvait revoir librement les questions de droit même si elles n'avaient pas été discutées dans la décision entreprise ou dans le pourvoi (Alain Bauer et Pierre Cornu, Code de procédure pénale neuchâtelois annoté, Neuchâtel 2003, p. 525 et l'arrêt cité). Dans ces circonstances, il y a lieu de considérer qu'elle avait pour le moins la possibilité de se prononcer sur la question, ce qui suffit pour que le recourant soit légitimé à la soulever dans le cadre de son pourvoi.
Ce grief ne peut toutefois qu'être rejeté puisqu'il ressort des constatations de fait, qui lient le Tribunal fédéral, que le recourant n'est, à dire d'expert, affecté d'aucun trouble mental réduisant sa responsabilité pénale.
Ce grief ne peut toutefois qu'être rejeté puisqu'il ressort des constatations de fait, qui lient le Tribunal fédéral, que le recourant n'est, à dire d'expert, affecté d'aucun trouble mental réduisant sa responsabilité pénale.
7. Le recourant invoque une violation du principe de célérité qui aurait dû, selon lui, conduire à une réduction de peine. Pour les motifs exposés au considérant précédent, il est légitimé à soulever ce grief dans le cadre du présent pourvoi bien qu'il ne l'ait pas invoqué devant l'autorité cantonale.
Le pourvoi en nullité est ouvert à l'accusé qui entend se plaindre que l'autorité cantonale n'a pas tenu compte de la violation du principe de la célérité lors de la fixation de la peine sans égard au fait que l'autorité cantonale ait expressément admis ou nié la violation du principe de la célérité ou qu'elle ait ignoré la question (<ref-ruling> consid. 3.3.2 p. 56).
Les art. 29 al. 1 Cst., 6 par. 1 CEDH et 14 par. 3 let. c Pacte ONU II prévoient que toute personne a droit à ce que sa cause soit jugée dans un délai raisonnable. Ces normes consacrent le principe de la célérité, qui impose aux autorités, dès le moment où l'accusé est informé des soupçons qui pèsent sur lui, de mener la procédure pénale sans désemparer, afin de ne pas maintenir inutilement l'accusé dans les angoisses qu'elle suscite. Une violation du principe de la célérité doit en principe être prise en compte au stade de la fixation de la peine. Le plus souvent, elle conduit à une réduction de la peine, parfois même à l'abandon de la poursuite (<ref-ruling> consid. 2a p. 140/141; Wiprächtiger, Basler Kommentar, Strafgesetzbuch I, n. 117 s. ad art. 63).
Pour qu'il y ait une violation du principe de la célérité, il faut qu'il apparaisse une carence choquante de la part de l'autorité pénale imposant une réduction de la peine. Il ne suffit pas de constater que tel ou tel acte aurait pu être réalisé plus rapidement, si en définitive, compte tenu du travail à accomplir, la durée totale de la procédure apparaît raisonnable. Selon la jurisprudence européenne, apparaissent comme des carences choquantes une inactivité de treize ou quatorze mois au stade de l'instruction, un délai de quatre ans pour qu'il soit statué sur un recours contre l'acte d'accusation ou encore un délai de dix ou onze mois pour que le dossier soit transmis à l'autorité de recours (<ref-ruling> consid. 2c p. 144; <ref-ruling> consid. 1c p. 110).
En l'espèce, le recourant ne signale aucune carence choquante. L'instruction a débuté en juillet 2003 et a été clôturée en mai 2004. L'audience de jugement a été fixée au 24 août 2004. Les considérants du jugement ont été notifiés le 12 janvier 2005, ce qui reste raisonnable, le délai fixé par le CPP NE n'étant qu'un délai d'ordre. Le recourant s'est pourvu en cassation le 1er février 2005. La Présidente de la cour de cassation pénale cantonale a rejeté le 9 mars 2005 la requête d'effet suspensif. Le recourant, assisté d'un avocat, n'est intervenu que le 16 mars 2006 pour demander qu'il soit statué sur son recours et la cour de cassation cantonale a statué le 5 avril 2006 par voie de circulation. Compte tenu de la charge de travail d'une cour cantonale, de la nature de l'affaire, des griefs soulevés et de la passivité du recourant assisté d'un mandataire professionnel, le délai de 14 mois pour statuer sur le recours, même s'il paraît long ne peut pas encore être qualifié d'excessif. Quant au délai global de 2 ans et 9 mois entre l'ouverture de la procédure et la décision de dernière instance cantonale, il est tout à fait raisonnable. Si le recourant est resté en détention et s'il a déjà purgé une bonne partie de sa peine, cela tient à son comportement. Il n'a notamment pas respecté les conditions liées à sa libération conditionnelle et son défaut d'amendement ainsi que le risque de récidive qu'il présentait ont conduit au refus de sa libération conditionnelle ou provisoire. Le grief du recourant ne peut ainsi qu'être rejeté.
En l'espèce, le recourant ne signale aucune carence choquante. L'instruction a débuté en juillet 2003 et a été clôturée en mai 2004. L'audience de jugement a été fixée au 24 août 2004. Les considérants du jugement ont été notifiés le 12 janvier 2005, ce qui reste raisonnable, le délai fixé par le CPP NE n'étant qu'un délai d'ordre. Le recourant s'est pourvu en cassation le 1er février 2005. La Présidente de la cour de cassation pénale cantonale a rejeté le 9 mars 2005 la requête d'effet suspensif. Le recourant, assisté d'un avocat, n'est intervenu que le 16 mars 2006 pour demander qu'il soit statué sur son recours et la cour de cassation cantonale a statué le 5 avril 2006 par voie de circulation. Compte tenu de la charge de travail d'une cour cantonale, de la nature de l'affaire, des griefs soulevés et de la passivité du recourant assisté d'un mandataire professionnel, le délai de 14 mois pour statuer sur le recours, même s'il paraît long ne peut pas encore être qualifié d'excessif. Quant au délai global de 2 ans et 9 mois entre l'ouverture de la procédure et la décision de dernière instance cantonale, il est tout à fait raisonnable. Si le recourant est resté en détention et s'il a déjà purgé une bonne partie de sa peine, cela tient à son comportement. Il n'a notamment pas respecté les conditions liées à sa libération conditionnelle et son défaut d'amendement ainsi que le risque de récidive qu'il présentait ont conduit au refus de sa libération conditionnelle ou provisoire. Le grief du recourant ne peut ainsi qu'être rejeté.
8. Le recourant invoque encore une violation de l'<ref-law>. Il prétend qu'il n'a plus d'attaches avec la France, à l'exception de sa mère et de quelques membres de sa fratrie, qu'il s'est installé en Suisse depuis de nombreuses années, qu'il a un permis d'établissement, qu'il a fondé une famille et qu'une expulsion ne lui permettrait plus de voir ses enfants.
L'argumentation très succincte du recourant reprend mot pour mot celle présentée devant la cour cantonale, sans critiquer les objections que celle-ci lui a opposées. Dès lors, ce grief ne satisfait pas aux exigences minimales de motivation de l'art. 273 al. 1 let. b PPF, qui exige que le recourant expose au moins succinctement dans son mémoire en quoi le raisonnement de l'arrêt attaqué, qui seul peut faire l'objet du pourvoi (art. 268 ch. 1 PPF), viole le droit fédéral sur chacun des points contestés (<ref-ruling> consid. 5.1 p. 19 et les références citées). Le pourvoi est donc irrecevable sur ce point et doit également être rejeté dans la mesure où il est recevable.
L'argumentation très succincte du recourant reprend mot pour mot celle présentée devant la cour cantonale, sans critiquer les objections que celle-ci lui a opposées. Dès lors, ce grief ne satisfait pas aux exigences minimales de motivation de l'art. 273 al. 1 let. b PPF, qui exige que le recourant expose au moins succinctement dans son mémoire en quoi le raisonnement de l'arrêt attaqué, qui seul peut faire l'objet du pourvoi (art. 268 ch. 1 PPF), viole le droit fédéral sur chacun des points contestés (<ref-ruling> consid. 5.1 p. 19 et les références citées). Le pourvoi est donc irrecevable sur ce point et doit également être rejeté dans la mesure où il est recevable.
9. Comme les recours paraissaient d'emblée voués à l'échec, la requête d'assistance judiciaire doit être rejetée (art. 152 OJ). Le recourant, qui succombe, supportera les frais de la cause, lesquels sont fixés de manière à tenir compte de sa mauvaise situation financière.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public et le pourvoi sont rejetés dans la mesure où ils sont recevables.
1. Le recours de droit public et le pourvoi sont rejetés dans la mesure où ils sont recevables.
2. La requête d'assistance judiciaire est rejetée.
2. La requête d'assistance judiciaire est rejetée.
3. Un émolument judiciaire de 1000 fr. est mis à la charge du recourant.
3. Un émolument judiciaire de 1000 fr. est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie au mandataire du recourant, à la Cour de cassation pénale du Tribunal cantonal neuchâtelois et au Ministère public du canton de Neuchâtel
Lausanne, le 13 octobre 2006
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le Juge présidant: La greffière: