Faits:
Faits:
A. Par jugement du 26 janvier 2006, le Tribunal correctionnel du district du Val-de-Ruz a notamment condamné X._ à une peine de trois ans de réclusion. Cette autorité statuait à la suite de l'annulation par la Cour de cassation pénale du Tribunal cantonal neuchâtelois d'un premier jugement par lequel le Tribunal correctionnel du district de Boudry avait condamné X._ à 18 mois d'emprisonnement avec sursis pendant 5 ans pour actes analogues à l'acte sexuel et viols commis au préjudice de deux jeunes femmes souffrant d'un handicap mental. Saisie de la cause suite à des recours du Ministère public et des plaignantes, la Cour de cassation avait estimé que le Tribunal correctionnel de Boudry avait fait preuve d'une clémence arbitraire dans la fixation de la peine.
Le pourvoi en nullité au Tribunal fédéral formé par X._ contre cet arrêt a été déclaré irrecevable au motif qu'il renvoyait la cause à une autorité inférieure et ne tranchait pas définitivement la question de la quotité de la peine.
Les faits à l'origine de cette condamnation sont en substance les suivants. Vers juillet 2002, X._ a invité A._ à manger chez lui et est allé la chercher au foyer où elle réside en raison de son handicap mental. Une fois le repas terminé, il l'a invitée à aller se reposer sur le lit, l'a effrayée en prenant un air sévère dans le but d'exploiter la crainte qu'il pouvait percevoir chez elle, puis l'a obligée à se dévêtir, à subir des attouchements sur tout le corps, à le masturber. En outre, il lui a léché le sexe, y a introduit un doigt et lui a fait subir l'acte sexuel.
En novembre 2002, X._ a repris contact avec A._ et l'a à nouveau invitée à manger chez lui. Celle-ci est venue, accompagnée de son amie B._, également handicapée mentale résidant au même foyer, ce que X._ savait. Celui-ci procédant selon le même mode opératoire qu'en juillet, les a contraintes à subir des caresses sur tout le corps et à le masturber, leur a léché le sexe et les a obligées à subir l'acte sexuel.
Dans son jugement du 26 janvier 2006, le Tribunal correctionnel du district du Val-de-Ruz a rejeté la requête d'expertise psychiatrique de l'auteur, au motif que si son but était de déterminer s'il était à même de se rendre compte de l'état mental diminué de ses victimes, cette question, pertinente pour décider de la culpabilité, n'avait plus à être examinée, dans la mesure où le tribunal de renvoi était lié par les faits et leur qualification juridique retenus dans le jugement du 26 janvier 2005. Il a également rejeté la requête d'expertise dans la mesure où elle avait pour but de se prononcer sur la responsabilité pénale du recourant car le tribunal n'éprouvait aucun doute sur ce point
Pour fixer la quotité de la peine, le tribunal a qualifié la culpabilité de X._ de très lourde, du fait qu'il s'en est pris à deux jeunes filles handicapées mentales, que les actes qui lui sont reprochés sont très graves et qu'il a agi à deux reprises en l'espace de cinq mois. Il a également tenu compte de la grande différence d'âge entre X._ et ses victimes, de ses lourds antécédents pour des faits analogues, de sa pleine responsabilité, du fait qu'il n'avait pas formulé de regrets et ne reconnaissait pas sa responsabilité, de sa situation personnelle et du concours d'infractions.
Pour fixer la quotité de la peine, le tribunal a qualifié la culpabilité de X._ de très lourde, du fait qu'il s'en est pris à deux jeunes filles handicapées mentales, que les actes qui lui sont reprochés sont très graves et qu'il a agi à deux reprises en l'espace de cinq mois. Il a également tenu compte de la grande différence d'âge entre X._ et ses victimes, de ses lourds antécédents pour des faits analogues, de sa pleine responsabilité, du fait qu'il n'avait pas formulé de regrets et ne reconnaissait pas sa responsabilité, de sa situation personnelle et du concours d'infractions.
B. Le 10 mai 2006, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le pourvoi formé par X._.
L'autorité cantonale a relevé d'une part que le Tribunal du Val-de-Ruz, qui n'était saisi que de la question de la quotité de la peine, était lié par les faits retenus et leur qualification juridique, de sorte qu'il n'y avait pas lieu d'ordonner une expertise psychiatrique destinée à établir qu'il n'était pas à même de se rendre compte de l'état de ses victimes et d'autre part qu'aucun élément du dossier ne suscitait un doute sérieux relatif à une éventuelle diminution de la responsabilité de l'auteur et qu'il ne se justifiait donc pas non plus d'ordonner une expertise à ce propos. S'agissant de la peine, l'autorité cantonale a considéré que la motivation des premiers juges était tout-à-fait pertinente.
L'autorité cantonale a relevé d'une part que le Tribunal du Val-de-Ruz, qui n'était saisi que de la question de la quotité de la peine, était lié par les faits retenus et leur qualification juridique, de sorte qu'il n'y avait pas lieu d'ordonner une expertise psychiatrique destinée à établir qu'il n'était pas à même de se rendre compte de l'état de ses victimes et d'autre part qu'aucun élément du dossier ne suscitait un doute sérieux relatif à une éventuelle diminution de la responsabilité de l'auteur et qu'il ne se justifiait donc pas non plus d'ordonner une expertise à ce propos. S'agissant de la peine, l'autorité cantonale a considéré que la motivation des premiers juges était tout-à-fait pertinente.
C. X._ forme un recours de droit public contre cet arrêt. Invoquant une violation de l'art. 29 Cst., il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué. Le recourant se pourvoit également en nullité contre le même arrêt. Dans le cadre de ce pourvoi, il se plaint d'une violation des art. 63 CP et 249 PPF et conclut, avec suite de dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.
Pour ses deux recours, le recourant sollicite en outre l'assistance judiciaire et l'effet suspensif. Cette dernière requête a été rejetée par ordonnance du Président de la Cour de cassation pénale du Tribunal fédéral du 23 juin 2006.
Pour ses deux recours, le recourant sollicite en outre l'assistance judiciaire et l'effet suspensif. Cette dernière requête a été rejetée par ordonnance du Président de la Cour de cassation pénale du Tribunal fédéral du 23 juin 2006.
D. La Cour de cassation pénale cantonale n'a pas formulé d'observations, se référant aux considérants de l'arrêt attaqué.
Le Ministère public neuchâtelois conclut au rejet des deux recours, qu'il considère comme irrecevables en bonne partie et pour le surplus mal fondés.
Le Tribunal fédéral considère en droit:
Recours de droit public
Recours de droit public
1. 1.1 Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation de droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ). Il n'est en revanche pas ouvert pour se plaindre d'une violation du droit fédéral qui peut donner lieu à un pourvoi en nullité (art. 269 al. 1 PPF). Un tel grief ne peut donc pas être invoqué dans le cadre d'un recours de droit public, qui est subsidiaire (art. 84 al. 2 OJ; art. 269 al. 2 PPF).
1.2 Le recours de droit public n'est, sous réserve de certaines exceptions, non réalisées en l'espèce, recevable qu'à l'encontre des décisions prises en dernière instance cantonale (art. 86 al. 1 OJ). L'exigence de l'épuisement des instances cantonales signifie que le recourant doit faire valoir ses griefs devant la dernière instance cantonale et ne peut pas en soulever de nouveaux dans le cadre du recours de droit public. Une exception est toutefois admise lorsque l'autorité cantonale disposait d'un pouvoir d'examen libre et devait appliquer le droit d'office, sauf lorsque le nouveau grief se confond avec l'arbitraire ou lorsque le fait d'avoir attendu à présenter un grief lié à la conduite de la procédure est contraire à la bonne foi (ATF 119 Ia 88 consid. 1a p. 90/91).
1.3 Conformément à l'art. 90 al. 1 let. b OJ, l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Ainsi, le Tribunal fédéral n'a pas à vérifier lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne peut se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (ATF 113 consid. 2.1 p. 120; 125 I 71 consid. 1c p. 76 et les arrêts cités). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (ATF 125 I 492 consid. 1b p. 495 et les arrêts cités).
1.3 Conformément à l'art. 90 al. 1 let. b OJ, l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Ainsi, le Tribunal fédéral n'a pas à vérifier lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne peut se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (ATF 113 consid. 2.1 p. 120; 125 I 71 consid. 1c p. 76 et les arrêts cités). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (ATF 125 I 492 consid. 1b p. 495 et les arrêts cités).
2. 2.1 Le recourant invoque une violation de l'art. 29 Cst., soit de son droit d'être entendu et de son droit à un procès équitable. Il rappelle pour l'essentiel dans son recours les différentes phases de la procédure et, dans une motivation peu claire, semble reprocher aux autorités cantonales auxquelles l'affaire avait été renvoyée pour fixer une nouvelle peine, d'avoir statué sans avoir entendu les plaignantes, ni visionné la cassette d'interrogatoire de ces dernières, ni entendu les témoins. Il y voit une violation du principe d'immédiateté et d'oralité des débats applicable en procédure neuchâteloise.
On peut se demander si la motivation de son grief répond aux exigences de l'art. 90 al. 1 let. b OJ (cf. 1.3). Quoi qu'il en soit, le principe de la bonne foi s'oppose à ce qu'une partie qui constate un prétendu vice de procédure ne le signale pas immédiatement à un moment où il pourrait être corrigé, mais attende la fin de la procédure pour l'invoquer ultérieurement au cas où l'issue de celle-ci lui serait défavorable (ATF 121 I 30 consid. 5f p. 38; 119 Ia 221 consid. 5a p. 228 s. et les arrêts cités). Ainsi, celui qui ne soulève pas devant l'autorité cantonale de dernière instance un grief lié à la conduite de la procédure ne peut plus, en principe, le soulever devant le Tribunal fédéral (ATF 119 Ia 88 consid. 1a p. 90 s. et les arrêts cités). Or, rien n'indique, et le recourant ne démontre en tout cas pas, qu'il aurait soulevé son grief au cours de la procédure de première instance, alors qu'il en avait la possibilité, ni même dans son recours cantonal. Ainsi, la cour ne saurait entrer en matière sur cette partie du recours.
2.2 Toujours dans le chapitre intitulé violation de l'art. 29 Cst., le recourant voit une violation de l'art. 6 CEDH, notamment de son droit d'interroger et de faire interroger des témoins à charge et à décharge, dans le refus des autorités cantonales d'ordonner une expertise psychiatrique et de tenir compte, sans explication, de l'avis d'un médecin qui avait suivi le recourant durant ces dernières années.
2.2.1 Le droit de fournir des preuves quant aux faits de nature à influer sur le sort de la décision à rendre est une composante du droit d'être entendu garanti par l'art. 29 al. 2 Cst. (ATF 127 I 54 consid. 2b p. 56; 127 III 576 consid. 2c p. 578; 126 I 15 consid. 2a/aa p. 16). Une garantie analogue découle de l'art. 6 par. 3 let. d CEDH, qui dispose que tout accusé a le droit d'interroger ou faire interroger les témoins à charge et d'obtenir la convocation et l'interrogation des témoins à décharge dans les mêmes conditions que les témoins à charge. Il s'agit d'une concrétisation du droit à un procès équitable consacré par les art. 29 al. 1 Cst. et 6 par. 1 CEDH.
Le droit d'être entendu comprend en particulier le droit pour l'intéressé d'offrir des preuves, de prendre connaissance du dossier, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF 126 I 15 consid. 2a/aa p. 16). Toutefois, le droit d'être entendu ne peut être exercé que sur les éléments qui sont déterminants pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes lorsque le fait à établir est sans importance pour la solution du cas, qu'il résulte déjà de constatations ressortant du dossier ou lorsque le moyen de preuve avancé est impropre à fournir les éclaircissements nécessaires. L'appréciation anticipée des preuves ne constitue pas une atteinte au droit d'être entendu (ATF 125 I 127 consid. 6c/cc p. 135; 124 I 208 consid. 4a p. 211, 241 consid. 2 p. 242; 124 V 180 consid. 1a p. 181). Au même titre que toute appréciation des preuves, l'appréciation anticipée de celles-ci est soumise à l'interdiction de l'arbitraire (ATF 124 I 274 consid. 5b p. 285).
2.2.2 Selon l'arrêt attaqué, en dates des 22 octobre 2004 et 5 janvier 2005, le recourant avait déjà sollicité la mise en oeuvre d'une expertise permettant de déterminer s'il pouvait se rendre compte du fait que les plaignantes se trouvaient diminuées du point de vue psychique. Ces demandes ont été rejetées le 11 janvier 2005 par le Président du Tribunal correctionnel du district de Boudry au motif qu'il appartenait au tribunal de se prononcer sur ce qu'avait pu savoir et comprendre le recourant qui n'était pas privé de discernement ni malade mental. Cette requête n'a pas été réitérée aux débats. Le 26 janvier 2005, le Tribunal correctionnel du district de Boudry a retenu que le recourant avait les capacités intellectuelles nécessaires pour constater que les deux jeunes femmes ne se comportaient pas comme des adultes mais comme des enfants. Selon la cour cantonale, le recourant ne s'étant pas pourvu en cassation contre ce jugement et la cause ayant été annulée et renvoyée pour nouveau jugement uniquement pour fixer une nouvelle peine, la question des faits retenus à l'encontre du recourant pour fonder sa culpabilité était définitive et liait le tribunal auquel la cause était renvoyée, qui dès lors n'avait violé aucune règle essentielle de procédure en rejetant la nouvelle requête d'expertise du recourant. La cour cantonale a également rejeté l'argument selon lequel la mise en évidence des compétences du Dr Boudry et le témoignage de M. Rochat constituaient des faits nouveaux qui auraient dû conduire le Tribunal correctionnel du district du Val-de-Ruz à réexaminer les faits retenus dans le jugement du Tribunal correctionnel du district de Boudry, notamment parce qu'il s'agissait d'avis subjectifs, n'ayant qu'une force probante très relative, dans la mesure où ces deux témoins ne connaissaient pas les plaignantes.
En se contentant de prétendre que le refus du Tribunal correctionnel du district du Val-de-Ruz, confirmé par la cour de cassation pénale cantonale, d'ordonner une expertise et leur appréciation du témoignage du Dr Boudry violait l'art. 6 CEDH, sans aucunement motiver en quoi la décision attaquée porterait atteinte à ses droits constitutionnels, plus précisément à son droit d'être entendu ou à celui à un procès équitable, ni en quoi l'appréciation des juges cantonaux serait arbitraire, le recourant ne motive à l'évidence pas son grief d'une manière satisfaisant aux exigences de motivation de l'art. 90 al. 1 let. b OJ. Il n'est donc pas possible d'entrer en matière sur ce point.
Le recourant ne s'en prend pas au refus des autorités cantonales d'ordonner une expertise permettant d'établir sa responsabilité pénale au sens de l'art. 11 CP, faute pour elles d'avoir éprouvé des doutes sur celle-ci. Au demeurant, selon l'art. 13 CP, s'il existe un doute sérieux quant à la responsabilité de l'inculpé au moment des faits, le juge doit en principe ordonner une expertise psychiatrique, laquelle devra également porter sur l'importance de la diminution de responsabilité. Si le recourant entendait se plaindre de ce que les autorités cantonales auraient arbitrairement ou en violation du droit d'être entendu refusé d'ordonner une expertise psychiatrique et retenu qu'il était pleinement responsable au moment des faits, son grief serait également irrecevable, car cette question relève du droit pénal matériel et devait être invoquée dans un pourvoi en nullité (ATF 103 Ia 55 consid. 1 p. 57; ATF 96 I 71). Quant à la question de savoir si l'autorité cantonale a correctement apprécié d'autres expertises figurant au dossier ou l'avis de son médecin traitant, elle relève de l'appréciation des preuves. Si le recourant entendait se plaindre de cette dernière, il lui appartenait d'en invoquer l'arbitraire. Faute de l'avoir fait et faute d'avoir motivé un tel grief conformément aux exigences de l'art. 90 al. 1 let. b OJ, l'acte de recours est également irrecevable sur ce point.
Le recours doit donc être déclaré irrecevable.
Pourvoi en nullité
Pourvoi en nullité
3. 3.1 Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Dès lors, dans la mesure où le recourant allègue de nouveaux faits ou conteste ceux retenus dans la décision attaquée, son recours est irrecevable.
3.2 Conformément à l'art. 273 al. 1 let. b PPF, le mémoire doit mentionner les motifs à l'appui des conclusions prises. Il doit succinctement indiquer quelles sont les règles de droit fédéral violées et en quoi consiste cette violation. Pour respecter les exigences minimales de motivation, le recourant doit montrer concrètement pourquoi, dans le cas d'espèce, le droit fédéral a été violé. Il doit discuter la motivation de la décision rendue en dernière instance cantonale, qui seule peut faire l'objet du pourvoi (cf. art. 268 ch. 1 PPF). Il ne suffit pas d'affirmer que le droit fédéral a été mal appliqué, ni de simplement énumérer des dispositions légales ou encore de soulever les questions (ATF 129 IV 6 consid. 5.1 p. 19). Ainsi, lorsque le recourant évoque, dans la partie de son mémoire consacré à la violation de l'art. 63 CP, le fait que la mise sur pied d'une expertise psychiatrique lui a été refusée ou que le jugement prend en considération d'autres expertises faites lorsqu'il avait 35 ans, sans autre développement, son recours ne répond pas aux exigences de motivation et n'a pas à être examiné.
3.2 Conformément à l'art. 273 al. 1 let. b PPF, le mémoire doit mentionner les motifs à l'appui des conclusions prises. Il doit succinctement indiquer quelles sont les règles de droit fédéral violées et en quoi consiste cette violation. Pour respecter les exigences minimales de motivation, le recourant doit montrer concrètement pourquoi, dans le cas d'espèce, le droit fédéral a été violé. Il doit discuter la motivation de la décision rendue en dernière instance cantonale, qui seule peut faire l'objet du pourvoi (cf. art. 268 ch. 1 PPF). Il ne suffit pas d'affirmer que le droit fédéral a été mal appliqué, ni de simplement énumérer des dispositions légales ou encore de soulever les questions (ATF 129 IV 6 consid. 5.1 p. 19). Ainsi, lorsque le recourant évoque, dans la partie de son mémoire consacré à la violation de l'art. 63 CP, le fait que la mise sur pied d'une expertise psychiatrique lui a été refusée ou que le jugement prend en considération d'autres expertises faites lorsqu'il avait 35 ans, sans autre développement, son recours ne répond pas aux exigences de motivation et n'a pas à être examiné.
4. Le recourant se plaint d'une violation de l'art. 63 CP.
4.1 Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Un pourvoi en nullité portant sur la quotité de la peine ne peut donc être admis que si la sanction a été fixée en dehors du cadre légal, si elle est fondée sur des critères étrangers à l'art. 63 CP, si les éléments d'appréciation prévus par cette disposition n'ont pas été pris en compte ou enfin si la peine apparaît exagérément sévère ou clémente au point que l'on doive parler d'un abus du pouvoir d'appréciation (ATF 129 IV 6 consid. 6.1 p. 21 et les arrêts cités).
Les éléments pertinents pour la fixation de la peine, qui ont été exposés de manière détaillée dans les ATF 117 IV 112 consid. 1 et 116 IV 288 consid. 2a, ont été rappelés récemment dans l'ATF 129 IV 6 consid. 6.1 auquel on peut donc se référer. Il en va de même s'agissant des exigences relatives à la motivation de la peine, exposées dans l'ATF 127 IV 101 consid. 2c p. 104 s.
4.2 Dans le cas particulier, le recourant ne motive pas vraiment en quoi l'art. 63 CP aurait été violé et on peut se demander si son grief répond aux exigences de motivation rappelées au consid. 3.2 ci-dessus.
Au demeurant, s'il entend s'en prendre aux faits constatés ou remettre en question l'appréciation des preuves effectuée, notamment en reprochant aux autorités cantonales de s'être écartées sans motifs convaincants du témoignage de son médecin traitant, son grief est irrecevable pour les motifs exposés au consid. 3.1 ci-dessus. C'est de plus à tort que le recourant semble prétendre qu'aucune motivation n'a mis en évidence la nécessité d'une peine d'emprisonnement ferme. En effet, les autorités cantonales ont exposé les motifs qui les ont amenées à fixer la peine à trois ans de réclusion. Elles ont notamment retenu une culpabilité très lourde du recourant en raison des actes commis, du fait qu'il a agi à deux reprises en l'espace de cinq mois, de l'état mental des victimes et de la différence d'âge entre le recourant et ces dernières. Elles ont également tenu compte des mauvais antécédents du recourant qui, sans être récidiviste au sens de l'art. 67 CP, a déjà été condamné à six reprises pour des infractions de même nature à des peines privatives de liberté représentant une durée de près de 14 ans, de sa situation personnelle, de sa responsabilité pénale pleine et entière, du fait qu'il ne formulait aucun regret et ne reconnaissait pas sa responsabilité pour les actes commis et du concours d'infractions. Le recourant ne cite aucun élément qui aurait été retenu à tort. Il semble cependant prétendre qu'il n'aurait pas été tenu compte de ses mobiles et de sa situation personnelle. S'agissant des mobiles, il a été admis que le recourant avait agi pour assouvir ses pulsions sexuelles. On ne voit pas et le recourant ne le dit pas, quels mobiles établis en fait et pouvant lui être favorables auraient été ignorés par l'autorité cantonale. Quant à la situation personnelle du recourant, les juges en ont expressément tenu compte, la qualifiant de relativement bonne.
La peine prononcée a été fixée sur la base de critères pertinents et se situe dans le cadre légal. Compte tenu des différents éléments relevés, elle n'est pas exagérément sévère au point que l'on doive parler d'un abus du pouvoir d'appréciation. Il s'ensuit que la cour cantonale n'avait pas à examiner si, compte tenu de la situation personnelle du recourant, il ne convenait pas de réduire la peine à dix-huit mois pour pouvoir octroyer le sursis. S'il est recevable, le grief du recourant ne peut qu'être rejeté.
La peine prononcée a été fixée sur la base de critères pertinents et se situe dans le cadre légal. Compte tenu des différents éléments relevés, elle n'est pas exagérément sévère au point que l'on doive parler d'un abus du pouvoir d'appréciation. Il s'ensuit que la cour cantonale n'avait pas à examiner si, compte tenu de la situation personnelle du recourant, il ne convenait pas de réduire la peine à dix-huit mois pour pouvoir octroyer le sursis. S'il est recevable, le grief du recourant ne peut qu'être rejeté.
5. Le recourant invoque encore une violation de l'art. 249 PPF.
Le principe de la libre appréciation des preuves énoncé par l'art. 249 PPF signifie qu'en matière pénale les juridictions d'instruction et de jugement ne sont pas liées par des preuves légales et peuvent, selon leur intime conviction, décider si un fait doit être tenu pour établi. L'art. 249 PPF interdit uniquement au juge d'appliquer les règles légales -sur l'admissibilité et la force probante d'un moyen de preuve ou les conditions de sa recevabilité- qui lui refusent de se prononcer sur leur valeur démonstrative (ATF 127 IV 46 consid. 1c p. 47; 115 IV 267 consid. 1 p. 268 s.; 103 IV 299 consid. 1a p. 300 s.)
En revanche, cette disposition ne permet pas de contester l'étendue des investigations, l'appréciation des preuves et les constatations de fait qui en découlent. Ces questions ne peuvent donner lieu qu'à un grief de rang constitutionnel formulé dans un recours de droit public (Bernard Corboz, Le pourvoi en nullité in: Les recours au Tribunal fédéral, publications FSA, Berne 1997, p. 57 ss, p. 74).
En l'espèce, le recourant se limite une nouvelle fois à reprocher aux autorités cantonales leur appréciation du témoignage de son médecin traitant, ainsi que leur refus d'ordonner un moyen de preuve qu'il souhaitait, soit l'expertise psychiatrique. Son grief est par conséquent irrecevable.
Le pourvoi ne peut dès lors qu'être rejeté dans la mesure où il est recevable.
Comme les recours paraissaient d'emblée voués à l'échec, la requête d'assistance judiciaire doit être rejetée (art. 152 al. 1 OJ). Le recourant, qui succombe, supporte les frais de la cause, lesquels seront fixés en tenant compte de sa situation financière.
Il n'y a pas lieu d'allouer d'indemnité aux plaignantes qui n'ont pas eu à intervenir dans la procédure devant le Tribunal fédéral.
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est irrecevable.
1. Le recours de droit public est irrecevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
3. La requête d'assistance judiciaire est rejetée.
3. La requête d'assistance judiciaire est rejetée.
4. Un émolument judiciaire de 1600 francs est mis à la charge du recourant.
4. Un émolument judiciaire de 1600 francs est mis à la charge du recourant.
5. Le présent arrêt est communiqué en copie au recourant, au Ministère public du canton de Neuchâtel et à la Cour de cassation pénale du Tribunal cantonal neuchâtelois.
Lausanne, le 4 septembre 2006
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: