Faits:
Faits:
A. Par jugement du 23 avril 2004, la Cour d'assises du Tribunal cantonal neuchâtelois a condamné X._, pour actes d'ordre sexuel avec des enfants (<ref-law>) et pour pornographie (<ref-law>), à une peine de quatre ans et demi de réclusion, sous déduction de dix-neuf jours de détention préventive subie, cette peine étant complémentaire à la peine de six mois prononcée avec sursis le 5 juillet 2002 par le Tribunal de police du district du Val-de-Travers. En outre, la cour a révoqué le sursis à cette dernière peine et a ordonné un traitement thérapeutique ambulatoire pendant l'exécution de la peine privative de liberté. Enfin, elle a prononcé la confiscation et la destruction du matériel pornographique saisi en cours d'enquête.
Par arrêt du 12 novembre 2004, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le pourvoi en cassation formé par X._.
Par arrêt du 12 novembre 2004, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le pourvoi en cassation formé par X._.
B. En résumé, l'arrêt cantonal repose sur les faits suivants:
B.a Dès le mois de septembre 1997, X._ a vécu en ménage avec Y._ et les trois enfants de celle-ci, A._, née le 17 octobre 1993, B._, né le 28 décembre 1990, et C._, né le 7 décembre 1987.
Entre le début de l'année 2001 et le mois d'août 2003, X._ a commis des actes sexuels sur les enfants de sa compagne. Il a caressé les parties intimes des enfants. Il leur a demandé et obtenu qu'ils lui introduisent divers objets dans l'anus, qu'ils le masturbent, le sodomisent, lui urinent dessus et lui prodiguent des fellations, éjaculant à ces occasions devant eux, même dans la bouche de l'un d'eux. Il a également fait subir aux enfants divers actes de cette nature.
Entre l'année 2002 et le mois d'août 2003, X._ a montré aux enfants des photographies et des cassettes à caractère pornographique et a remis des revues pornographiques à l'un d'eux.
B.b Dans le cadre de l'instruction, X._ a consulté différents médecins, notamment en raison de troubles auditifs occasionnés par une tumeur bénigne de la gaine nerveuse qui entoure le nerf auditif (un schwannome). Considérant qu'il y avait doute sur la responsabilité pénale de X._ et afin de pouvoir se déterminer sur l'opportunité d'une mesure de sûreté, le juge d'instruction a ordonné une expertise psychiatrique, qu'il a confiée au Dr F._, psychiatre et psychothérapeute FMH à Colombier. Dans son rapport du 1er décembre 2003, ce médecin a conclu que X._ ne souffrait, au moment de la commission des actes qui lui sont reprochés, d'aucune maladie mentale, faiblesse d'esprit ou autre altération de la conscience et qu'il n'était atteint d'aucun trouble dans sa santé mentale ou dans sa conscience, ni ne présentait de développement mental incomplet. Selon ce spécialiste, le trouble de la personnalité dont X._ souffrait, de type antisocial avec tendances pédophiles, ne l'empêchait pas de se déterminer correctement pour apprécier le caractère illicite des actes commis.
B.b Dans le cadre de l'instruction, X._ a consulté différents médecins, notamment en raison de troubles auditifs occasionnés par une tumeur bénigne de la gaine nerveuse qui entoure le nerf auditif (un schwannome). Considérant qu'il y avait doute sur la responsabilité pénale de X._ et afin de pouvoir se déterminer sur l'opportunité d'une mesure de sûreté, le juge d'instruction a ordonné une expertise psychiatrique, qu'il a confiée au Dr F._, psychiatre et psychothérapeute FMH à Colombier. Dans son rapport du 1er décembre 2003, ce médecin a conclu que X._ ne souffrait, au moment de la commission des actes qui lui sont reprochés, d'aucune maladie mentale, faiblesse d'esprit ou autre altération de la conscience et qu'il n'était atteint d'aucun trouble dans sa santé mentale ou dans sa conscience, ni ne présentait de développement mental incomplet. Selon ce spécialiste, le trouble de la personnalité dont X._ souffrait, de type antisocial avec tendances pédophiles, ne l'empêchait pas de se déterminer correctement pour apprécier le caractère illicite des actes commis.
C. Contre l'arrêt cantonal, X._ dépose un recours de droit public et un pourvoi en nullité au Tribunal fédéral. Dans le premier, il invoque une violation du droit d'être entendu et du droit à un procès équitable (art. 29 al. 1 et 2 Cst. et art. 6 CEDH). Dans le second, il soutient que l'<ref-law> (contrainte sexuelle) a été retenu à tort. Dans les deux recours, il conclut à l'annulation de l'arrêt attaqué et sollicite l'assistance judiciaire.

Le Tribunal fédéral considère en droit:
I. Recours de droit public
I. Recours de droit public
1. Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation des droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ). Il n'est en revanche pas ouvert pour se plaindre d'une violation du droit fédéral, qui peut donner lieu à un pourvoi en nullité (art. 269 al. 1 PPF); un tel grief ne peut donc pas être invoqué dans le cadre d'un recours de droit public, qui est subsidiaire (art. 84 al. 2 OJ; art. 269 al. 2 PPF).
En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
2. Le recourant se plaint d'une violation du droit d'être entendu (art. 29 al. 2 Cst.). Il soutient que l'expertise psychiatrique présente des lacunes, dans la mesure où l'expert n'examine pas les répercussions psychiques qu'aurait pu causer le schwannome dont il est atteint. Il se réfère à un rapport du 7 août 2001 du Dr G._, qui précise qu'une composante de dépression anxieuse du recourant avait motivé un autre traitement.
2.1 Garanti à l'art. 29 al. 2 Cst., le droit d'être entendu permet au justiciable de participer à la procédure probatoire en produisant des preuves pertinentes et en obtenant qu'il soit donné suite à ses offres de preuve pertinentes (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2a/aa p. 16 et les arrêts cités). Il est possible de renoncer à l'administration de certaines preuves offertes lorsque le fait à établir n'est pas important pour la solution du cas, lorsque les preuves résultent déjà d'éléments du dossier, et lorsque le juge parvient à la conclusion qu'elles ne sont pas décisives ou qu'elles ne pourraient l'amener à modifier son opinion. Ce refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 6c/cc p. 135, 417 consid. 7b p. 430; <ref-ruling> consid. 4a p. 211, 241 consid. 2 p. 242 et les arrêts cités).
2.2 Selon la jurisprudence, une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. Il ne suffit pas que les motifs de la décision critiquée soient insoutenabIes, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.1 p. 182, 273 consid. 2.1 p. 275; <ref-ruling> consid. 2b p. 56, 60 consid. 5a p. 70, et les arrêts cités).
2.3 La cour de cassation neuchâteloise a sur les questions qui sont posées dans le recours de droit public à propos de l'établissement des faits et l'appréciation des preuves une cognition semblable à celle du Tribunal fédéral qui est appelé à les résoudre sous l'angle de l'art. 9 Cst. (cf. Alain Bauer/Pierre Cornu, Code de procédure pénale neuchâtelois annoté, p. 500 s; art. 251 CPP/NE, n. 8 et 11, p. 523/524). Il ne s'ensuit pourtant pas pour le Tribunal fédéral l'obligation de se limiter à examiner sous l'angle de l'arbitraire si l'autorité cantonale de recours est elle-même tombée dans l'arbitraire. Ce mode de faire réduirait pratiquement à néant le rôle assigné dans ce domaine au juge constitutionnel de la Confédération. Il appartient bien plutôt au Tribunal fédéral d'examiner sans réserve l'usage que l'autorité cantonale de cassation a fait de sa cognition limitée (<ref-ruling> consid. 11a/cc p. 494; <ref-ruling> consid. 1b p. 355). L'examen du Tribunal fédéral saisi d'un recours de droit public ayant pour objet la constatation des faits et l'appréciation des preuves, dirigé contre l'arrêt d'une autorité de cassation qui n'a pas une cognition inférieure à la sienne, portera concrètement sur l'arbitraire du jugement de l'autorité inférieure, question qu'il lui appartient d'élucider à la seule lumière des griefs soulevés dans l'acte de recours (<ref-ruling> consid. 1a/cc et 1b p. 495).
2.4 En l'occurrence, la cour de cassation cantonale a relevé que l'expert savait que le recourant était atteint d'un schwannome vestibulaire, mais a estimé que le recourant ne souffrait d'aucun trouble, à l'exception du trouble sexuel que constitue la pédophilie. Elle en a conclu que le schwannome n'avait aucune répercussion sur la faculté du recourant de percevoir le caractère illicite de ses actes et de se déterminer sur la base de cette évaluation, car si cette affection avait pu occasionner des troubles psychiques, ceux-ci auraient été révélés lors de l'expertise. En outre, la cour de cassation cantonale s'est référée aux rapports des médecins consultés au sujet du schwannome, précisant qu'aucun n'avait mis en doute la capacité mentale pleine et entière du recourant. Le Dr H._ et le Dr I._ mentionnent certes que toute pathologie médicale peut avoir une répercussion sur l'état psychique. La cour de cassation cantonale a toutefois admis que tel n'était pas le cas en l'espèce, puisque le recourant n'avait jamais mentionné spontanément, au cours de la procédure, souffrir du fait de se voir porteur d'une tumeur. Enfin, la cour de cassation cantonale a expliqué que le recourant avait su exprimer le mécanisme qui s'était instauré entre lui et les enfants et les raisons qui l'avaient poussé à l'acte.
Le raisonnement de la cour de cassation cantonale ne prête pas le flanc à la critique. Elle a expliqué de manière claire et détaillée les raisons qui l'ont conduite à exclure toute répercussion de la tumeur du recourant sur sa capacité d'apprécier le caractère illicite de ses actes. Pour ce faire, elle a analysé de manière détaillée l'expertise en cause ainsi que les différents rapports médicaux. Le rapport du Dr G._ qui fait une référence à un simple trouble de dépression ne saurait mettre en doute l'expertise du Dr F._ et les autres rapports médicaux. Le recourant ne fait valoir aucun autre argument pertinent. Mal fondée, l'argumentation du recourant doit être rejetée.
Le raisonnement de la cour de cassation cantonale ne prête pas le flanc à la critique. Elle a expliqué de manière claire et détaillée les raisons qui l'ont conduite à exclure toute répercussion de la tumeur du recourant sur sa capacité d'apprécier le caractère illicite de ses actes. Pour ce faire, elle a analysé de manière détaillée l'expertise en cause ainsi que les différents rapports médicaux. Le rapport du Dr G._ qui fait une référence à un simple trouble de dépression ne saurait mettre en doute l'expertise du Dr F._ et les autres rapports médicaux. Le recourant ne fait valoir aucun autre argument pertinent. Mal fondée, l'argumentation du recourant doit être rejetée.
3. Le recourant invoque une application arbitraire de l'art. 54 du Code de procédure pénale neuchâtelois (ci-après: CPP/NE) ainsi qu'une violation du principe du droit à un procès équitable (art. 29 al. 1 Cst. et art. 6 ch. 1 CEDH). Il se plaint de ne pas avoir été assisté d'un mandataire pendant l'instruction, notamment lors de la mise en oeuvre de l'expertise psychiatrique, et de n'avoir ainsi pas été placé sur un plan d'égalité des armes avec la justice.
Etant donné que le recourant n'a pas soulevé ce grief au niveau cantonal, il se pose la question de sa recevabilité au regard de l'épuisement des voies de recours cantonales (art. 86 al. 1 OJ). Il découle de ce principe que seuls sont recevables devant le Tribunal fédéral les griefs qui, pouvant l'être, ont été présentés à l'autorité cantonale de dernière instance. La jurisprudence admet cependant la recevabilité de moyens de droit nouveaux lorsque l'autorité cantonale de dernière instance disposait d'un pouvoir d'examen libre et devait appliquer le droit d'office. Cette exception vaut pour tous les griefs qui ne se confondent pas avec l'arbitraire et notamment pour celui tiré de la violation du droit à un procès équitable, à condition que le comportement du recourant ne soit pas contraire à la règle de la bonne foi, en vertu de laquelle celui qui ne soulève pas devant l'autorité de dernière instance cantonale un grief lié à la conduite de la procédure ne peut plus en principe le soulever devant le Tribunal fédéral. Une solution contraire favoriserait les manoeuvres dilatoires (<ref-ruling> consid. 1a p. 90/91; <ref-ruling> consid. 2a p. 495, 522 consid. 3a p. 525/526).
Sur le plan cantonal, le recourant a formé un pourvoi en cassation à la cour de cassation cantonale. Selon l'art. 251 CPP/NE, "la cour est liée par les constatations de fait du premier juge, mais elle peut rectifier celles qui sont manifestement erronées. Elle n'est pas liée par les moyens que les parties invoquent". Selon la jurisprudence cantonale, cette dernière phrase a notamment pour conséquence que la cour doit constater d'office les violations des règles essentielles de la procédure de jugement, lorsqu'elles apparaissent comme des causes de nullité absolue (RJN 3 II 88, 7 II 25-26 et 90). En outre, la cour revoit librement les questions de droit même si elles ne sont pas discutées dans la décision entreprise ou dans le pourvoi, conformément au principe jura novit curia (RJN 7 II 142). En l'espèce, le grief du recourant a trait à la procédure d'enquête et non à la procédure de jugement. De plus, la conséquence de la violation du principe de la défense obligatoire lors de l'instruction n'entraîne pas la nullité des actes d'instruction (cf. art. 54 al. 1 2e phrase CPP/NE; Alain Bauer/Pierre Cornu, op. cit., art. 54 CPP/NE, n. 7 et 8, p. 145 s.). Il n'appartenait donc pas à la juridiction de recours neuchâteloise d'examiner d'office si le recourant aurait dû être assisté durant l'enquête, de sorte que le grief du recourant est irrecevable faute d'épuisement des voies de recours cantonales.
Sur le plan cantonal, le recourant a formé un pourvoi en cassation à la cour de cassation cantonale. Selon l'art. 251 CPP/NE, "la cour est liée par les constatations de fait du premier juge, mais elle peut rectifier celles qui sont manifestement erronées. Elle n'est pas liée par les moyens que les parties invoquent". Selon la jurisprudence cantonale, cette dernière phrase a notamment pour conséquence que la cour doit constater d'office les violations des règles essentielles de la procédure de jugement, lorsqu'elles apparaissent comme des causes de nullité absolue (RJN 3 II 88, 7 II 25-26 et 90). En outre, la cour revoit librement les questions de droit même si elles ne sont pas discutées dans la décision entreprise ou dans le pourvoi, conformément au principe jura novit curia (RJN 7 II 142). En l'espèce, le grief du recourant a trait à la procédure d'enquête et non à la procédure de jugement. De plus, la conséquence de la violation du principe de la défense obligatoire lors de l'instruction n'entraîne pas la nullité des actes d'instruction (cf. art. 54 al. 1 2e phrase CPP/NE; Alain Bauer/Pierre Cornu, op. cit., art. 54 CPP/NE, n. 7 et 8, p. 145 s.). Il n'appartenait donc pas à la juridiction de recours neuchâteloise d'examiner d'office si le recourant aurait dû être assisté durant l'enquête, de sorte que le grief du recourant est irrecevable faute d'épuisement des voies de recours cantonales.
4. En définitive, le recours de droit public doit être rejeté dans la mesure où il est recevable.
Comme le recours était d'emblée dépourvu de toute chance de succès, la requête d'assistance judiciaire doit être rejetée (art. 152 al. 1 OJ). Le recourant, qui succombe, doit supporter les frais (art. 156 al. OJ), qui sont fixés de manière réduite pour tenir compte de sa mauvaise situation financière.
II. Pourvoi en nullité
II. Pourvoi en nullité
5. Condamné pour actes d'ordre sexuel avec des enfants (<ref-law>) et pour contrainte sexuelle (<ref-law>), le recourant conteste la réalisation de cette seconde infraction.
5.1 L'<ref-law> tend à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, un acte d'ordre sexuel. Commet un acte de contrainte sexuelle celui qui, notamment, use "de menace ou de violence", exerce sur la victime "des pressions d'ordre psychique" ou la met "hors d'état de résister".
En l'occurrence, il a été retenu que le recourant n'a pas exercé de violences physiques ni recouru à de graves menaces pour obtenir des enfants qu'ils participent à ses "jeux sexuels". Considérant que le recourant bénéficiait d'un ascendant considérable sur les enfants, résultant de la position quasi-paternelle qu'il occupait dans cette famille recomposée, la cour de cassation cantonale a retenu que le recourant avait exercé une pression d'ordre psychique sur les enfants. De son côté, le recourant conteste l'application de l'<ref-law>, en faisant valoir qu'il ne savait pas que les enfants n'étaient pas consentants. De manière plus générale, il s'en prend à la tendance actuelle qui consisterait à cumuler l'<ref-law> et l'<ref-law> dès que les enfants vivent avec l'auteur des abus sexuels.
En l'occurrence, il a été retenu que le recourant n'a pas exercé de violences physiques ni recouru à de graves menaces pour obtenir des enfants qu'ils participent à ses "jeux sexuels". Considérant que le recourant bénéficiait d'un ascendant considérable sur les enfants, résultant de la position quasi-paternelle qu'il occupait dans cette famille recomposée, la cour de cassation cantonale a retenu que le recourant avait exercé une pression d'ordre psychique sur les enfants. De son côté, le recourant conteste l'application de l'<ref-law>, en faisant valoir qu'il ne savait pas que les enfants n'étaient pas consentants. De manière plus générale, il s'en prend à la tendance actuelle qui consisterait à cumuler l'<ref-law> et l'<ref-law> dès que les enfants vivent avec l'auteur des abus sexuels.
5.2 5.2.1 Malgré les critiques de la doctrine portant sur l'extension de la punissabilité aux pressions d'ordre psychique, il ne se justifie pas de s'écarter du texte clair de la disposition. Par de telles pressions, on vise notamment les situations où la victime est mise hors d'état de résister par la surprise, la frayeur, l'astuce de l'auteur ou une situation qui lui apparaît sans espoir, sans que le recours à la force physique ou à la violence ne soit une condition de réalisation de l'infraction. L'infraction est réalisée lorsque la situation est telle qu'on ne saurait attendre de la victime qu'elle oppose une résistance. Dans l'appréciation des circonstances qui ont amené la victime à céder aux pressions, la prise en considération de sa personnalité est importante, s'agissant notamment d'un enfant ou d'une personne souffrant d'une débilité mentale, dont la capacité de résister à de telles pressions est moindre.
5.2.2 En cas d'exploitation sexuelle par un auteur qui est socialement proche de l'enfant, le recours à la violence physique ne sera le plus souvent pas nécessaire, car l'auteur tend à instrumentaliser la dépendance émotionnelle, voire matérielle, découlant de ces liens. Chez les enfants, l'infériorité cognitive et la dépendance émotionnelle et sociale peuvent induire une pression psychique extraordinaire et, partant, une soumission comparable, les rendant incapables de s'opposer à des atteintes sexuelles. Cela doit notamment être pris en considération en cas d'abus commis par celui qui détient l'autorité parentale dans le ménage de la victime, car les craintes d'une perte d'affection peuvent constituer directement une menace sérieuse (<ref-ruling> consid. 2b p. 99 s.; <ref-ruling> consid. 3b p. 159 s.).
La pression psychique sur un enfant sous la forme d'une injonction de se taire peut suffire, même si elle n'est pas suivie d'une menace de suites fâcheuses ou d'une promesse d'avantages. Il faut cependant tenir compte de la situation spécifique dans laquelle se trouve l'enfant et de ce qu'il craint du fait de ne pas se soumettre à l'injonction. Le simple ordre de garder le silence constitue un facteur traumatisant classique de l'abus sexuel et, la plupart du temps, l'auteur n'a même pas besoin d'exiger expressément de l'enfant qu'il garde le silence, car le sentiment de honte et de culpabilité ou la dépendance affective l'incite spontanément à ne pas révéler les abus à des tiers (ATF <ref-ruling> consid. 3b p. 160 et les références citées).
Toutefois, chaque abus commis par un adulte sur un enfant qui lui est socialement proche ne conduit pas à l'application en concours des art. 187 et 189 CP. Le concours entre ces deux dispositions, qui protègent des biens juridiques différents, n'entre en ligne de compte que si la pression psychique exercée est notable (<ref-ruling> consid. 2b/cc p. 102). L'exploitation de rapports généraux de dépendance ou d'amitié ou même la subordination comme telle de l'enfant à l'adulte ne suffisent en règle générale pas pour admettre une pression psychologique au sens de l'<ref-law> (ATF <ref-ruling> consid. 3c p. 160 s.).
5.2.3 En l'occurrence, la cour de cassation cantonale s'est fondée sur plusieurs éléments pour retenir une pression d'ordre psychique. Elle a tenu compte du fait que le recourant faisait ménage commun avec la mère et jouissait d'une autorité quasi paternelle, en raison de la défection du père biologique. Elle a également relevé que le recourant profitait que les enfants lui demandaient des faveurs pour subordonner son accord à la commission d'actes sexuels. En outre, elle a constaté que le recourant avait interdit aux enfants de parler des actes incriminés. Pour la cour de cassation cantonale, les enfants se sont tus par peur de la réaction du recourant et par crainte de perdre un environnement familial qu'ils appréciaient. Le recourant reconnaît du reste que la famille recomposée qu'ils formaient était unie et que les enfants ne souhaitaient pas perdre ce repère.
Le recourant soutient que lorsque les enfants refusaient ou n'avaient pas envie de s'adonner aux ébats qu'il proposait, il n'insistait pas et que lui-même refusait parfois de s'y adonner même si c'était les enfants qui les proposaient. Dans la mesure où le recourant prétend que les enfants auraient parfois pris l'initiative de certains jeux "sexuels", il s'écarte de l'état de fait cantonal, l'arrêt attaqué précisant au contraire que c'est le recourant qui disait aux enfants ce qu'il fallait faire; son grief est dès lors irrecevable. Pour le surplus, l'arrêt attaqué retient certes que le recourant n'a pas passé outre le refus parfois clairement exprimé des enfants d'accomplir certains actes. Cela ne signifie pas encore que les enfants étaient toujours librement consentants. En outre, comme l'explique la cour de cassation cantonale, le défaut de résistance des enfants permet d'exclure le moyen de la contrainte physique mais ne s'oppose nullement à l'application de l'<ref-law> pour pression d'ordre psychique. Dans la mesure où il est recevable, le grief du recourant est donc mal fondé.
Dès lors, au vu de l'ensemble des circonstances, compte tenu des exigences moins sévères à poser en cas d'abus sur des enfants, la réalisation des éléments objectifs d'une contrainte sexuelle au sens de l'<ref-law> pouvait être admise sans violation du droit fédéral.
5.3 Sur le plan subjectif, l'infraction de contrainte sexuelle est une infraction intentionnelle, le dol éventuel étant suffisant. L'auteur doit donc savoir que la victime n'est pas consentante ou, du moins, en accepter l'éventualité, et il doit vouloir ou, à tout le moins, accepter qu'elle soit contrainte par le moyen qu'il met en oeuvre ou la situation qu'il exploite.
Ce que l'auteur savait, voulait ou ce dont il acceptait l'avènement fait partie du contenu de la pensée et la constatation de celui-ci relève de l'établissement des faits (<ref-ruling> consid. 5a p. 3). Il est vrai que la cour de cassation cantonale ne se prononce pas expressément sur la volonté et la conscience du recourant. Ces éléments ressortent toutefois des faits constatés. En effet, selon les constatations cantonales, le recourant était conscient que les enfants craignaient de perdre leur cocon familial auquel ils tenaient. En outre, l'arrêt attaqué constate que le recourant subordonnait l'octroi de faveurs à la commission d'actes sexuels et qu'il organisait des sortes de jeux afin d'amenuiser la résistance des enfants et banaliser la situation. Il découle de ces constatations de fait que le recourant était conscient de l'absence de consentement des enfants et des circonstances qui les mettaient hors d'état de résister et qu'il a accepté, à tout le moins, que les enfants soient contraints.
5.4 Au vu de ce qui précède, la cour de cassation cantonale n'a pas violé le droit fédéral en retenant que les éléments constitutifs objectifs et subjectifs de l'infraction de contrainte sexuelle étaient réalisés.
5.4 Au vu de ce qui précède, la cour de cassation cantonale n'a pas violé le droit fédéral en retenant que les éléments constitutifs objectifs et subjectifs de l'infraction de contrainte sexuelle étaient réalisés.
6. Ainsi, le pourvoi doit être rejeté dans la mesure où il est recevable (art. 278 al. 1 PPF).
Le recourant a sollicité l'assistance judiciaire. Il a suffisamment montré être dans le besoin et sa critique relative à l'<ref-law> ne paraissait pas d'emblée vouée à l'échec. L'assistance judiciaire lui sera donc accordée (art. 152 OJ), de sorte qu'il ne sera pas perçu de frais et qu'une indemnité sera allouée à son mandataire.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
3. La requête d'assistance judiciaire est rejetée s'agissant du recours de droit public. Elle est admise pour le pourvoi en nullité.
3. La requête d'assistance judiciaire est rejetée s'agissant du recours de droit public. Elle est admise pour le pourvoi en nullité.
4. Un émolument judiciaire de 800 francs est mis à la charge du recourant pour le recours de droit public.
4. Un émolument judiciaire de 800 francs est mis à la charge du recourant pour le recours de droit public.
5. Il n'est pas perçu de frais en ce qui concerne le pourvoi en nullité. La Caisse du Tribunal fédéral versera à Me Sylvie Fassbind-Ducommun, mandataire du recourant, une indemnité de 3'000 francs à titre de dépens.
5. Il n'est pas perçu de frais en ce qui concerne le pourvoi en nullité. La Caisse du Tribunal fédéral versera à Me Sylvie Fassbind-Ducommun, mandataire du recourant, une indemnité de 3'000 francs à titre de dépens.
6. Le présent arrêt est communiqué en copie à la mandataire du recourant, au Ministère public neuchâtelois et à la Cour de cassation pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 25 janvier 2005
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: