Faits:
Faits:
A. B.X._ est née le 13 décembre 1979 du mariage conclu entre A.X._ et L._. Les époux ont suspendu la vie commune en 1982, date à laquelle l'épouse est repartie en Espagne, où elle a confié B.X._ à la garde de ses parents tout en quittant elle-même la communauté domestique, de sorte que l'enfant n'a durant cette période plus eu aucun contact ni avec sa mère ni avec son père. En 1987, lorsque ses grands-parents maternels n'ont plus été en mesure de s'occuper d'elle, la garde de B.X._ a été confiée à son père et la fillette a séjourné en Suisse chez ses grands-parents paternels durant quelques mois voire une année. Elle a ensuite été accueillie par son père et la compagne de celui-ci, Y._, qui vivaient dans la même localité. Ultérieurement, deux enfants, D._ et C._ sont nés respectivement en 1994 et 1995 de la relation entre A.X._ et Y._.
Par plainte du 27 août 2003, B.X._ a accusé son père d'avoir abusé d'elle depuis l'automne 1990 jusqu'à ce qu'elle quitte le domicile familial en octobre ou novembre 1999.
Elle a exposé qu'en automne 1990 son père lui a proposé avec insistance de prendre un bain avec lui et qu'à cette occasion il l'a amenée sur son sexe où il l'a maintenue en la soulevant et la déplaçant. Il lui a déclaré qu'il s'agissait de "choses normales".
Une semaine plus tard, son père lui a demandé de se déshabiller complètement et de s'asseoir sur une chaise en écartant les jambes et en mettant ses bras derrière son dos. Il a alors quitté la chambre et a observé sa fille par le trou de la serrure. Lorsqu'il a ouvert la porte après un certain laps de temps, elle a constaté qu'il était à genoux et se masturbait. Quelques minutes plus tard, A.X._ a autorisé sa fille à se relever, mais l'a empêchée de se rhabiller. Il s'est placé face au lavabo et l'a contrainte à le masturber jusqu'à éjaculation. Comme elle lui déclarait qu'elle allait rapporter ces faits à sa belle-mère, il lui a dit qu'elle n'avait rien à raconter, que c'était lui qui commandait et qu'il n'y avait rien de grave.
Quelques semaines plus tard, après lui avoir dans un premier temps interdit de participer à une soirée organisée par une amie, A.X._ a dit à sa fille que si elle voulait vraiment y aller elle devait se coucher sur le lit, où il l'a poussée. Alors qu'elle lui disait qu'elle renonçait à la soirée, il s'est déshabillé et l'a sommée de ne pas bouger. En réponse à ses protestations, il l'a giflée, de sorte que l'enfant s'est mise à pleurer et s'est tournée face au mur. Vêtu d'un tee-shirt et d'un slip, A.X._ s'est alors allongé contre elle et l'a saisie par la taille pour l'attirer contre lui et frotter son sexe contre ses fesses. Bien que sa fille se soit débattue et ait cherché à quitter le lit, il l'a couchée sur le dos, lui a écarté les jambes et retiré son slip avant de lui caresser le sexe, dans lequel il a introduit un doigt. B.X._ ayant refusé de le masturber, son père s'est placé à genoux sur le lit face à elle et s'est masturbé avant d'éjaculer sur son ventre.
B.X._ a déclaré que par la suite son père s'était comporté de manière identique à raison d'une fois par semaine ou par quinzaine, à l'exception d'une période de l'ordre de cinq mois durant laquelle elle avait vécu avec la compagne de son père, qui s'était provisoirement séparée de celui-ci. B.X._ a précisé que son père agissait ainsi lorsque sa compagne, infirmière, était absente pour son travail. Lorsqu'il était pressé il lui ordonnait de se placer derrière lui et de le masturber devant le lavabo.
B.X._ a en outre déclaré qu'à une reprise son père avait tenté de la pénétrer, qu'elle s'y était opposée et qu'il n'avait pas insisté en raison d'un téléphone qui l'avait interrompu. A la suite de cet épisode, peu avant l'hiver 1998, sous le prétexte qu'elle souhaitait apprendre à devenir indépendante, elle a obtenu l'autorisation de loger dans une chambre de l'hôtel où elle effectuait son apprentissage de serveuse/fille de salle. Elle a toutefois dû réintégrer le logement familial sur l'insistance de son père qui désapprouvait, en particulier, la relation amicale qu'elle entretenait à l'époque.
A partir de juin 1999, il est arrivé fréquemment le week-end que Y._ se rende à son travail vers 7h. Lorsque D._ et C._ se levaient, leur père les installait dans sa chambre pour regarder la télévision avant de rejoindre B.X._ au salon où, assis sur le canapé, il exigeait qu'elle le masturbe sous la menace de téléphoner à son employeur et d'obtenir son renvoi. Si elle criait il lui tirait les cheveux et les oreilles. Ces agissements ont duré quelque deux mois à raison d'une fois par semaine.
En septembre 1999, B.X._ a fait la connaissance de Z._, avec qui elle s'est installée dans un studio en octobre ou novembre de la même année.
B.X._, qui avait été depuis la fin de l'année 2000 sujette à des crises dont elle attribuait la cause notamment au souvenir des agressions subies, a informé son ami au printemps 2001 qu'elle avait fait l'objet d'abus commis par son père. Sur les conseils de son ami ainsi que de son oncle, qui avait été mis au courant et n'avait pas douté de la sincérité de sa nièce, B.X._ a consulté des institutions psychiatriques. En janvier et juillet 2003, elle a en outre porté les faits à la connaissance de son médecin traitant.
B.X._, qui avait été depuis la fin de l'année 2000 sujette à des crises dont elle attribuait la cause notamment au souvenir des agressions subies, a informé son ami au printemps 2001 qu'elle avait fait l'objet d'abus commis par son père. Sur les conseils de son ami ainsi que de son oncle, qui avait été mis au courant et n'avait pas douté de la sincérité de sa nièce, B.X._ a consulté des institutions psychiatriques. En janvier et juillet 2003, elle a en outre porté les faits à la connaissance de son médecin traitant.
B. Par jugement du 13 décembre 2004, le Tribunal du IIe arrondissement pour le district de Sierre a reconnu A.X._ coupable d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle et l'a condamné à une peine de cinq ans de réclusion. Il l'a en outre astreint à verser à sa fille une somme de 45'000 fr. à titre de réparation du tort moral.
B. Par jugement du 13 décembre 2004, le Tribunal du IIe arrondissement pour le district de Sierre a reconnu A.X._ coupable d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle et l'a condamné à une peine de cinq ans de réclusion. Il l'a en outre astreint à verser à sa fille une somme de 45'000 fr. à titre de réparation du tort moral.
C. Statuant le 24 mai 2006 sur appel du condamné, la IIe Cour pénale du Tribunal cantonal valaisan a réformé le jugement de première instance en ce sens que le montant de l'indemnité pour tort moral a été fixé à 30'000 fr. Pour le surplus, la condamnation à cinq ans de réclusion pour actes d'ordre sexuel avec des enfants et contrainte sexuelle a été confirmée.
La cour cantonale a tout d'abord considéré que les faits dénoncés s'étaient déroulés de la manière exposée par la victime et qu'ils avaient commencé en 1990 et cessé à l'automne 1999. Elle a par ailleurs admis que les actes antérieurs au 1er octobre 1992 étaient prescrits et ne pouvaient donc donner lieu à aucune condamnation. S'agissant de la peine, l'autorité cantonale a relevé que l'appel avait un effet dévolutif complet de sorte qu'elle avait toute latitude pour déterminer ce qui correspond selon elle à la juste peine, avec la limite naturellement de l'interdiction de la reformatio in pejus. Partant, elle a considéré que la peine de 5 ans d'emprisonnement infligée au condamné était justifiée eu égard à l'ensemble des circonstances du cas, notamment la gravité des actes commis. Enfin, la cour pénale valaisanne a en revanche jugé excessive la somme de 45'000 fr. allouée à la victime pour tort moral et a ramené cette indemnité à 30'000 fr.
La cour cantonale a tout d'abord considéré que les faits dénoncés s'étaient déroulés de la manière exposée par la victime et qu'ils avaient commencé en 1990 et cessé à l'automne 1999. Elle a par ailleurs admis que les actes antérieurs au 1er octobre 1992 étaient prescrits et ne pouvaient donc donner lieu à aucune condamnation. S'agissant de la peine, l'autorité cantonale a relevé que l'appel avait un effet dévolutif complet de sorte qu'elle avait toute latitude pour déterminer ce qui correspond selon elle à la juste peine, avec la limite naturellement de l'interdiction de la reformatio in pejus. Partant, elle a considéré que la peine de 5 ans d'emprisonnement infligée au condamné était justifiée eu égard à l'ensemble des circonstances du cas, notamment la gravité des actes commis. Enfin, la cour pénale valaisanne a en revanche jugé excessive la somme de 45'000 fr. allouée à la victime pour tort moral et a ramené cette indemnité à 30'000 fr.
D. A.X._ forme un recours de droit public et un pourvoi en nullité contre cet arrêt. Dans ses deux recours, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Il sollicite en outre l'effet suspensif.
D. A.X._ forme un recours de droit public et un pourvoi en nullité contre cet arrêt. Dans ses deux recours, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau. Il sollicite en outre l'effet suspensif.
E. Invitée à présenter des observations, l'autorité cantonale s'est référée aux considérants de l'arrêt attaqué.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
I. Recours de droit public
2. Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120 et les arrêts cités). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495 et les arrêts cités).
2. Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120 et les arrêts cités). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495 et les arrêts cités).
3. Le recourant soutient que l'autorité cantonale a fait une appréciation arbitraire des éléments de preuve dont elle disposait.
Une décision est arbitraire et donc contraire à l'art. 9 Cst. lorsqu'elle viole clairement une norme ou un principe juridique clair et indiscuté ou contredit de manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si sa décision apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain (voir <ref-ruling> consid. 1.2). En outre, il ne suffit pas que les motifs de la décision soient insoutenables, il faut encore que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 4 p. 58). A cet égard, il ne suffit pas non plus qu'une solution différente de celle retenue par l'autorité cantonale apparaisse également concevable ou même préférable (<ref-ruling> consid. 5 p. 280; <ref-ruling> consid. 2b p. 56, 60 consid. 5a p. 70; <ref-ruling> consid. 2a p. 88 et les arrêts cités).
En matière d'appréciation des preuves et d'établissement des faits, une décision est entachée d'arbitraire lorsqu'elle ne prend pas en compte, sans raison sérieuse, un moyen de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur le sens et la portée d'un tel élément, ou encore lorsqu'elle tire des déductions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 4a).
3.1 Le recourant s'en prend en premier lieu, par une critique de nature largement appellatoire, à l'appréciation faite par l'autorité cantonale de quelques témoignages. Selon lui, elle aurait ignoré certaines parties de ces témoignages, notamment à propos d'un éventuel changement de comportement de la victime à la suite des faits litigieux.
Il y a lieu de relever d'emblée que l'un des témoins a fait la connaissance de la victime après le début des actes imputés au recourant et ne pouvait donc pas constater de changement liés à une éventuelle modification de personnalité induite par ceux-ci. Par ailleurs, à une seule exception près, les témoins en question relèvent tous que la victime était une jeune fille triste, malheureuse et angoissée, qui dégageait une impression de souffrance. Peu importe que ces traits de caractère se soient déjà manifestés avant les abus, ce qui peut au demeurant assez aisément s'expliquer par le sentiment d'avoir été abandonnée par ses parents dans sa prime jeunesse, de l'être encore par sa mère et de vivre avec un père rigide et dur envers elle.
En outre, tous les témoins invoqués par le recourant ont relevé expressément que la victime était une personne honnête et sincère, qui n'avait aucune tendance au mensonge, de sorte que si elle avait dénoncé des abus c'est qu'elle les avait effectivement subis. Eu égard à l'ensemble de ces éléments, les témoignages invoqués par le recourant ne sont manifestement pas de nature à faire apparaître comme arbitraire l'appréciation des preuves faite par l'autorité cantonale.
3.2 Le recourant reproche d'autre part à l'autorité cantonale d'être tombée dans l'arbitraire en refusant de prendre en considération les contradictions de la victime quant à la période à laquelle ont cessé les abus qu'elle a dénoncés.
L'autorité cantonale n'a pas méconnu ces divergences. Elle a clairement exposé les raisons pour lesquelles elle retenait que les actes imputés au recourant avaient duré jusqu'au moment où sa fille a quitté définitivement le domicile familial pour s'installer avec son ami. Cette motivation est suffisamment convaincante pour échapper au grief d'arbitraire. En effet, comme l'a relevé l'autorité cantonale, il ressort de l'ensemble des déclarations de la victime que celle-ci a toujours situé la fin des actes en question à ce moment-là. Cette constatation concorde par ailleurs avec un certain nombre de déclarations crédibles de la victime ayant trait à des faits postérieurs à un déménagement effectué en 1998 ou au début 1999 (dossier cantonal p. 8 i. f.), à sa volonté de prendre une chambre peu avant l'hiver 1998-1999 pour échapper à son père et éviter qu'il n'abuse d'elle (dossier cantonal p. 9), à un épisode, que la victime situe dans le courant 1999, où le recourant ivre est entré dans la chambre de sa fille en lui montrant deux préservatifs avant de s'endormir sur son lit (dossier cantonal p. 10) ou encore aux cas dans lesquels son père l'a contrainte à le masturber le week-end alors que sa compagne se rendait à son travail vers 7 h., faits qu'elle situe dans les derniers mois qui ont précédé son départ du domicile familial (dossier cantonal p. 11). Certes, l'âge de 18 ans, voire de 16 ans a été articulé par la victime. Comme le relève l'autorité cantonale, il s'agit dans un cas au moins d'une inadvertance évidente puisque dans sa plainte la victime écrit "lorsque je suis partie de la maison définitivement (18 ans) ..." alors qu'il est établi et nullement contesté que cet événement a eu lieu peu avant son vingtième anniversaire. Dans ces circonstances, cela ne suffit pas pour que l'on doive considérer comme insoutenable l'appréciation de l'autorité cantonale qui repose sur suffisamment d'éléments concordants.
L'autorité cantonale n'a pas méconnu ces divergences. Elle a clairement exposé les raisons pour lesquelles elle retenait que les actes imputés au recourant avaient duré jusqu'au moment où sa fille a quitté définitivement le domicile familial pour s'installer avec son ami. Cette motivation est suffisamment convaincante pour échapper au grief d'arbitraire. En effet, comme l'a relevé l'autorité cantonale, il ressort de l'ensemble des déclarations de la victime que celle-ci a toujours situé la fin des actes en question à ce moment-là. Cette constatation concorde par ailleurs avec un certain nombre de déclarations crédibles de la victime ayant trait à des faits postérieurs à un déménagement effectué en 1998 ou au début 1999 (dossier cantonal p. 8 i. f.), à sa volonté de prendre une chambre peu avant l'hiver 1998-1999 pour échapper à son père et éviter qu'il n'abuse d'elle (dossier cantonal p. 9), à un épisode, que la victime situe dans le courant 1999, où le recourant ivre est entré dans la chambre de sa fille en lui montrant deux préservatifs avant de s'endormir sur son lit (dossier cantonal p. 10) ou encore aux cas dans lesquels son père l'a contrainte à le masturber le week-end alors que sa compagne se rendait à son travail vers 7 h., faits qu'elle situe dans les derniers mois qui ont précédé son départ du domicile familial (dossier cantonal p. 11). Certes, l'âge de 18 ans, voire de 16 ans a été articulé par la victime. Comme le relève l'autorité cantonale, il s'agit dans un cas au moins d'une inadvertance évidente puisque dans sa plainte la victime écrit "lorsque je suis partie de la maison définitivement (18 ans) ..." alors qu'il est établi et nullement contesté que cet événement a eu lieu peu avant son vingtième anniversaire. Dans ces circonstances, cela ne suffit pas pour que l'on doive considérer comme insoutenable l'appréciation de l'autorité cantonale qui repose sur suffisamment d'éléments concordants.
4. Le recourant reproche en outre à l'autorité cantonale d'avoir violé son droit d'être entendu en refusant d'ordonner une expertise de crédibilité de sa fille alors qu'il existait, selon lui, de sérieux indices que celle-ci ait souffert de troubles psychiques.
Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., comprend en particulier le droit pour l'intéressé d'offrir des preuves, de prendre connaissance du dossier, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2a/aa p. 16). Toutefois, le droit d'être entendu ne peut être exercé que sur les éléments qui sont déterminants pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes lorsque le fait à établir est sans importance pour la solution du cas, qu'il résulte déjà des constatations ressortant du dossier ou lorsque le moyen de preuve avancé est impropre à fournir les éclaircissements nécessaires.
Conformément au principe de la libre appréciation des preuves (art. 139 ch. 3 CPP VS; 169 al. 3 et 249 PPF), l'appréciation de la crédibilité des divers moyens de preuve dont il dispose relève en premier lieu de la compétence du juge du fait et aucun moyen de preuve ne s'impose à lui (Giusep Nay, Freie Beweiswürdigung und in dubio pro reo, RPS 114 [1996] p. 90). Pour déterminer s'il y a lieu d'ordonner une expertise de crédibilité d'un enfant ou d'un jeune il faut prendre en considération, selon les circonstances spécifiques du cas, un certain nombre d'éléments, parmi lesquels le degré de compréhensibilité, de cohérence et de crédibilité des dépositions à examiner. Il faut également observer dans quelle mesure elles sont compatibles avec les autres éléments de preuve recueillis. L'âge de l'auteur de la déposition, son degré de développement et son état de santé psychique de même que la portée de ses déclarations eu égard à l'ensemble des preuves administrées entrent également en considération. Une expertise de crédibilité effectuée par un spécialiste pourrait notamment s'imposer s'agissant de déclarations d'un petit enfant, qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184 et les références citées). En revanche, en l'absence d'éléments justifiant le recours à une ordonnance de crédibilité, le juge peut sans autre y renoncer à l'issue d'une appréciation anticipée des preuves qui résiste au grief d'arbitraire.
En l'espèce, les déclarations de la victime sont parfaitement crédibles, compréhensibles et cohérentes, hormis certaines contradictions relatives à la période à laquelle les abus ont cessé. Or, ainsi que cela a été constaté au considérant précédent, ces imprécisions ne sont pas propres à mettre en doute la fiabilité des déclarations de la victime. Il ne s'agit par ailleurs pas d'une victime particulièrement jeune, de sorte que ni son âge ni son degré de développement ne sont de nature à faire douter de la crédibilité de ses déclarations. En outre, l'autorité cantonale a constaté que la victime ne souffrait ni de troubles de la pensée, ni d'hallucination ou de délire. Dès lors, l'autorité cantonale n'a pas violé le droit fédéral en renonçant à ordonner l'expertise de crédibilité sollicitée par le recourant. Ce grief est par conséquent également mal fondé.
En l'espèce, les déclarations de la victime sont parfaitement crédibles, compréhensibles et cohérentes, hormis certaines contradictions relatives à la période à laquelle les abus ont cessé. Or, ainsi que cela a été constaté au considérant précédent, ces imprécisions ne sont pas propres à mettre en doute la fiabilité des déclarations de la victime. Il ne s'agit par ailleurs pas d'une victime particulièrement jeune, de sorte que ni son âge ni son degré de développement ne sont de nature à faire douter de la crédibilité de ses déclarations. En outre, l'autorité cantonale a constaté que la victime ne souffrait ni de troubles de la pensée, ni d'hallucination ou de délire. Dès lors, l'autorité cantonale n'a pas violé le droit fédéral en renonçant à ordonner l'expertise de crédibilité sollicitée par le recourant. Ce grief est par conséquent également mal fondé.
5. Le recourant reproche par ailleurs à l'autorité cantonale d'avoir violé la présomption d'innocence. Selon lui, il subsiste des doutes quant à sa culpabilité, doutes dont il devait bénéficier.
La présomption d'innocence, garantie par l'art. 32 al. 1 Cst. ainsi que par les art. 6 par. 2 CEDH et 14 par. 2 Pacte ONU II, de même que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2c p. 36). En tant que règles de l'appréciation des preuves, ces principes signifient, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter à l'accusé. Comme règles sur l'appréciation des preuves, ils sont violés lorsque le juge, qui s'est déclaré convaincu, aurait dû éprouver des doutes quant à la culpabilité de l'accusé au vu des éléments de preuve qui lui étaient soumis (ATF <ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2c p. 37). Le Tribunal fédéral examine librement si ces principes ont été violés en tant que règles sur le fardeau de la preuve, mais il n'examine que sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (ATF <ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2e p. 38).
Le recourant ne montre pas que l'autorité cantonale aurait renversé le fardeau de la preuve ni qu'elle aurait éprouvé un doute qu'elle aurait interprété en sa défaveur. Il soutient uniquement que le raisonnement de l'autorité cantonale montrerait qu'il subsiste un doute. Son grief tiré de la violation de la présomption d'innocence se confond donc avec celui d'appréciation arbitraire des preuves, qui a déjà été examiné. Le recours de droit public doit donc être rejeté.
Le recourant ne montre pas que l'autorité cantonale aurait renversé le fardeau de la preuve ni qu'elle aurait éprouvé un doute qu'elle aurait interprété en sa défaveur. Il soutient uniquement que le raisonnement de l'autorité cantonale montrerait qu'il subsiste un doute. Son grief tiré de la violation de la présomption d'innocence se confond donc avec celui d'appréciation arbitraire des preuves, qui a déjà été examiné. Le recours de droit public doit donc être rejeté.
6. Vu le sort du recours de droit public, les frais afférents à celui-ci doivent être mis à la charge du recourant qui succombe (art. 156 al. 1 OJ).
II Pourvoi en nullité
II Pourvoi en nullité
7. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) à un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter sous peine d'irrecevabilité (<ref-ruling> consid. 1 p. 66 s.).
7. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) à un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant ne peut s'écarter sous peine d'irrecevabilité (<ref-ruling> consid. 1 p. 66 s.).
8. Le recourant reproche en premier lieu à l'autorité cantonale d'avoir violé l'<ref-law> en fixant une peine excessive. Le recourant soutient qu'après avoir constaté que les infractions antérieures à octobre 1992 étaient prescrites, la cour cantonale ne pouvait pas confirmer la peine de 5 ans prononcée par l'autorité de première instance. Il considère par ailleurs que cette peine est disproportionnée et consacre une inégalité de traitement par rapport à d'autres cas analogues.
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Un pourvoi en nullité portant sur la quotité de la peine ne peut donc être admis que si la sanction a été fixée en dehors du cadre légal, si elle est fondée sur des critères étrangers à l'<ref-law>, si les éléments d'appréciation prévus par cette disposition n'ont pas été pris en compte ou enfin si la peine apparaît exagérément sévère ou clémente au point que l'on doive parler d'un abus du pouvoir d'appréciation (<ref-ruling> consid. 6.1 p. 21; <ref-ruling> consid. 2c p. 104; <ref-ruling> consid. 4a p. 295 et les arrêts cités).
Le juge doit exposer dans sa décision les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens atténuant ou aggravant. Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui paraissent non pertinents ou d'une importance mineure. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté. En revanche, le juge n'est nullement tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite. Un pourvoi ne saurait être admis simplement pour améliorer ou compléter un considérant lorsque la décision rendue apparaît conforme au droit (ATF <ref-ruling> consid. 2c p. 104 s.; <ref-ruling> consid. 2d p. 269).
La gravité de la faute est le critère essentiel à prendre en considération dans la fixation de la peine et le juge doit l'évaluer en fonction de tous les éléments pertinents, notamment ceux qui ont trait à l'acte lui-même, à savoir le résultat de l'activité illicite, le mode d'exécution, l'intensité de la volonté délictuelle et les mobiles, et ceux qui concernent l'auteur, soit les antécédents, la situation personnelle et le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 6.1 p. 20; <ref-ruling> consid. 2a p. 103; <ref-ruling> consid. 1a p. 243; <ref-ruling> consid. 2b p. 24 s.; <ref-ruling> consid. 1; <ref-ruling> consid. 2a). Concernant la situation personnelle de l'auteur, le juge doit prendre en compte sa vulnérabilité face à la peine, soit son état de santé et son âge, ses obligations familiales, sa situation professionnelle, les risques de récidive, etc. (<ref-ruling> consid. 3 p. 233; <ref-ruling> consid. 3 p. 179).
Une inégalité de traitement dans la fixation de la peine peut être examinée dans le cadre d'un pourvoi en nullité (<ref-ruling> consid. 3a; <ref-ruling> consid. 2). La comparaison avec d'autres cas concrets est cependant d'emblée délicate, compte tenu des nombreux paramètres qui interviennent dans la fixation de la peine, et généralement stérile dès lors qu'il existe presque toujours des différences entre les circonstances, objectives et subjectives, que le juge doit prendre en considération dans chacun des cas (<ref-ruling> consid. 3a p. 144; <ref-ruling>). La jurisprudence a par ailleurs toujours souligné la primauté du principe de la légalité sur celui de l'égalité (<ref-ruling> consid. 2c p. 47), de sorte qu'il ne suffirait pas que le recourant puisse citer l'un ou l'autre cas où une peine particulièrement clémente a été fixée pour prétendre à un droit à l'égalité de traitement (<ref-ruling> consid. 3a p. 144 et les arrêts cités). L'idée de ne pas créer un écart trop important entre deux coaccusés qui ont participé ensemble au même complexe de faits délictueux est cependant soutenable (<ref-ruling> consid. 2b p. 154).
Il y a lieu de relever tout d'abord que peut seul faire l'objet d'un pourvoi en nullité le jugement de dernière instance cantonale (<ref-law>), de sorte que la question à examiner est uniquement celle de savoir si la peine prononcée par cette autorité l'a été dans le respect des principes fixés par le droit fédéral, sans faire de comparaison avec celle infligée en première instance.
L'autorité cantonale n'a nullement méconnu l'absence d'antécédents judiciaires, invoquée par le recourant, puisque l'arrêt attaqué mentionne expressément, au considérant relatif à la fixation de la peine, que l'accusé ne figure pas au casier judiciaire central. Elle note par ailleurs, à juste titre, la gravité des actes commis par le recourant, leur durée et le fait qu'ils n'ont cessé que pour des raisons totalement indépendantes de sa volonté. L'autorité cantonale relève en outre que le recourant, dont la responsabilité est entière, ne bénéficie d'aucune circonstance atténuante et qu'en revanche la circonstance aggravante du concours doit être retenue. Enfin, s'agissant du comportement de l'auteur après l'acte et au cours de la procédure pénale, elle souligne son attitude tendant à charger sa victime, en la qualifiant notamment de manipulatrice, pour tenter d'échapper à une condamnation, ce qui dénote un manque particulier de scrupules. Dans le mémoire produit à l'appui de son pourvoi en nullité, le recourant persiste encore à soutenir que les actes qui lui sont reprochés n'ont "quasiment eu aucune conséquence sur le psychisme" de sa victime, montrant ainsi clairement qu'il n'a toujours pas pris conscience de la gravité de ceux-ci.
Compte tenu de l'ensemble de ces éléments, la peine infligée au recourant, qui représente la moitié de la peine qui pouvait être prononcée pour l'infraction la plus grave alors qu'elle sanctionne le concours entre de très nombreux actes qui ont perduré sur une longue période, ne saurait être considérée comme exagérément sévère au point de relever d'un abus du pouvoir d'appréciation. Par ailleurs, les autres condamnations invoquées par le recourant, prononcées dans des affaires différentes avec lesquelles aucune comparaison concrète et précise n'est possible, ne lui sont d'aucun secours.
Compte tenu de l'ensemble de ces éléments, la peine infligée au recourant, qui représente la moitié de la peine qui pouvait être prononcée pour l'infraction la plus grave alors qu'elle sanctionne le concours entre de très nombreux actes qui ont perduré sur une longue période, ne saurait être considérée comme exagérément sévère au point de relever d'un abus du pouvoir d'appréciation. Par ailleurs, les autres condamnations invoquées par le recourant, prononcées dans des affaires différentes avec lesquelles aucune comparaison concrète et précise n'est possible, ne lui sont d'aucun secours.
9. Le recourant reproche enfin à l'autorité cantonale de n'avoir pas fait application de l'<ref-law>, qui permet au juge d'atténuer la peine lorsqu'un temps relativement long s'est écoulé depuis l'infraction et que le délinquant s'est bien comporté pendant ce temps. Le recourant relève toutefois lui-même, avec raison, dans son mémoire que le temps écoulé en l'espèce est inférieur à ce que la jurisprudence exige pour que la disposition invoquée puisse trouver application. Il est donc manifeste que l'autorité cantonale n'a pas violé le droit fédéral en ne le mettant pas au bénéfice de cette circonstance atténuante. Le pourvoi doit dès lors être rejeté.
9. Le recourant reproche enfin à l'autorité cantonale de n'avoir pas fait application de l'<ref-law>, qui permet au juge d'atténuer la peine lorsqu'un temps relativement long s'est écoulé depuis l'infraction et que le délinquant s'est bien comporté pendant ce temps. Le recourant relève toutefois lui-même, avec raison, dans son mémoire que le temps écoulé en l'espèce est inférieur à ce que la jurisprudence exige pour que la disposition invoquée puisse trouver application. Il est donc manifeste que l'autorité cantonale n'a pas violé le droit fédéral en ne le mettant pas au bénéfice de cette circonstance atténuante. Le pourvoi doit dès lors être rejeté.
10. Vu l'issue de ce recours, les frais afférents au pourvoi doivent être mis à la charge du recourant qui succombe (art. 278 al. 1 PPF).
Enfin, la cause étant ainsi tranchée, la requête d'effet suspensif est devenue sans objet.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté.
1. Le recours de droit public est rejeté.
2. Le pourvoi en nullité est rejeté.
2. Le pourvoi en nullité est rejeté.
3. Un émolument judiciaire de 4000 fr. est mis à la charge du recourant.
3. Un émolument judiciaire de 4000 fr. est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie aux mandataires des parties, à la Cour pénale II du Tribunal cantonal et au Ministère public du canton du Valais.
Lausanne, le 10 octobre 2006
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: