Faits :
Faits :
A. En décembre 2003 ou janvier 2004, A._ a fait connaissance de X._. Celui-ci, qui est de quelque 25 ans son aîné, a rapidement pris une certaine emprise psychique sur elle, qui avait beaucoup d'estime pour lui et le considérait comme un père.
En février 2004, X._ et A._ ont entretenu un premier rapport sexuel, qui a été suivi par plusieurs autres. Au cours de l'automne 2004, leur relation s'est dégradée, mais A._ a continué à avoir des rapports sexuels avec X._.
Le 4 décembre 2004, A._ s'est adressée à la police en déclarant s'être fait imposer de nombreuses relations sexuelles par X._, lequel l'avait en outre sodomisée contre son gré et l'avait forcée à pratiquer des fellations, lui infligeant par ailleurs plusieurs morsures à proximité du sexe. Elle a exposé qu'en février 2004, X._ l'avait contrainte à entretenir une première relation sexuelle avec lui à Château-d'Oex, dans l'appartement d'une connaissance, après qu'ils eurent bu du vin. Elle a essayé de le repousser lorsqu'il a tenté de l'embrasser et elle lui a dit qu'elle ne voulait pas avoir de relations sexuelles avec lui. Toutefois, sous l'influence de l'alcool et bloquée par la peur, elle n'est pas parvenue à s'y opposer car il lui avait serré le bras très fort. A._ a en outre déclaré qu'en août 2004, X._ l'a emmenée en voiture dans une forêt, où elle a manifesté son désir de rompre avec lui car, étant séparée de son mari depuis le 15 avril 2004, elle avait un nouvel ami. X._ est alors devenu très violent. Il lui a donné plusieurs coups de poing au visage, tout en l'insultant. Il lui a également pris les cheveux et frappé la tête contre la vitre. Il l'a par ailleurs empêchée de fuir, pointant un pistolet sur elle, à quelques centimètres de son visage ou du haut de son corps. Il l'a ensuite violée et, avant de la ramener chez elle, lui a fait promettre de ne plus revoir son ami. Elle a, enfin, expliqué que le 3 décembre 2004, savoir la veille de son dépôt de plainte, elle se rendait dans un restaurant de Payerne avec X._ lorsque celui-ci lui a tiré les cheveux, lui a donné des coups de poing et l'a insultée, la traitant notamment de salope. Le même jour, sur le trajet du retour, il l'a emmenée en bordure d'une forêt où, après avoir posé son pistolet sur le siège de la voiture, il a entretenu avec elle, et sans son consentement, une relation sexuelle au cours de laquelle il s'est montré violent, voire bestial, comme à son habitude.
A._ a consulté, le 6 décembre 2004, le Dr B._, gynécologue, qui a établi un rapport médical mentionnant la présence de rougeurs et d'hématomes sur le corps de la patiente, notamment au niveau des cuisses. La gynécologue a relevé que les constatations qu'elle avait faites étaient compatibles avec les actes décrits par A._.
A._ a consulté, le 6 décembre 2004, le Dr B._, gynécologue, qui a établi un rapport médical mentionnant la présence de rougeurs et d'hématomes sur le corps de la patiente, notamment au niveau des cuisses. La gynécologue a relevé que les constatations qu'elle avait faites étaient compatibles avec les actes décrits par A._.
B. Par jugement du 21 décembre 2005, le Tribunal pénal de l'arrondissement de la Sarine a notamment reconnu X._ coupable de contrainte sexuelle, de viol et de délit à la loi fédérale sur les armes et l'a condamné à une peine de trois ans de réclusion.
B. Par jugement du 21 décembre 2005, le Tribunal pénal de l'arrondissement de la Sarine a notamment reconnu X._ coupable de contrainte sexuelle, de viol et de délit à la loi fédérale sur les armes et l'a condamné à une peine de trois ans de réclusion.
C. Statuant le 28 septembre 2006, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel formé par le Ministère public de même que, dans la mesure où il était recevable, celui du condamné.
La cour cantonale a qualifié les déclarations de la victime de précises, cohérentes et constantes, relevant que celle-ci n'avait pas varié dans la description qu'elle avait faite des actes de violence subis de la part de l'accusé. Elle a admis que dans ces circonstances la culpabilité de X._ pour contrainte sexuelle et viol ne pouvait qu'être confirmée.
La cour cantonale a qualifié les déclarations de la victime de précises, cohérentes et constantes, relevant que celle-ci n'avait pas varié dans la description qu'elle avait faite des actes de violence subis de la part de l'accusé. Elle a admis que dans ces circonstances la culpabilité de X._ pour contrainte sexuelle et viol ne pouvait qu'être confirmée.
D. X._ forme un recours de droit public contre cet arrêt. Invoquant une violation de l'interdiction de l'arbitraire et du principe «in dubio pro reo», il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Il demande en outre une indemnité de 2'000 fr. pour la détention préventive subie. Il a enfin sollicité l'assistance judiciaire, requête qu'il a retirée par courrier du 11 décembre 2006.
D. X._ forme un recours de droit public contre cet arrêt. Invoquant une violation de l'interdiction de l'arbitraire et du principe «in dubio pro reo», il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Il demande en outre une indemnité de 2'000 fr. pour la détention préventive subie. Il a enfin sollicité l'assistance judiciaire, requête qu'il a retirée par courrier du 11 décembre 2006.
E. X._ se pourvoit également en nullité contre cet arrêt. soutenant que les conditions d'application des art. 189 et 190 CP ne sont pas réalisées, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Il demande en outre une indemnité de 2'000 fr. pour la détention préventive subie et sollicite l'effet suspensif. Il a par ailleurs déposé une requête d'assistance judiciaire, qu'il a retirée en date du 11 décembre 2006.
E. X._ se pourvoit également en nullité contre cet arrêt. soutenant que les conditions d'application des art. 189 et 190 CP ne sont pas réalisées, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale. Il demande en outre une indemnité de 2'000 fr. pour la détention préventive subie et sollicite l'effet suspensif. Il a par ailleurs déposé une requête d'assistance judiciaire, qu'il a retirée en date du 11 décembre 2006.
F. L'autorité cantonale s'est référée aux considérants de son arrêt et n'a pas formulé d'observations.
Le Ministère public a conclu au rejet du recours de droit public. Pour sa part, la victime n'a pas déposé de réponse dans le délai qui lui avait été imparti à cet effet.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. L'arrêt attaqué a été rendu avant l'entrée en vigueur, le 1er janvier 2007, de la loi fédérale du 17 juin 2005 sur le Tribunal fédéral (LTF; RS 173.110). Or, conformément à l'<ref-law>, cette loi ne s'applique aux procédures de recours que si l'acte attaqué a été rendu après son entrée en vigueur. C'est donc sur la base de l'ancien droit de procédure, en l'espèce les art. 84 ss OJ pour le recours de droit public et 268 ss PPF concernant le pourvoi en nullité, que doit être tranchée la présente cause.
I. Recours de droit public
I. Recours de droit public
2. Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.6 p. 189, 113 consid. 2. 1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
2. Saisi d'un recours de droit public, le Tribunal fédéral n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.6 p. 189, 113 consid. 2. 1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
3. Le recourant soutient que l'arrêt attaqué viole l'interdiction de l'arbitraire dans l'établissement des faits et l'appréciation des preuves. Il soutient que les allégations de fait de la recourante sont contradictoires, tout comme l'a été son comportement, au point de laisser pour le moins planer un sérieux doute sur la réalité des actes qui lui sont imputés. Il affirme par ailleurs avoir été convaincu que les relations sexuelles qu'il a entretenues avec la plaignante étaient pleinement consenties et estime que c'est sous l'emprise de la jalousie qu'elle a initié la présente procédure. Enfin, il prétend que le rapport du Dr B._ était de complaisance et ne permet pas d'établir que les traces éventuellement constatées sur la victime seraient la conséquence de violences qui auraient été infligées par lui.
3.1 Une décision est arbitraire et donc contraire à l'art. 9 Cst. lorsqu'elle viole clairement une norme ou un principe juridique clair et indiscuté ou contredit de manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si sa décision apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision soient insoutenables, il faut encore que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 4 p. 58). A cet égard, il ne suffit pas non plus qu'une solution différente de celle retenue par l'autorité cantonale apparaisse également concevable ou même préférable (<ref-ruling> consid. 5 p. 280; <ref-ruling> consid. 2b p. 56, 60 consid. 5a p. 70; <ref-ruling> consid. 2a p. 88 et les arrêts cités).
En matière d'appréciation des preuves et d'établissement des faits, une décision est entachée d'arbitraire lorsqu'elle ne prend pas en compte, sans raison sérieuse, un moyen de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur le sens et la portée d'un tel élément, ou encore lorsqu'elle tire des déductions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 4a).
3.2 En l'espèce, l'autorité cantonale fonde sa condamnation essentiellement sur les déclarations de la plaignante, qu'elle juge précises, cohérentes et constantes.
En décembre 2004, la plaignante a dénoncé le recourant pour lui avoir imposé de nombreuses relations sexuelles à partir de février 2004. Elle a expliqué que lors de leur première relation il lui avait faire boire de l'alcool, alors qu'elle n'en consomme que fort rarement, et que lorsqu'il s'était montré très entreprenant elle avait pris peur et avait été complètement bloquée, de sorte qu'elle avait finalement subi une relation sexuelle complète contre son gré. Elle a par ailleurs exposé que le recourant avait sur elle énormément d'influence et que c'est en raison de la situation terrible dans laquelle elle se trouvait car elle trompait son mari qu'elle ne s'opposait pas aux relations que le recourant lui imposait.
En date du 12 avril 2005, la plaignante s'est présentée à la police en compagnie du recourant pour demander une suspension de l'enquête relative aux viols, tout en souhaitant maintenir sa plainte pour menaces. Elle a alors déclaré que lorsqu'elle avait porté plainte elle avait l'impression d'avoir été abusée par le recourant, mais n'avait pas pensé avoir été victime de viols, mot qui a été énoncé par l'agente qui enregistrait sa déposition. Par ailleurs, on comprend mal pourquoi la plaignante aurait, sans que rien ne l'y contraigne, maintenu des contacts réguliers et fréquents avec le recourant en sachant qu'ils aboutissaient régulièrement à des situations dans lesquelles elle était victime d'abus tels que ceux qu'elle a dénoncés. Or, elle a déclaré devant le tribunal d'arrondissement qu'elle était allée librement aux rendez-vous fixés par le recourant et qu'elle s'attendait naturellement à ce qu'ils entretiennent des relations intimes (dossier cantonal p. 13032). Il est aussi surprenant qu'elle considère comme la seule personne au monde qui la comprenne, celle à laquelle elle tient le plus et avec laquelle elle souhaite continuer sa vie (dossier cantonal, p. 2112), un homme qui a abusé d'elle et avec lequel elle n'avait entretenu de relations sexuelles que sous la contrainte (voir dossier cantonal, p. 2054 «je précise que chaque fois que j'ai eu des relations sexuelles avec HOCA c'était contre mon gré»).
Par ailleurs, l'autorité cantonale se réfère à deux témoignages. En premier lieu, celui qui était à l'époque l'ami intime de la plaignante a indiqué à la police que la victime lui avait fait des confidences qui corroboraient les actes dénoncés (dossier cantonal, p. 2089). Toutefois, devant le Tribunal d'arrondissement, il a déclaré "j'ai cru ce qu'elle m'a dit; aujourd'hui, je ne le crois plus" (dossier cantonal, p. 13033). D'autre part, une amie de la plaignante a affirmé que celle-ci lui avait dit que sa relation avec le recourant était de nature amoureuse (dossier cantonal, p. 2092), qu'elle disait l'aimer mais qu'elle semblait craintive et soumise. Le témoin a par ailleurs relaté une scène de jalousie au cours de laquelle la plaignante lui aurait reproché d'avoir une liaison avec le recourant (dossier cantonal p. 2093s.). Enfin, devant le Tribunal d'arrondissement, elle a déclaré n'avoir jamais eu l'impression que son amie était contrainte d'entretenir des relations intimes avec le recourant (dossier cantonal, p. 13034). Ces témoignages n'accréditent donc pas la version des faits de la plaignante. Enfin, le rapport médical établi par la gynécologue qui a examiné la plaignante le 6 décembre 2004 mentionne certes que celle-ci présentait alors des lésions compatibles avec la description qu'elle a faite des événements qui se seraient produits trois jours auparavant. Cela ne suffit toutefois pas à faire admettre que la version de la recourante est effectivement exacte. D'une part, les constatations du médecin ne permettent pas d'imputer avec certitude l'origine des séquelles constatées à des violences commises par le recourant et d'autre part le rapport est rédigé d'une manière qui donne l'impression que son auteur manque quelque peu de recul par rapport aux déclarations de sa patiente.
Dès lors, compte tenu des incohérences dans les déclarations et le comportement de la plaignante et en l'absence d'autres éléments propres à confirmer les faits dénoncés, l'autorité cantonale ne pouvait pas, sans arbitraire, considérer les actes imputés au recourant comme suffisamment établis pour écarter tout doute à interpréter en faveur de l'accusé. Le recours de droit public doit donc être admis et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau.
Hormis certaines exceptions, qui ne sont pas réalisées en l'espèce, le recours de droit public n'a qu'un caractère cassatoire (<ref-ruling> consid. 4a et les références citées), de sorte que les conclusions du recourant sont irrecevables dans la mesure où elles tendent à autre chose que l'annulation de l'arrêt attaqué, savoir à ce qu'une indemnité lui soit allouée pour la détention préventive subie.
Hormis certaines exceptions, qui ne sont pas réalisées en l'espèce, le recours de droit public n'a qu'un caractère cassatoire (<ref-ruling> consid. 4a et les références citées), de sorte que les conclusions du recourant sont irrecevables dans la mesure où elles tendent à autre chose que l'annulation de l'arrêt attaqué, savoir à ce qu'une indemnité lui soit allouée pour la détention préventive subie.
4. Vu l'issue de la procédure, il ne sera pas prélevé de frais et le canton de Fribourg versera au mandataire du recourant une indemnité de dépens fixée à 2000 fr. Il n'y a lieu d'allouer une indemnité ni au Ministère public ni à la victime qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.
II. Pourvoi en nullité
II. Pourvoi en nullité
5. Le recourant reproche à l'autorité d'avoir mal appliqué les art. 189 et 190 CP au motif qu'aucune violence ni menace au sens de ces dispositions n'aurait été exercée à l'encontre de la victime.
Il n'y a pas lieu d'examiner cette question dès lors que le recours est devenu sans objet en raison de l'annulation de l'arrêt attaqué suite à l'admission du recours de droit public.
Il n'y a pas lieu d'examiner cette question dès lors que le recours est devenu sans objet en raison de l'annulation de l'arrêt attaqué suite à l'admission du recours de droit public.
6. Conformément à la pratique, il n'y a pas lieu de percevoir de frais ni d'allouer d'indemnité pour ce recours.
Enfin, la cause étant ainsi tranchée, la requête d'effet suspensif est devenue sans objet.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est admis dans la mesure où il est recevable.
1. Le recours de droit public est admis dans la mesure où il est recevable.
2. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau.
2. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau.
3. Le pourvoi en nullité est sans objet.
3. Le pourvoi en nullité est sans objet.
4. Il n'est pas perçu de frais.
4. Il n'est pas perçu de frais.
5. Le canton de Fribourg versera au mandataire du recourant une indemnité de 2000 fr. à titre de dépens.
6. Le présent arrêt est communiqué en copie au mandataire du recourant, à l'intimée, à la Cour d'appel pénal du Tribunal cantonal et au Ministère public de l'Etat de Fribourg.
Lausanne, le 11 août 2007
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: