Faits:
A. En décembre 2003 ou janvier 2004, A._ a fait connaissance de X._. Celui-ci, qui est de quelque 25 ans son aîné, a rapidement pris une certaine emprise psychique sur elle, qui avait beaucoup d'estime pour lui et le considérait comme un père.
En février 2004, X._ et A._ ont entretenu un premier rapport sexuel, qui a été suivi par plusieurs autres. Au cours de l'automne 2004, leur relation s'est dégradée, mais A._ a continué à avoir des rapports sexuels avec X._.
Le 4 décembre 2004, A._ s'est adressée à la police en déclarant s'être fait imposer de nombreuses relations sexuelles par X._, lequel l'avait en outre sodomisée contre son gré et l'avait forcée à pratiquer des fellations, lui infligeant par ailleurs plusieurs morsures à proximité du sexe. Elle a exposé qu'en février 2004, X._ l'avait contrainte à entretenir une première relation sexuelle avec lui à Château-d'Oex, dans l'appartement d'une connaissance, après qu'ils eurent bu du vin. Elle a essayé de le repousser lorsqu'il a tenté de l'embrasser et elle lui a dit qu'elle ne voulait pas avoir de relations sexuelles avec lui. Toutefois, sous l'influence de l'alcool et bloquée par la peur, elle n'est pas parvenue à s'y opposer car il lui avait serré le bras très fort. A._ a en outre déclaré qu'en août 2004, X._ l'a emmenée en voiture dans une forêt, où elle a manifesté son désir de rompre avec lui car, étant séparée de son mari depuis le 15 avril 2004, elle avait un nouvel ami. X._ est alors devenu très violent. Il lui a donné plusieurs coups de poing au visage, tout en l'insultant. Il lui a également pris les cheveux et frappé la tête contre la vitre. Il l'a par ailleurs empêchée de fuir, pointant un pistolet sur elle, à quelques centimètres de son visage ou du haut de son corps. Il l'a ensuite violée et, avant de la ramener chez elle, lui a fait promettre de ne plus revoir son ami. Elle a, enfin, expliqué que le 3 décembre 2004, savoir la veille de son dépôt de plainte, elle se rendait dans un restaurant de Payerne avec X._ lorsque celui-ci lui a tiré les cheveux, lui a donné des coups de poing et l'a insultée, la traitant notamment de salope. Le même jour, sur le trajet du retour, il l'a emmenée en bordure d'une forêt où, après avoir posé son pistolet sur le siège de la voiture, il a entretenu avec elle, et sans son consentement, une relation sexuelle au cours de laquelle il s'est montré violent, voire bestial, comme à son habitude.
A._ a consulté, le 6 décembre 2004, le Dr B._, gynécologue, qui a établi un rapport médical mentionnant la présence de rougeurs et d'hématomes sur le corps de la patiente, notamment au niveau des cuisses. La gynécologue a relevé que les constatations qu'elle avait faites étaient compatibles avec les actes décrits par A._.
B. Par jugement du 21 décembre 2005, le Tribunal pénal de l'arrondissement de la Sarine a notamment reconnu X._ coupable de contrainte sexuelle, de viol et de délit à la loi fédérale sur les armes et l'a condamné à une peine de trois ans de réclusion.
C. Statuant le 28 septembre 2006, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel formé par le Ministère public de même que, dans la mesure où il était recevable, celui du condamné.
D. Par arrêt du 11 août 2007, la Cour de cassation pénale du Tribunal fédéral a admis, dans la mesure où il était recevable, le recours de droit public formé par X._ contre l'arrêt cantonal. Elle a considéré que compte tenu des incohérences dans les déclarations et le comportement de la plaignante et en l'absence d'autres éléments propres à confirmer les faits dénoncés, il n'était pas possible de considérer les actes imputés au recourant comme suffisamment établis pour écarter tout doute.
E. Après avoir administré un certain nombre de preuves complémentaires, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rendu, le 29 février 2008, un nouvel arrêt par lequel elle confirme la culpabilité de X._ pour contrainte sexuelle, viol et délit contre la loi fédérale sur les armes et le condamne à une peine de 3 ans de réclusion.
La cour cantonale a procédé à une nouvelle appréciation des preuves dont elle disposait et a estimé qu'elle pouvait, sans arbitraire, conclure qu'il n'existait aucun doute sérieux et irréductible quant à la culpabilité de X._, précisant que les doutes qui auraient dû subsister, selon l'arrêt du Tribunal fédéral, ont été dissipés d'une part par un témoignage relatif aux pressions exercées par X._ sur sa victime et d'autre part par l'attitude courageuse de cette dernière qui a comparu devant l'autorité cantonale pour confirmer l'ensemble de ses déclarations antérieures.
F. X._ forme un recours en matière pénale contre cet arrêt. Invoquant une violation du principe "in dubio pro reo" ainsi que de l'interdiction de l'arbitraire, il conclut, avec suite de frais et dépens, principalement à l'annulation de l'arrêt attaqué ainsi qu'à sa libération des préventions de contrainte sexuelle et de viol et, subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale.
G. Invitée à se déterminer sur le recours, l'autorité cantonale a déclaré n'avoir pas d'observations à formuler.
Pour sa part, le Ministère public a conclu au rejet du recours. Il expose principalement que l'emprise psychologique du recourant sur la victime et le mode opératoire ont été décrits de manière convaincante par cette dernière de sorte que c'est avec raison que les juges cantonaux ont considéré les faits comme suffisamment établis.

Considérant en droit:
1. 1.1 La décision attaquée a été rendue par une autorité cantonale de dernière instance (<ref-law>), dans une cause de droit pénal (<ref-law>). Elle peut donc faire l'objet d'un recours en matière pénale (<ref-law>), que le recourant, qui remplit manifestement les conditions de l'<ref-law>, est habilité à former.
1.2 Le recours peut notamment être formé pour violation du droit fédéral (<ref-law>), qui englobe les droits constitutionnels. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135), ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments du recourant ni par la motivation de l'autorité précédente. Toutefois, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, et dont la sanction est l'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués et n'est pas tenu de traiter des questions qui ne sont plus discutées devant lui. Il ne peut aller au-delà des conclusions des parties (<ref-law>). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142), ce qui suppose que les moyens soient expressément soulevés et exposés de manière claire et détaillée dans le mémoire de recours (voir <ref-ruling> consid. 2.1 p. 31, 258 consid. 1.3 p. 261 s.; <ref-ruling> consid. 2.1 p. 120).
2. Le recourant procède à la critique des différents éléments de preuve examinés par l'autorité cantonale et parvient à la conclusion que les faits retenus dans l'arrêt attaqué l'ont été de manière arbitraire. Il relève par ailleurs que comme l'arrêt attaqué a été rendu à la suite de l'annulation d'un précédent arrêt par le Tribunal fédéral, l'autorité cantonale ne pouvait pas fonder sa décision sur une motivation que le Tribunal fédéral avait expressément ou implicitement rejetée, mais devait la faire reposer sur des motifs supplémentaires, non invoqués dans sa précédente décision et sur lesquels le Tribunal fédéral ne s'est pas prononcé.
2.1 Jusqu'à l'entrée en vigueur, le 1er janvier 2007, de la loi fédérale sur le Tribunal fédéral (LTF; RS 173.110), l'art 277ter al. 2 PPF imposait à l'autorité cantonale l'obligation de fonder sa décision sur les considérants en droit de l'arrêt de cassation. Si la LTF ne reprend pas cette injonction, c'est parce qu'"il est clair que l'autorité à laquelle une affaire est renvoyée doit en principe fonder sa nouvelle décision sur les considérants en droit de l'arrêt du Tribunal fédéral" (Message concernant la révision totale de l'organisation judiciaire fédérale, FF 2001, p. 4143), de sorte que ce principe demeure applicable.
En l'espèce, dans son arrêt du 11 août 2007, le Tribunal fédéral, après avoir relevé que la condamnation était fondée essentiellement sur les déclarations de la plaignante, a admis que compte tenu des incohérences dans les déclarations et le comportement de cette dernière et en l'absence d'autres éléments propres à confirmer les faits dénoncés, l'autorité cantonale ne pouvait pas, sans arbitraire, considérer les actes imputés au recourant comme suffisamment établis pour écarter tout doute à interpréter en faveur de l'accusé. A la suite de ce jugement, l'autorité cantonale ne pouvait donc pas se limiter à confirmer son appréciation des preuves sans la faire reposer sur des éléments qui en accroissent le caractère probant.
Dans l'arrêt attaqué, l'autorité cantonale fonde sa conviction essentiellement sur l'emprise qu'avait le recourant sur sa victime en raison de sa personnalité, de la crainte qu'il inspirait à celle-ci, de ses méthodes d'intimidation et de manipulation ainsi que de la différence d'âge entre les protagonistes. Elle s'appuie également sur un constat d'agression sexuelle établi par une gynécologue. La plupart de ces éléments ont déjà été pris en considération dans l'arrêt par lequel le Tribunal fédéral a renvoyé la cause à l'autorité cantonale. Celle-ci indique par ailleurs que les doutes sérieux qu'elle aurait dû éprouver à l'époque ont été dissipés d'une part par un témoignage, qui confirme les pressions exercées par le recourant sur la victime et permet donc de reléguer au second plan les incohérences de ses déclarations, ainsi que, d'autre part, par l'attitude courageuse de la victime qui a comparu volontairement devant elle pour confirmer l'ensemble de ses déclarations antérieures.
Entendu par les autorités cantonales, C._ a affirmé que c'est sous la contrainte que la victime avait écrit ses lettres de rétractation, précisant qu'il était présent lorsque le recourant a menacé sa victime et qu'il avait vu celle-ci trembler de tous ses membres. Le témoin a même relevé qu'il avait personnellement posté une des lettres. Certes, la victime a déclaré que le témoin n'avait pas pu voir le recourant la menacer car ils étaient toujours seuls quand il le faisait. La cour cantonale a exposé qu'elle retenait néanmoins ce témoignage pour plusieurs motifs. D'une part le témoin, ancien bras droit du recourant, n'a aucune raison de charger celui-ci et a été suffisamment proche de lui pour avoir été mis au courant de certaines choses. D'autre part, une des lettres de rétractation a bien été postée à l'office indiqué par le témoin et est bien passée par la sphère d'influence du recourant avant de parvenir aux autorités judiciaires. Cette argumentation est convaincante, de sorte qu'il y a lieu d'apprécier l'ensemble des preuves à la lumière de ce nouvel élément.
L'autorité cantonale a par ailleurs relevé la différence d'âge et d'expérience de vie des protagonistes. Alors que la victime est une jeune femme naïve et influençable, le recourant, qui se présentait comme un chef de la mafia turque et se faisait appeler "D._", ce qui signifie professeur, est décrit comme un homme mûr au comportement de caïd ou encore un homme d'affaires usant volontiers de méthodes d'intimidation, à l'origine de diverses procédures pénales en cours à son encontre notamment pour actes préparatoires délictueux (meurtre ou assassinat) dirigés contre un juge d'instruction ou encore pour lésions corporelles simples et qualifiées ainsi que tentative de contrainte.
Dans ces circonstances, l'emprise exercée par le recourant sur sa victime, qu'il manipulait de manière à ce qu'elle ne soit pas en mesure de lui résister, explique aisément le comportement contradictoire de la victime qui maintenait des contacts avec le recourant alors qu'elle dénonçait les actes graves commis par celui-ci. Il faut par ailleurs relever encore à ce propos qu'elle n'a jamais varié dans ses déclarations relatives aux actes retenus à l'encontre du recourant et aux conditions dans lesquelles ils se sont déroulés. Ainsi, alors même qu'elle s'adressait à la police pour demander la suspension de l'enquête, précisant qu'elle avait renoué un contact intime avec le recourant, elle a rappelé que les faits dénoncés s'étaient effectivement déroulés de cette manière, ce qu'elle a encore confirmé devant l'autorité de première instance, en exposant qu'au moment des faits le recourant, qui était «comme un Dieu» pour elle, la manipulait de sorte qu'elle n'était pas en mesure de lui résister. Enfin, elle a répété une nouvelle fois l'ensemble de ses déclarations à l'occasion d'une comparaison volontaire devant la cour cantonale, qui a relevé son attitude courageuse.
Dans ces circonstances, l'autorité cantonale pouvait, sans arbitraire, considérer le faisceau d'indices dont elle disposait comme suffisant pour écarter tout doute sérieux quant à la culpabilité du recourant. Mal fondés, les griefs tirés par le recourant de la violation de l'interdiction de l'arbitraire et du principe "in dubio pro reo" doivent être rejetés.
3. Le recourant soutient en outre que les art. 189 et 190 CP réprimant la contrainte sexuelle respectivement le viol ne seraient pas applicables en l'espèce car il n'aurait usé d'aucune violence au sens de ces dispositions.
Conformément à l'<ref-law>, le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique exclusivement sur les faits retenus par l'autorité précédente, sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>. Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées. A ce défaut, un état de fait divergent de celui de la décision attaquée ne peut être pris en compte (<ref-ruling> consid. 6.2 p. 288).
En l'espèce, il a été constaté au considérant précédent que les faits retenus par l'autorité cantonale ne l'ont pas été de manière arbitraire, de sorte qu'il n'est pas possible d'entrer en matière sur le grief tiré par le recourant d'une violation des art. 189 et 190 CP, son argumentation, au demeurant particulièrement sommaire à ce propos, étant fondée entièrement sur des faits qui ne ressortent pas de l'arrêt attaqué.
4. Le recourant soutient enfin qu'en cas de condamnation la peine qui lui a été infligée est exagérément sévère et que de surcroît le principe de la "lex mitior" devait pour le moins permettre le prononcé d'une peine assortie d'un sursis partiel.
4.1 Le recourant se contente d'affirmer que la peine prononcée est beaucoup trop sévère, sans exposer les raisons pour lesquelles il en serait ainsi. Il apparaît au contraire que tel n'est pas le cas. En effet, la faute du recourant est très lourde tant du point de vue objectif, eu égard au nombre, à la gravité et à la durée des actes qui lui sont imputés, que subjectif, compte tenu des antécédents du recourant, qui a déjà été condamné en Allemagne à une peine privative de liberté de 14 ans, qu'il a purgée jusqu'en janvier 2003, de sorte qu'il a commis les actes graves dont il a à répondre dans le cadre de la présente procédure à peine une année après avoir terminé de purger une longue peine privative de liberté. Dans ces circonstances, il est évident que les autorités cantonales n'ont pas abusé du large pouvoir d'appréciation qui leur est reconnu dans ce domaine.
4.1 Le recourant se contente d'affirmer que la peine prononcée est beaucoup trop sévère, sans exposer les raisons pour lesquelles il en serait ainsi. Il apparaît au contraire que tel n'est pas le cas. En effet, la faute du recourant est très lourde tant du point de vue objectif, eu égard au nombre, à la gravité et à la durée des actes qui lui sont imputés, que subjectif, compte tenu des antécédents du recourant, qui a déjà été condamné en Allemagne à une peine privative de liberté de 14 ans, qu'il a purgée jusqu'en janvier 2003, de sorte qu'il a commis les actes graves dont il a à répondre dans le cadre de la présente procédure à peine une année après avoir terminé de purger une longue peine privative de liberté. Dans ces circonstances, il est évident que les autorités cantonales n'ont pas abusé du large pouvoir d'appréciation qui leur est reconnu dans ce domaine.
4.2 Le recourant se prévaut, enfin, du principe de la lex mitior qui devait selon lui amener l'autorité à assortir sa peine d'un sursis partiel.
Les faits reprochés au recourant ont été commis avant l'entrée en vigueur, le 1er janvier 2007, des nouvelles dispositions de la partie générale du code pénal. La cour cantonale, qui a rendu l'arrêt attaqué postérieurement à cette date, était saisie d'un appel pénal, voie de droit ordinaire produisant un effet dévolutif complet. C'est donc à juste titre qu'elle a estimé devoir examiner, en application de la lex mitior (<ref-law>), si le nouveau droit n'était pas plus favorable au recourant (cf. <ref-ruling> consid. 6, p. 86 ss). Avec raison aussi, la cour cantonale a considéré que le seul bénéfice que le recourant pouvait espérer tirer de l'application du nouveau droit est le prononcé d'un sursis partiel, dont le juge peut, conformément à l'<ref-law>, assortir une peine privative de liberté de 3 ans au plus.
C'est en revanche à tort que l'autorité cantonale a considéré que le nouveau droit n'étant pas susceptible d'aboutir à un résultat plus favorable, compte tenu du pronostic nécessairement négatif, c'est l'ancien droit qui devait trouver application. En effet, lorsqu'une autorité prononce une peine privative de liberté de plus de 18 mois mais ne dépassant pas 3 ans, le nouveau droit est plus favorable car lui seul permet le prononcé d'une peine assortie d'un sursis partiel. Dans un tel cas, c'est donc le nouveau droit qui est applicable et c'est au regard de celui-ci que l'autorité doit examiner quel pronostic peut être émis, ce qui implique que, contrairement à l'ancien droit qui ne permettait l'octroi du sursis que si le pronostic était favorable, la peine doit être suspendue pour le moins partiellement dès que le pronostic quant au comportement futur du condamné n'est pas défavorable (cf. <ref-ruling> consid. 4.2.2 et 5.3.1).
En l'espèce, cette erreur n'a toutefois pas d'incidence sur le dispositif de l'arrêt attaqué puisque c'est avec raison que l'autorité cantonale a admis que compte tenu du profil et des antécédents du recourant le pronostic ne pouvait manifestement être que défavorable. En effet, il ressort de l'arrêt attaqué que le recourant a déjà fait l'objet d'une condamnation à une peine privative de liberté de 14 ans, qu'il a fini d'exécuter à peine une année avant le début des faits à l'origine de la présente procédure. Cela montre clairement le peu d'impact de la sanction sur le recourant. Eu égard par ailleurs à la personnalité du recourant qui se présente lui-même comme un chef de la mafia, il est fort improbable qu'une peine assortie d'un sursis partiel suffise à le détourner de la commission d'autres infractions. Ainsi, l'autorité cantonale n'a pas violé le droit fédéral en refusant d'assortir d'un sursis partiel la peine infligée au recourant.
5. Mal fondé, le recours doit dès lors être rejeté dans la mesure où il est recevable et le recourant, qui succombe, en supportera les frais (<ref-law>). Il n'y a par ailleurs pas lieu d'allouer d'indemnité à la victime qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 24 octobre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay