Faits:
A. Le 3 février 2005, le directeur du Foyer B._, fondation en faveur de personnes handicapées adultes, a informé la police que A._, née en 1978 et pensionnaire au sein du foyer, avait déclaré qu'elle avait entretenu des relations sexuelles consenties avec l'éducateur X._. Ce dernier a contesté ces faits et a même porté plainte pénale pour diffamation contre A._.
B. Par jugement du 29 janvier 2007, le Tribunal pénal de l'arrondissement de la Broye a reconnu X._ coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et l'a condamné à une peine privative de liberté de 15 mois avec sursis pendant 3 ans, ainsi qu'au paiement d'une somme de 7500 fr. à la victime à titre de réparation du tort moral subi. Il a par ailleurs libéré celle-ci de la prévention de dénonciation calomnieuse.
C. Le 11 janvier 2008, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel de X._ et confirmé le jugement de première instance.
D. X._ forme un recours en matière pénale contre ce dernier arrêt. Il conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué, à son acquittement ainsi qu'au refus d'allouer toute indemnité pour tort moral à l'intimée et subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.

Considérant en droit:
1. Rendue en matière pénale (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), la décision attaquée, qui met fin à la procédure (<ref-law>), peut faire l'objet d'un recours en matière pénale (<ref-law>).
Le recours peut notamment être formé pour violation du droit fédéral (<ref-law>), qui englobe les droits constitutionnels. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135), ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments du recourant ni par la motivation de l'autorité précédente. Toutefois, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, dont la sanction est l'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués et n'est dès lors pas tenu de traiter des questions qui ne sont plus discutées devant lui. Il ne peut aller au-delà des conclusions des parties (<ref-law>).
2. Le recourant soutient que l'arrêt attaqué viole la présomption d'innocence et repose sur une appréciation arbitraire des preuves.
2.1 La présomption d'innocence, garantie par les art. 32 al. 1 Cst. et 6 par. 2 CEDH qui ont la même portée, a pour corollaire le principe «in dubio pro reo». En tant que règles sur le fardeau de la preuve, ces principes signifient, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter à l'accusé. Comme règles de l'appréciation des preuves, ils sont violés lorsque le juge, qui s'est déclaré convaincu, aurait dû éprouver des doutes quant à la culpabilité de l'accusé au vu des éléments de preuve qui lui étaient soumis. Le Tribunal fédéral examine librement si ces principes ont été violés en tant que règles sur le fardeau de la preuve, mais il n'examine que sous l'angle de l'arbitraire la question de savoir si le juge aurait dû éprouver un doute, c'est-à-dire celle de l'appréciation des preuves (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 4 p. 211; <ref-ruling> consid. 2d p. 37 s.).
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable. Le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable. Il faut encore qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 5.1 p. 17; <ref-ruling> consid. 2.1 p. 219, 57 consid. 2 p. 61; <ref-ruling> consid. 3.1 p. 178).
L'appréciation des preuves est en particulier arbitraire lorsque le juge de répression n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1 p. 9). Il en va de même lorsqu'il retient unilatéralement certaines preuves ou lorsqu'il rejette des conclusions pour défaut de preuves, alors que l'existence du fait à prouver résulte des allégations et du comportement des parties (<ref-ruling> consid. 1b p. 30). Il ne suffit pas qu'une interprétation différente des preuves et des faits qui en découlent paraisse également concevable pour que le Tribunal fédéral substitue sa propre appréciation des preuves à celle effectuée par l'autorité de condamnation, qui dispose en cette matière d'une grande latitude. En serait-il autrement, que le principe de la libre appréciation des preuves par le juge du fond serait violé (ATF <ref-ruling> consid. 2d p. 37 s.).
2.2 Le recourant reproche pour l'essentiel à l'autorité cantonale d'avoir fondé sa conviction sur les seules déclarations de la victime.
2.2.1 Il soutient tout d'abord que lors de l'entretien avec le directeur de l'institution les réponses de la victime auraient été suggérées, ce qui a été nié par la cour cantonale. Il n'y a pas lieu d'examiner ce point attendu que le recourant renonce à en démontrer l'arbitraire eu égard au fait que les juges cantonaux ont admis que ce n'était pas l'entretien en question qui avait servi à justifier la condamnation, mais bien la confirmation des faits par la victime tout au long de la procédure pénale, les nombreux témoignages ainsi que les hésitations et les contre-vérités du recourant.
2.2.2 Le recourant revient alors sur les déclarations de la victime, qu'il juge non cohérentes. Selon lui, justifier cette incohérence par le fait que les déclarations de la victime sont globalement constantes, en particulier en ce qui concerne l'auteur des actes, et par le fait qu'elle est handicapée serait arbitraire. Le recourant prétend que la victime aurait pu faire le récit d'une histoire vécue en changeant les protagonistes. Ainsi, selon lui, l'expert C._ a affirmé clairement qu'elle n'excluait pas que la victime ait pu tenir un langage contraire à la réalité pendant deux ans, que la victime avait déjà menti au sujet d'un vol commis dans l'enceinte de l'institution, ce qui a été confirmé notamment par Mme D._, éducatrice référente de la victime jusqu'en 2001, témoignage écarté par les premiers juges.
Or, ces différents éléments n'ont pas été ignorés par la cour cantonale qui a dit qu'on ne saurait, sans la moindre preuve à l'appui, admettre un lien entre la relation incriminée et le vécu de la jeune femme, savoir d'éventuels abus subis durant l'adolescence et la relation qu'elle a eue avec un certain E._. Le dossier relève des détails qui sont propres à la relation que le recourant entretenait avec la victime; il s'agit du comportement étrange constaté par le témoin F._ lors du camp en France, du fait que la victime savait où se trouvait la clef de secours dans la salle de bain du bureau des éducateurs, du fait que l'éducatrice référente de la victime depuis 1999 a constaté que la jeune femme avait eu une période d'agressivité terrible entre 2004 et 2005 ou encore du fait que la victime avait paru apaisée après s'être confiée. Enfin, s'agissant du vol commis dans le passé et du mensonge y relatif, le recourant n'indiquait pas en quoi le raisonnement et l'argumentation des premiers juges étaient faux et se contentait de citer le témoignage de D._.
Les premiers juges n'ont en effet pas ignoré non plus que la victime avait menti au sujet d'un vol mais ils ont estimé que cet élément, apprécié avec les autres, notamment les nombreux témoignages de spécialistes qui se rejoignaient pour dire qu'en raison de son développement mental incomplet, la victime était incapable d'inventer un tel récit au sujet des actes commis par le recourant, ne permettait pas de créer un doute sur la véracité des dires de la victime. Quant au témoignage de l'expert-psychiatre C._, cité par le recourant, il n'avait pas pour but de se prononcer sur la crédibilité de la victime et ne fait état d'aucune certitude. Compte tenu du fait que la victime a l'âge mental d'un enfant de 6 ou 7 ans, il faudrait qu'elle soit particulièrement retorse ou machiavélique pour inventer les faits à la base de la présente affaire. Or, la victime n'est pas apparue comme telle et l'expert psychiatre a aussi admis que la victime était capable de discernement en ce qui concernait les actes de la vie quotidienne et que son incapacité de discernement était uniquement liée à l'aspect affectif des choses et à la sexualité, ce qui confirmerait qu'elle n'est pas capable de développement imaginatif dans ce domaine.
Le recourant se contente de reprendre les arguments développés en instance précédente et d'opposer sa propre appréciation à celle des juges cantonaux, sans en démontrer le caractère arbitraire d'une manière conforme aux exigences de motivation rappelées au consid. 1 ci-dessus. Il n'y a dès lors pas lieu d'examiner plus avant son grief.
2.2.3 Il en est de même lorsque le recourant prétend, comme il l'a fait en instance précédente, que le directeur et le personnel du Foyer B._ n'ont rien vu et n'ont eu aucun soupçon. La cour cantonale a retenu que lesdits témoins n'avaient pas vu de relations sexuelles en tant que telles puisque les protagonistes les cachaient mais que la plupart d'entre eux avait ressenti un profond malaise et fait des constatations que les premiers juges ont pu apprécier. Peu importe que ces témoins n'aient pas porté attention à certains faits sur le moment ou qu'ils n'aient pas eu de soupçon.
Le recourant, qui se contente de citer, comme il l'a fait en instance précédente, des passages choisis des différents témoignages et d'opposer ainsi sa propre appréciation à celle de l'autorité cantonale ne démontre pas l'arbitraire de cette dernière d'une manière conforme aux exigences de motivation rappelées ci-dessus et il n'y a pas lieu d'examiner plus avant son grief. Au passage, le recourant mentionne qu'aucune expertise de crédibilité ne figure au dossier, sans toutefois exposer en quoi l'absence d'une telle expertise, qu'il a renoncé à réclamer aux débats, violerait ses droits constitutionnels, de sorte que son grief n'est pas non plus recevable sur ce point.
2.2.4 Il en est encore de même lorsque le recourant justifie ses hésitations par le fait qu'un innocent se défend mal, qu'il reproche aux juges cantonaux d'avoir fondé l'accusation sur le fait qu'il a nié avoir eu des rapports privilégiés avec la victime et qu'il prétend que son manque de formation a contribué à ce qu'il ait une relation plus paternelle avec les pensionnaires et que ces différents éléments ne suffisent pas pour condamner un homme. Le fait qu'il ait participé ou non au dîner de la fraternité des malades de la fondation était, selon le recourant, sans pertinence; retenir une attirance physique du recourant pour sa protégée est contraire au bon sens et en niant avoir commis des actes d'ordre sexuel, le recourant aurait fait preuve de constance et ne pas l'avoir reconnu serait arbitraire.
En réalité, les juges cantonaux ont exposé en quoi les propos du recourant, mis à part ses dénégations, avaient varié et évolué tout au long de la procédure. Quant au dîner de la fraternité des malades, il est un élément parmi d'autres qui a servi à apprécier la crédibilité des déclarations du recourant. En se contentant d'opposer sa propre appréciation à celle de l'autorité cantonale, comme s'il était devant une instance d'appel, sans en démontrer le caractère arbitraire, le grief du recourant ne répond pas aux exigences de motivation rappelées ci- dessus et il n'y a pas lieu de l'examiner plus avant.
Au demeurant, on relèvera que la version de la victime a été retenue sur la base d'une analyse longuement motivée de ses déclarations, de celles du recourant et des différents témoins. La seule appréciation différente du recourant ne permet pas d'en retenir le caractère arbitraire. Partant, sur la base d'une appréciation non arbitraire des preuves, il n'apparaît pas que les juges cantonaux auraient dû éprouver des doutes quant à la culpabilité du recourant et ce dernier ne le démontre pas non plus.
3. Le recourant reproche encore à l'arrêt cantonal d'avoir exigé de lui qu'il prouve son innocence. Sa condamnation tiendrait aux seules déclarations de la victime et au fait que les juges cantonaux ne pouvaient pas expliquer pourquoi la victime aurait inventé un tel récit, acquérant la conviction de la culpabilité du recourant a contrario.
Or, d'une part, comme rappelé ci-dessus, la culpabilité du recourant a été retenue sur la base de différentes analyses et pas seulement sur celle des déclarations de la victime. D'autre part, on ne comprend pas en quoi le fait d'admettre que la victime ne pouvait pas inventer de telles accusations constituerait un renversement du fardeau de la preuve. Il n'apparaît pas et le recourant ne le dit pas, que ce dernier aurait dû apporter la preuve de son innocence et que c'est en raison de l'absence de cette dernière que sa culpabilité a été retenue. Dès lors, le grief du recourant ne peut qu'être rejeté.
4. En tant qu'il est recevable, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer d'indemnité à la victime qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 24 avril 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay