Faits: A. Le 3 février 2005, le directeur du Foyer B._, fondation en faveur de personnes handicapées adultes, a informé la police que A._, née en 1978 et pensionnaire au sein du foyer, avait déclaré qu'elle avait entretenu des relations sexuelles consenties avec l'éducateur X._. Ce dernier a contesté ces faits et a même porté plainte pénale pour diffamation contre A._. B. Par jugement du 29 janvier 2007, le Tribunal pénal de l'arrondissement de la Broye a reconnu X._ coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et l'a condamné à une peine privative de liberté de 15 mois avec sursis pendant 3 ans, ainsi qu'au paiement d'une somme de 7500 fr. à la victime à titre de réparation du tort moral subi. Il a par ailleurs libéré celle-ci de la prévention de dénonciation calomnieuse. C. Le 11 janvier 2008, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel de X._ et confirmé le jugement de première instance. D. X._ forme un recours en matière pénale contre ce dernier arrêt. Il conclut, avec suite de frais et dépens, principalement à la réforme de l'arrêt attaqué, à son acquittement ainsi qu'au refus d'allouer toute indemnité pour tort moral à l'intimée et subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.