Faits:
A. Par jugement du 15 février 2007, le Tribunal pénal de la Glâne a reconnu A.X._ coupable de viol commis sur son épouse et l'a condamné à une peine privative de liberté de 15 mois avec sursis pendant deux ans et à verser à la victime 7000 fr. à titre d'indemnité pour tort moral.
L'autorité de première instance a fondé sa condamnation sur les faits suivants.
Dans la nuit du 11 au 12 février 2005, entre 23h.30 et 04h.30, A.X._ a harcelé son épouse dans le but d'obtenir une relation sexuelle qu'elle n'était pas d'accord d'entretenir. Il l'a saisie fortement par les poignets pour l'immobiliser et l'a mordue sur le flanc. B.X._ s'est débattue. L'altercation a réveillé les enfants qui sont venus dans la chambre de leurs parents. A.X._ a alors insulté son épouse devant les enfants.
B.X._ a demandé à son fils d'appeler son oncle. A.X._ est alors sorti de la maison. Lorsque le frère de B.X._ est arrivé, cette dernière lui a dit qu'il pouvait repartir car la crise était finie. B.X._ est retournée se coucher avec son fils. A.X._ est rentré à la maison dix minutes plus tard et a emmené son fils dans sa chambre. Puis il a à nouveau immobilisé son épouse qui a appelé les enfants au secours. A.X._ l'a relâchée lorsque ses enfants, venus dans la chambre, lui ont dit de laisser leur mère tranquille. La fille aînée du couple a demandé à sa mère de les appeler si son père continuait à l'importuner. B.X._ a alors laissé la porte de la chambre ouverte. A.X._ a voulu entretenir une relation sexuelle avec son épouse qui n'était toujours pas d'accord mais l'a néanmoins laissé la pénétrer pour le calmer. Durant l'acte, son mari s'est montré vulgaire et après quinze minutes, B.X._ l'a repoussé. Pour le calmer, car il ne pouvait pas dormir, B.X._ a massé le dos de son mari, qui a fini par s'endormir.
B. La Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours de A.X._ le 27 mai 2008. Elle a confirmé l'appréciation des premiers juges selon laquelle A.X._ a imposé à son épouse un rapport sexuel auquel elle n'a pas librement consenti.
C. A.X._ forme un recours en matière pénale contre cette dernière décision concluant à son acquittement et au rejet des conclusions civiles sous suite des frais et dépens. A l'appui de son recours, il invoque la violation du principe de l'interdiction de l'arbitraire.

Considérant en droit:
1. Saisi d'un recours en matière pénale (<ref-law>), le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst., ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142).
2. Le recourant soutient que l'arrêt attaqué repose sur une appréciation arbitraire des faits et des preuves.
2.1 Une décision est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de l'appréciation retenue en dernière instance cantonale que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective ou adoptée sans motifs objectifs. Il ne suffit pas que la motivation de la décision soit insoutenable. Il faut en outre que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 4 p. 58).
L'appréciation des preuves est en particulier arbitraire lorsque le juge de répression n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1 p. 9). Il en va de même lorsqu'il retient unilatéralement certaines preuves ou lorsqu'il rejette des conclusions pour défaut de preuves, alors même que l'existence du fait à prouver résulte des allégations et du comportement des parties (<ref-ruling> consid. 1b p. 30). Il ne suffit pas qu'une interprétation différente des preuves et des faits qui en découlent paraisse également concevable pour que le Tribunal fédéral substitue sa propre appréciation des preuves à celle effectuée par l'autorité de condamnation, qui dispose en cette matière d'une grande latitude. En serait-il autrement, que le principe de la libre appréciation des preuves par le juge du fond serait violé (<ref-ruling> consid. 2d p. 37 s.).
2.2 Le recourant reproche à la cour cantonale d'avoir considéré comme non pertinente la question de savoir si la victime était une femme soumise, sous le joug de son mari, ou une femme émancipée. Il se contente toutefois de soutenir que ce contexte était important pour l'établissement des faits, sans aucunement en faire la démonstration ni motiver d'une manière conforme aux exigences rappelées ci-dessus en quoi l'appréciation de la cour cantonale serait arbitraire. Partant, son grief ne saurait être examiné.
2.3 Le recourant conteste que la victime s'en soit toujours tenue à la même version des faits hormis quelques détails sans importance. Il prétend que son discours contient des contradictions et des incohérences, de sorte qu'elle n'est pas crédible.
La cour cantonale relève que lorsque la victime a donné à la police, le 14 février 2005, un document dactylographié par une amie, elle a immédiatement précisé que la relation sexuelle avait eu lieu après la venue de son frère à la maison et non pas avant. Cette autorité note par ailleurs que même s'il est vrai qu'en instruction, le 22 avril 2005, la victime a déclaré ne plus se souvenir si son frère était passé avant ou après la relation sexuelle, il s'agit d'une hésitation sur la chronologie des faits explicable en raison de la charge émotionnelle des événements qui se sont produits pendant cette nuit-là et que, malgré quelques hésitations, elle s'en est tenue pour l'essentiel à sa version des faits.
Le recourant se borne à citer les hésitations de la victime sur la chronologie des faits, qui n'ont pas été ignorées par la cour cantonale, pour en conclure que ces incohérences ont été écartées à tort. Cependant, il ne motive pas en quoi les juges cantonaux auraient fait montre d'arbitraire et son grief, qui ne répond pas aux exigences de motivation rappelées ci-dessus, n'a pas à être examiné plus avant.
2.4 Le recourant se demande comment une femme qui a subi un viol peut lui avoir proposé un massage. Il prétend également que son épouse aurait eu un comportement incohérent. Elle ne lui aurait demandé de faire chambre séparée que le 15 février 2005 et, la première nuit, entendant qu'il avait de la peine à trouver le sommeil, l'aurait invité à la rejoindre dans la chambre commune, invitation qu'il aurait déclinée. La victime serait par ailleurs demeurée au domicile conjugal jusqu'au mois de juillet.
Sur ce point également, le recourant ne montre pas le caractère arbitraire des constatations de l'autorité cantonale, qui correspondent au demeurant largement à ses allégations. Il n'y a dès lors pas lieu d'examiner plus avant ce grief.
2.5 Le recourant soutient encore que c'est à tort que les premiers juges ont considéré le SMS envoyé à son épouse après son audition par la police le 15 février 2005 comme un aveu de culpabilité de viol. Il prétend que c'est uniquement pour tranquilliser son épouse en vue de son retour à la maison après qu'elle ait déposé plainte qu'il lui a envoyé ce SMS. Il estime contraire à la présomption d'innocence de l'avoir interprété comme un aveu.
Il ressort cependant de l'arrêt attaqué qu'une analyse du contexte dans lequel ce message a été envoyé conduisait à admettre qu'il résonnait comme un aveu. Il n'a toutefois pas été tenu pour tel, mais intégré au faisceau d'indices permettant d'affirmer que le recourant s'était bien rendu coupable de viol.
Sur ce point également, le recourant ne fait qu'opposer sa version des faits à l'appréciation de l'autorité cantonale, ce qui ne suffit pas pour en démontrer le caractère arbitraire. Au demeurant, l'appréciation de l'autorité cantonale n'apparaît pas insoutenable et le grief ne peut qu'être rejeté dans la mesure où il est recevable.
2.6 Le recourant prétend enfin qu'en l'absence de preuve matérielle, notamment de certificat médical établissant le viol, et en présence de témoignages de personnes, dont la thérapeute de la victime, qui n'ont entendu que la version de cette dernière, la cour cantonale aurait dû constater que l'appréciation des preuves ne permettait pas de considérer comme établis les actes reprochés au recourant et qu'elle aurait dû éprouver un doute conduisant à l'acquittement.
L'absence de certificat gynécologique ne conduit pas à concevoir un doute sérieux quant au viol, d'autant moins qu'en l'espèce il n'aurait eu qu'un intérêt très limité, dans la mesure où la victime s'est laissée pénétrer par son mari. Tenir compte des déclarations de personnes à qui la victime s'est confiée après les faits, y compris sa thérapeute, peut conforter la version de la victime, ce qui est le cas en l'espèce. Par conséquent, en l'absence d'autres preuves, ce qui est généralement le cas dans ce genre d'affaires, la cour cantonale pouvait admettre, sur la base des preuves administrées, dont font partie également l'analyse des déclarations de la victime et du recourant, que les faits se sont déroulés comme les a décrits la victime. On ne peut reprocher dans ce contexte à la cour cantonale de ne pas avoir éprouvé de doute ou d'avoir raisonné de manière insoutenable. Le dernier grief du recourant ne peut qu'être rejeté.
Partant, le recours doit être rejeté en tant qu'il est recevable.
3. Vu l'issue de la procédure, les frais judiciaires doivent être mis à la charge du recourant qui succombe (<ref-law>). Il n'y a pas lieu d'allouer d'indemnité à la victime qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 24 novembre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay