Faits :
A.
Par jugement du 1 er septembre 2016, le Tribunal pénal de l'arrondissement du Lac du canton de Fribourg (ci-après: le Tribunal pénal) a acquitté X._ du chef de prévention de dommages à la propriété et l'a reconnu coupable de viols, viols aggravés, contraintes sexuelles aggravées, actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, menaces, contrainte ( stalking), séquestration, lésions corporelles simples, vol et conduite en état d'ébriété et l'a condamné à une peine privative de liberté de cinq ans et à une amende de 700 francs.
B.
Par arrêt du 28 août 2017, la Cour d'appel pénal du Tribunal cantonal fribourgeois a très partiellement admis le recours de X._ et réformé le jugement du 1er septembre 2016 en ce sens que la procédure relative à l'infraction de voies de fait - pour laquelle le Tribunal pénal avait reconnu l'intéressé coupable mais qui ne figurait pas dans le dispositif du jugement de première instance - était de toute manière prescrite au moment du jugement de première instance et que X._ était condamné à une peine privative de liberté de cinq ans et à une amende de 200 francs.
La cour cantonale a retenu les faits pertinents suivants.
B.a. A._, née en 1989, et X._, né en 1969, se sont mariés en 2008 au Portugal. Trois enfants sont nés de cette union, soit B._, en 2009, C._, en 2010 et D._, en 2013.
B.b. Entre février 2009 et le 8 mars 2012 et à des dates indéterminées, au domicile familial à U._, X._ a régulièrement frappé son épouse lorsqu'elle ne voulait pas avoir de relations sexuelles avec lui, parfois même alors qu'elle était enceinte. Il l'a frappée à une fréquence d'environ cinq fois par mois. Le 5 février 2009, en particulier, il l'a prise à la gorge alors qu'elle était assise parce qu'elle refusait d'avoir des relations sexuelles avec lui. Il l'a frappée avec une main au visage en continuant d'appuyer sur sa gorge de l'autre, puis avec les deux mains sur tout le corps. A la suite de cela, A._ a eu l'oeil gauche enflé et des hématomes sur les bras et les cuisses. Le 4 mars 2012, X._ a pris son épouse par la gorge, alors qu'elle se trouvait dans la chambre de B._ et l'a tirée dans leur chambre. Il a ensuite été chercher un couteau et a menacé de la tuer, elle et les enfants. A des dates indéterminées, après la naissance de B._, X._ a imposé à sa femme des relations sexuelles brutales en menaçant de la tuer ou en lui disant qu'elle ne reverrait plus son bébé. A une occasion, en particulier, l'intéressé a mis un couteau sous la gorge de son épouse et lui a imposé une relation sexuelle. A des dates indéterminées, après la naissance de B._, il lui a également imposé des relations sexuelles, profitant de son sommeil, sachant qu'elle n'était pas consentante.
B.c. En avril 2012, alors que A._ était logée dans un appartement protégé de l'association E._, X._ lui a demandé de se rendre au domicile familial pour discuter de la situation. A son arrivée, il a fermé la porte à clé derrière elle, a voulu la forcer à subir une relation sexuelle et a menacé de la tuer, de tuer ses enfants et de se suicider ensuite. Lorsqu'elle s'est aperçue que son époux ne voulait pas discuter avec elle, A._ a appelé une amie pour qu'elle vienne la chercher. Ce n'est qu'à l'arrivée de son amie que l'intéressée a pu partir.
B.d. A une date indéterminée en août 2012, X._ s'est introduit vers 1h du matin au domicile de son épouse, dont il était séparé depuis le mois de mars 2012. Il s'est installé dans le lit de celle-ci alors qu'elle dormait et a eu un rapport sexuel consenti avec elle après qu'elle se soit réveillée. Souhaitant encore un rapport sexuel avec A._, contrairement à celle-ci, il est allé dans la chambre de B._, où son épouse s'était rendue, l'a tirée hors de la chambre puis a menacé de la tuer, de tuer leurs enfants et de se suicider. Il lui a dit: " Tu vas voir ce qu'une femme doit faire avec son mari... " et lui a ordonné de se déshabiller complètement et a ensuite exigé qu'elle se mette à genoux et qu'elle lui prodigue une fellation durant 20 à 30 minutes. Il l'a ensuite pénétrée vaginalement et analement, à plusieurs reprises et dans plusieurs positions différentes. A un moment donné, il a également prévenu son épouse que si elle pleurait fort, et qu'elle réveillait les enfants, il irait les chercher pour qu'ils regardent ce qu'il lui faisait. Pendant qu'il la pénétrait, il la frappait avec les mains, au visage et sur les fesses. Il a ensuite uriné dans la bouche de son épouse et l'a forcée à avaler l'urine. A la suite de ces faits, A._ a eu le vagin et l'anus tuméfiés et a eu très mal.
B.e. Dès le mois de juin 2012, X._ a exercé des pressions sur son épouse pour qu'ils reprennent la vie commune. Il est notamment passé quasiment tous les jours au domicile de celle-ci à U._. A ces occasions, il sonnait avec insistance, cherchait à l'intimider en parlant fort, en faisant des allusions au suicide ou au fait qu'il lui arriverait quelque chose. De peur que les voisins alertent la police ou la régie, elle finissait par ouvrir la porte à son mari. Entre les mois de juin 2012 et avril 2013, avant qu'elle n'accouche de D._, le couple a entretenu des relations sexuelles. A une occasion en particulier, X._ est entré dans le domicile de son épouse vers 2h du matin. Il l'a menacée et frappée parce qu'il voulait entretenir des relations sexuelles avec elle alors qu'elle ne le voulait pas. A._ a été internée au Centre F._ du 28 novembre au 19 décembre 2012, parce qu'elle souffrait d'une dépression légère, due au contexte de difficultés avec X._. A une date indéterminée, probablement en avril 2013, lors d'une dispute, il a insulté et frappé son épouse, alors que celle-ci portait leur bébé D._.
B.f. Le 22 septembre 2014, en rentrant chez elle après avoir déposé B._ à l'école le matin, elle a trouvé X._ dans la cage d'escaliers de son immeuble en train de parler à son petit-ami, lequel était resté chez elle avec D._. En colère parce qu'elle hébergeait son petit-ami, X._ est entré dans l'appartement, a pris un marteau dans un meuble et a menacé son épouse en lui disant qu'il allait tuer D._ pour la faire souffrir. Il a ensuite tapé le bas de la chambre à côté avec le marteau. De peur que son époux s'en prenne à D._, A._ a pris l'enfant et l'a emmené chez une voisine.
B.g. Le 27 septembre 2014, après être allé chercher sa fille, B._, chez sa mère, X._ s'est arrêté sur le trajet, au bord de la forêt. Simulant une scène de suicide devant sa fille, il a inhalé du spray anti-moustiques et s'est couché au bord de la route. B._ était en pleurs à côté de son père. Croyant qu'il était mort, elle a été marquée par cet événement; elle a notamment changé de comportement à l'école et s'est renfermée.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 28 août 2017. Préalablement, il requiert l'octroi de l'effet suspensif. Principalement, il conclut, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens qu'il est acquitté des chefs de prévention de viols, viols aggravés, contraintes sexuelles aggravées, actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, menaces, contrainte ( stalking), séquestration, lésions corporelles simples, vol et dommages à la propriété et qu'il est condamné à une amende de 100 fr. pour violation de l'<ref-law>. Il conclut à ce que les prétentions civiles de A._ soient entièrement rejetées et que les frais de procédure soient mis entièrement à la charge de l'Etat. Il conclut également à ce qu'une indemnité de 1'135 fr. lui soit allouée pour le dommage économique au titre de sa participation obligatoire à la procédure pénale et à ce qu'un montant de 72'400 fr. lui soit alloué au titre de réparation du tort moral. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Invoquant l'art. 9 Cst., le recourant se plaint de l'arbitraire dans la constatation des faits et l'appréciation des preuves. Il se plaint également d'une violation de la présomption d'innocence, respectivement du principe in dubio pro reo (<ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH).
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53 et 140 I 201 consid. 6.1 p. 205).
La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant l'appréciation des preuves que le fardeau de la preuve (<ref-ruling> consid. 2a p. 40 s.; <ref-ruling> consid. 2c p. 36 s.; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82 s.). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. C'est ainsi à l'accusation d'établir la culpabilité du prévenu, et non à celui-ci de démontrer qu'il n'est pas coupable. La présomption d'innocence est violée lorsque le juge rend un verdict de culpabilité au seul motif que le prévenu n'a pas prouvé son innocence (<ref-ruling> consid. 2a p. 40; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368).
1.2. En l'espèce, la cour cantonale a jugé que c'était de manière convaincante que le Tribunal pénal avait retenu la version de l'intimée plutôt que celle du recourant à laquelle il avait dénié toute crédibilité, de sorte qu'elle faisait sienne la motivation pertinente des premiers juges, qui ne prêtait pas flanc à la critique et à laquelle elle renvoyait.
1.3. Le recourant estime que les différents éléments pris en compte dans le cadre de l'appréciation de la crédibilité de l'intimée l'ont été de manière arbitraire. Il soutient d'abord que c'est à tort que la cour cantonale a retenu que l'intimée avait fait appel à la police " à réitérées reprises " alors qu'elle ne l'aurait en réalité appelée qu'une fois. Il n'expose cependant pas en quoi le nombre de fois que l'intimée a appelé la police serait de nature à influer sur le sort du litige comme l'exige l'<ref-law>.
Le recourant conteste ensuite les motifs que la cour cantonale a retenus pour expliquer pourquoi l'intimée n'avait pas déposé plainte pénale dès les premières violences de son mari, soit son jeune âge, l'absence d'amis ou de famille en Suisse, le fait que, dans sa culture, l'épouse doit obéir à son mari et ses déclarations à G._, coordinatrice sociale et scolaire de la commune de V._. En effet, selon ces dernières, en 2010-2011 déjà, l'intimée ne voulait pas dénoncer son mari, elle avait beaucoup d'espoir qu'il puisse changer, elle se sentait honteuse et elle avait beaucoup de difficultés à s'exprimer sur ces faits. Le recourant soutient également que la cour cantonale a arbitrairement retenu que le but de la plainte pénale était de faire cesser ses allées et venues incessantes ainsi que les prises de contacts avec son épouse. Selon lui, la cour cantonale a omis de prendre en compte un certain nombre d'éléments qui montrent que la relation entre les époux n'était pas claire et que l'intimée a été confrontée à des questions et aux doutes du Service social qui l'ont poussée, pour clarifier la situation, à dénoncer pénalement son mari.
La cour cantonale n'a pas nié que la plainte pénale était survenue peu après un entretien de réseau du 31 juillet 2013 duquel il ressortait notamment que " Nous essayons de faire comprendre [à l'intimée] que la seule solution, afin de faire cesser tout ça c'est la plainte car la mesure d'éloignement n'est pas suffisante, Monsieur ne la respecte pas ". En effet, il ressort des faits de l'arrêt attaqué dont le recourant ne démontre pas l'arbitraire, que plusieurs intervenants, face à la situation désespérée de l'intimée et constatant que celle-ci n'arrivait pas à sortir de l'emprise de son époux, l'ont encouragée dans ses démarches judiciaires. Aucun élément ne permet cependant de prétendre qu'ils l'auraient incitée à formuler de fausses accusations. Le recourant consacre ensuite plusieurs pages de son mémoire de recours (p. 17 à 21) à énumérer un certain nombre de " circonstances précises dans lesquelles cet entretien de réseau du 31 juillet 2013 a eu lieu ", qui n'auraient pas été prises en compte par la cour cantonale. Il en va ainsi, par exemple, du fait que l'intimée aurait été informée, en mars 2012, qu'elle devait se séparer officiellement de son mari si elle voulait toucher l'aide sociale, qu'elle aurait refusé de changer les cylindres de sa porte, qu'elle a déposé une requête de mesures en protection de la personnalité le 31 juillet 2012, qu'elle aurait continué à entretenir des relations avec son mari durant la procédure, que le Service social aurait indiqué que la relation entre les époux n'était " pas claire ", qu'elle n'aurait jamais fait appel à la police pour appliquer les décisions de mesures protectrices lui attribuant le logement familial et les mesures d'interdiction d'approcher et qu'elle n'aurait jamais présenté de certificat médical attestant de ses blessures. Le recourant ne démontre pas en quoi ces éléments seraient pertinents, ni en quoi ils permettraient de démontrer que l'appréciation des faits ayant conduit la cour cantonale à retenir que l'intimée avait déposé plainte pénale dans le but de faire cesser les allées et venues du recourant et non sur pression du " réseau " serait arbitraire. Le grief du recourant doit être rejeté dans la mesure où il est recevable.
1.4. Le recourant soutient que la cour cantonale est tombée dans l'arbitraire en jugeant que les déclarations de l'intimée étaient plus crédibles que les siennes.
1.4.1. La cour cantonale a jugé que les déclarations de l'intimée concernant le noyau des faits étaient cohérentes et constantes dans la durée. L'intimée avait en outre fait une description détaillée du déroulement des événements et des actes commis par le recourant, dans la mesure des souvenirs qu'elle avait de faits qui, pour certains, dataient de plusieurs années déjà. Elle a également donné de nombreux détails périphériques, lesquels constituaient une richesse contextuelle qui rendait ses déclarations crédibles et laissait penser que les événements relatés avaient été vécus. Sa description de son ressenti était empreint de sincérité, ce qui rendait d'autant plus crédibles ses déclarations. Par ailleurs, durant toute la procédure, elle avait toujours dit qu'elle voulait " avoir la paix " et n'avait jamais été guidée par un esprit de vengeance. Enfin, elle avait toujours été mesurée dans ses déclarations, en allant jusqu'à raconter des événements qui auraient pu la décrédibiliser tels que le fait qu'elle avait entretenu avec le recourant, à son domicile en août 2012, une relation sexuelle consentie avant que celui-ci ne la viole et ne l'agresse sexuellement. Lors de ses auditions, il lui était même arrivé de mentionner des choses positives concernant son époux.
1.4.2. Le recourant développe une argumentation purement appellatoire et, partant, irrecevable, par laquelle il oppose sa propre appréciation de la crédibilité des déclarations de l'intimée, sans démontrer en quoi celle de l'autorité précédente serait arbitraire. Le recourant se contente ainsi par exemple de soutenir que les déclarations relatées par G._ des violences subies par l'intimée - soit des coups, des coups sur le ventre alors qu'elle était enceinte et de coups de pieds - pourraient être " rattachées à l'épisode de la gifle reconnue par [le recourant], qui est survenue à la naissance de B._ " ou d'affirmer simplement, en relation avec le rapport du centre LAVI que " certains passages sont carrément faux et mensongers ". Le recourant ne démontre ainsi nullement en quoi il était arbitraire de retenir la version donnée par l'intimée, corroborée par des déclarations de tiers et des rapports médicaux.
1.5. Le recourant souligne encore que l'autorisation de séjour de l'intimée avait pris fin en février 2013 et que la mandataire de celle-ci aurait demandé que l'intimée soit reconnue victime de violences conjugales, ce qui constitue un motif pour demeurer en Suisse, au sens des <ref-law>, 50 al. 1 let. b et al. 2 LEtr et 77 al. 2 OASA. Son grief est irrecevable dès lors que cet élément de fait ne ressort pas de l'arrêt attaqué sans que le recourant n'allègue l'arbitraire de son omission. En tout état de cause, le fait de demander à être reconnue comme victime de violences conjugales au sens des dispositions légales précitées n'affaiblit en rien la crédibilité des déclarations de l'intimée.
1.6. Le recourant soutient enfin que les déclarations de l'intimée ne sont pas crédibles parce qu'elles se trouvent en contradiction totale avec son attitude. Il souligne que le dépôt de la plainte pénale a été faite sur pression du " réseau " alors que l'intimée entretenait toujours des relations avec le recourant tout en disant en être victime. Elle a également continué à entretenir des relations avec le recourant après le dépôt de la plainte pénale, partant notamment toutes les années en vacances avec lui.
La cour cantonale a considéré de manière convaincante que, même si le comportement de la victime, qui a continué à accepter parfois des relations sexuelles avec son mari et a donné son accord, à plusieurs reprises, pour qu'il vienne chez elle et leurs enfants, malgré les procédures en cours, pouvait paraître contradictoire, une telle attitude avait déjà été observée dans d'autres causes similaires, lorsque l'un des partenaires avait été durablement victime de l'autre. Dans son rapport du 6 décembre 2012 à l'attention du Service de l'Enfance et de la Jeunesse, la psychologue de l'intimée a affirmé que celle-ci était incapable de se protéger et d'éviter les coups et les menaces de son mari et qu'il s'agissait d' "une incapacité psychologique qui bloqu[ait] [l'intimée] dans une position de victime, ce qui autoris[ait] l'agresseur à toute sorte de violence " (dossier cantonal, p. 4017). Dans son rapport du 18 mai 2015 à l'attention du ministère public, la psychologue a expliqué que c'était pour éloigner l'intimée de son mari qu'elle avait organisé le placement de celle-ci au Centre F._ en 2012 (dossier cantonal, p. 4016). Enfin, dans son rapport du 11 mai 2015, la Dresse H._ a confirmé les raisons qui ont poussé l'intimée à opter pour une attitude dichotomique. Elle a également confirmé l'emprise que le recourant avait sur celle-ci (dossier cantonal, p. 4008).
Le fait que l'intimée aurait continué à passer des vacances avec le recourant après le dépôt de la plainte pénale ne ressort pas de l'arrêt attaqué, sans que le recourant n'ait démontré l'arbitraire de son omission. En tout état de cause, cet élément n'est pas en soi déterminant.
En définitive, le grief de violation de la présomption d'innocence et d'arbitraire dans la constatation des faits et dans l'appréciation des preuves doit être rejeté, dans la mesure où il est recevable.
2.
Le recourant invoque une appréciation arbitraire des preuves et une constatation manifestement inexacte des faits conduisant à une violation de l'<ref-law>.
2.1. Aux termes de l'<ref-law>, celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Selon la jurisprudence, est incapable de résistance la personne qui n'est pas apte à s'opposer à des contacts sexuels non désirés. Cette disposition protège les personnes qui ne sont pas en mesure de former, exprimer ou exercer efficacement une volonté de s'opposer à des atteintes sexuelles. L'incapacité de résistance peut être durable ou momentanée, chronique ou due aux circonstances. Elle peut être la conséquence d'un état mental gravement anormal, d'une sévère intoxication due à l'alcool ou à la drogue, ou encore d'entraves matérielles. Il faut cependant que la victime soit totalement incapable de se défendre. Si l'inaptitude n'est que partielle - par exemple en raison d'un état d'ivresse - la victime n'est pas incapable de résistance (<ref-ruling>, consid. 7.2 p. 56 et les références citées; voir également <ref-ruling> consid. 3a p. 232; arrêt 6B_60/2015 du 25 janvier 2016 consid. 1.1.1). Une personne endormie est sans résistance au sens de la norme pénale (arrêt 6B_685/2010 du 4 avril 2011 consid. 2.3; cf. BERNARD CORBOZ, Les infractions en droit suisse, vol. I, 3e éd., 2010, n° 5 ad <ref-law>).
Sur le plan subjectif, l'<ref-law> définit une infraction intentionnelle. La formule "sachant que" signifie que l'auteur a connaissance de l'incapacité de discernement ou de résistance de la victime. Il appartient par conséquent au juge d'examiner avec soin si l'auteur avait vraiment conscience de l'état d'incapacité de la victime. Le dol éventuel suffit. Agit donc intentionnellement celui qui s'accommode de l'éventualité que la victime ne puisse pas être, en raison de son état physique ou psychique, en situation de s'opposer à une sollicitation d'ordre sexuel, mais lui fait subir malgré tout un acte d'ordre sexuel (arrêt 6S.359/2002 du 7 août 2003 consid. 5.2 et les références). Il n'y a pas d'infraction si l'auteur est convaincu, à tort, que la personne est capable de discernement ou de résistance au moment de l'acte (arrêt 6B_60/2015 du 25 janvier 2016 consid. 1.2.1).
2.2. La cour cantonale a retenu qu'entre février 2009 et le 8 mars 2012, à des dates indéterminées, le recourant avait imposé des relations sexuelles à l'intimée en profitant de son sommeil, sachant qu'elle n'était pas consentante. En outre, à une date indéterminée en août 2012, il s'était introduit dans le domicile de l'intimée, s'était installé dans son lit, et avait eu un rapport sexuel consenti quand elle s'était réveillée.
2.3. Le recourant soutient que la cour cantonale est tombée dans l'arbitraire en retenant, sur la base des déclarations de l'intimée, que celle-ci était incapable de discernement ou de résistance. Il reproche également à la cour cantonale de ne pas avoir instruit la question de savoir si celui-ci pouvait savoir que l'intimée n'était pas consentante. Il soutient que son épouse n'a pas manifesté son désaccord aux relations sexuelles, de sorte qu'il ne pouvait pas savoir. Il estime enfin qu'il y a lieu de faire une différence entre des relations sexuelles qui se passent au sein d'un couple marié ou de partenaires habituels de celles qui se passent entre des personnes n'ayant aucune relation. Dans le premier cas de figure, soit dans le cas d'un couple marié ou ayant une relation stable et durable, il ne serait pas concevable qu'un homme soit condamné du chef de l'<ref-law> du seul fait qu'il a commencé une relation sexuelle avec son épouse alors que celle-ci dormait. Ces arguments n'emportent pas conviction. En effet, le recourant perd de vue que, dans le cas d'espèce, à une reprise, en août 2012, il s'est introduit vers 1h du matin au domicile de l'épouse, dont il était séparé et malgré le fait que celle-ci avait déposé une requête de mesures provisionnelles d'éloignement contre son époux. C'est dans ces conditions que le recourant a commencé une relation sexuelle alors qu'il avait constaté que l'intimée dormait seule et qu'elle était dès lors incapable de discernement ou de résistance. La cour cantonale n'a pas violé le droit fédéral en retenant que, lorsque le recourant avait commencé l'acte sexuel alors qu'elle dormait, le fait qu'elle s'était réveillée et ne s'était pas opposée à l'acte sexuel ne signifiait pas qu'elle était consentante au moment où le recourant avait commencé l'acte. Par ailleurs, contrairement à ce que prétend le recourant, le fait que l'intimée a dit que " beaucoup de fois ", il commençait une relation sexuelle pendant qu'elle dormait, qu'elle se rendait compte, que " ça [la] réveillait " et qu'elle " faisai[t] comme si [elle] dormai[t] encore " ne signifie pas qu'elle n'était pas incapable de discernement, de manière passagère, lors du début des actes sexuels. Par ailleurs, il ressort du dossier qu'à plusieurs reprises l'intimée était en pleurs après avoir été réveillée par une relation sexuelle imposée par le recourant.
Au vu de ce qui précède, la cour cantonale n'est pas tombée dans l'arbitraire et n'a pas violé le droit fédéral en considérant que l'intimée était incapable de résister au moment des faits et que le recourant savait qu'elle n'était pas consentante. Le grief du recourant est rejeté, dans la mesure où il est recevable.
3.
Le recourant invoque l'arbitraire dans la constatation des faits et l'appréciation des preuves conduisant à une violation de l'<ref-law>.
3.1. Aux termes de l'<ref-law>, celui qui, intentionnellement, aura fait subir à une personne une autre atteinte à l'intégrité corporelle ou à la santé sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. L'<ref-law> prévoit que la peine sera une peine privative de liberté de trois ans au plus ou une peine pécuniaire et la poursuite aura lieu d'office, si l'auteur s'en est pris à une personne hors d'état de se défendre ou à une personne, notamment à un enfant, dont il avait la garde ou sur laquelle il avait le devoir de veiller.
Selon la jurisprudence, l'<ref-law> protège non seulement l'intégrité corporelle et la santé physique, mais aussi la santé psychique (<ref-ruling> consid. 1.4 p. 192). Pour qu'il y ait lésions corporelles, il n'est donc pas nécessaire que la victime ait subi une atteinte à son intégrité physique; une atteinte psychique peut suffire à la réalisation de l'infraction. Pour justifier la qualification de lésions corporelles, l'atteinte doit toutefois revêtir une certaine importance. Afin de déterminer ce qu'il en est, il y a lieu de tenir compte, d'une part, du genre et de l'intensité de l'atteinte et, d'autre part, de son impact sur le psychisme de la victime. Une atteinte de nature et d'intensité bénignes et qui n'engendre qu'un trouble passager et léger du sentiment de bien-être ne suffit pas. En revanche, une atteinte objectivement propre à générer une souffrance psychique et dont les effets sont d'une certaine durée et d'une certaine importance peut être constitutive de lésions corporelles. S'agissant en particulier des effets de l'atteinte, ils ne doivent pas être évalués uniquement en fonction de la sensibilité personnelle de la victime; il faut bien plutôt se fonder sur les effets que l'atteinte peut avoir sur une personne de sensibilité moyenne placée dans la même situation. Les circonstances concrètes doivent néanmoins être prises en considération; l'impact de l'atteinte ne sera pas nécessairement le même suivant l'âge de la victime, son état de santé, le cadre social dans lequel elle vit ou travaille, etc. (<ref-ruling> consid. 1.4 p. 192).
3.2. Selon la cour cantonale, après être allé chercher sa fille B._ a au domicile de l'intimée, lors du trajet, le recourant s'est arrêté au bord d'une forêt, a inhalé du spray anti-moustiques et s'est couché au bord de la route. B._ croyait que son père était mort et a été marquée par cet événement. Elle a changé de comportement à l'école et s'est renfermée. Le comportement du recourant était de nature à traumatiser une fille âgée de cinq ans seulement et à causer des lésions psychiques constatées par la mère et la police.
3.3. C'est en vain que le recourant soutient que le rapport des médecins, qui l'ont reçu en urgence, a conclu qu'un réel malaise ne pouvait être exclu. En effet, comme le relève la cour cantonale, il importe peu de savoir si le recourant a simulé une tentative de suicide ou a eu un réel malaise, après avoir ingurgité de l'insecticide avec abus d'alcool, les deux comportements étant de nature à traumatiser fortement la jeune fille âgée de cinq ans seulement et lui causer des lésions corporelles psychiques. Le recourant se plaint du fait que la cour cantonale s'est fondée sur les seules déclarations de l'intimée et soutient qu'un rapport de la pédiatre de l'enfant aurait permis d'évaluer la crédibilité des déclarations de l'intimée et les conséquences réelles sur l'enfant. Il ressort du rapport de police que la petite fille a été retrouvée en pleurs à côté de son père, semi-conscient, couché au bord de la route (dossier cantonal, pièce 2100). Force est de constater que le fait pour une petite fille de cinq ans d'être seule avec son père, de voir celui-ci inhaler du spray anti-moustiques, puis de le voir couché sur la route, en le croyant mort, constitue une atteinte objectivement propre à générer une souffrance psychique au sens de la jurisprudence précitée. Dans ces circonstances, la cour cantonale pouvait, sans arbitraire et sans violer l'<ref-law>, refuser de demander un rapport au pédiatre de l'enfant et retenir que le recourant avait commis des lésions corporelles. Le grief du recourant est rejeté.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, supportera les frais de justice (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, qui n'apparaît pas favorable. Il n'y a pas lieu d'allouer des dépens au ministère public (<ref-law>), ni à l'intimée qui n'a pas été invitée à procéder (<ref-law>). Enfin, la cause étant tranchée, la demande d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 17 mai 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann