Faits :
A.
Par jugement du 5 octobre 2018, le Tribunal pénal de l'arrondissement de la Sarine a reconnu A._ coupable de lésions corporelles simples (sur un enfant), d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de tentative de contrainte et l'a condamné à une peine privative de liberté ferme de quatre ans et demi. Il a également prononcé une interdiction de contact et une interdiction géographique entre A._ et B._ pour une durée de cinq ans. A._ a été condamné à verser à B._ le montant de 12'000 fr. avec intérêt à 5% l'an dès le 15 août 2015 à titre de réparation du tort moral subi.
B.
Par arrêt du 23 septembre 2019, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel interjeté par A._ et a confirmé le jugement du 5 octobre 2018.
En résumé, la cour cantonale a retenu les faits suivants:
B.a. A._ est né en 1971 au Kosovo. Il a eu une relation durant plusieurs années avec C._ de laquelle sont issus deux enfants, D._, né en 1996, et B._, née en 1998. A._ est arrivé seul en Suisse en 1993 et retournait au Kosovo un ou deux mois par année. En 2001, C._ s'est suicidée. Après le suicide de leur mère, D._ et B._ sont restés vivre au Kosovo chez leurs grands-parents et leur oncle. En 2003, A._ s'est marié avec E._ et, en 2009, les enfants de A._ sont venus vivre avec eux en Suisse.
B.b. A plusieurs reprises entre 2009 et le 3 juin 2015, A._ a fait preuve de violences psychologiques envers sa fille B._. Il l'a menacée, notamment de la renvoyer au Kosovo ou de la tuer. Il examinait le contenu de son téléphone portable et la surveillait. Il était violent verbalement et l'insultait. B._ avait peur de lui et avait de la peine à s'endormir. Le comportement de son père a amené B._ à se mutiler. La jeune fille a tenté à quatre reprises de mettre fin à ses jours. B._ a dû être placée en foyer et a dû suivre divers traitements médicaux et psychiques.
B.c. A plusieurs reprises et à des dates indéterminées entre 2010 ou 2011 et août 2015, alors que B._ était âgée de 12 à 17 ans, A._ lui a fait subir des attouchements sexuels.
A F._, au domicile familial, A._ a touché sa fille, après l'avoir déshabillée, sur les seins, sur les fesses, et l'a embrassée dans le cou.
A G._, au domicile familial, dès avril 2013, A._ a caressé sa fille sur le corps, au niveau des seins, des fesses et du sexe, par-dessus et par-dessous les habits. Il lui a également embrassé le visage, le cou et parfois la bouche. A plusieurs reprises, il a placé son sexe contre le sien, sans la pénétrer tout en lui touchant les seins et le vagin.
Ces faits se sont passés dans le salon du domicile familial et dans la chambre de B._ lorsque les deux étaient seuls à la maison.
Au Kosovo, dans la maison familiale, durant les vacances d'été et de Noël, entre 2010 et 2011 et le 15 août 2015, B._ devait dormir dans la même chambre que son père, même si elle ne le voulait pas. A plusieurs reprises, A._ a touché la poitrine et le sexe de B._, par-dessus et par-dessous les habits. Au moment du coucher, il venait vers elle pour l'embrasser dans le cou et lui toucher les fesses, les seins et le sexe, par-dessous les habits. A plusieurs reprises, il a déshabillé sa fille, s'est mis contre elle et a placé son sexe contre le sien "comme s'il faisait l'amour", en faisant des allers-retours, sans jamais la pénétrer. Parfois, ils étaient les deux entièrement nus. D'autres fois, A._ déshabillait le bas de sa fille et lui-même enlevait son boxer. Quand A._ appuyait sur elle de tout son poids, elle avait mal. Si B._ essayait de crier, son père lui disait de se taire.
B._ n'a jamais été consentante. Lorsque les abus avaient lieu, elle était "bloquée". Elle essayait de repousser son père, sans y parvenir parce qu'elle n'avait pas suffisamment de force. Elle n'osait pas crier, par peur et par honte. Durant toutes ces années, elle n'a pas parlé des abus, par peur de perdre sa famille et en raison des pressions psychologiques quotidiennes exercées sur elle par son père qui lui imposait un cadre très strict, la dénigrait - allant jusqu'à lui dire de se suicider comme sa mère -, l'insultait et la menaçait. A._ a profité de la dépendance familiale, sociale et émotionnelle de sa fille à son égard pour faire subir à sa fille ces actes d'ordre sexuel. B._ a demandé plusieurs fois à son père de ne pas recommencer, ce qu'il lui promettait à chaque fois. Elle a finalement décidé de parler des abus sexuels quand elle a compris, durant les vacances d'été 2015, que son père n'avait pas changé.
B.d. Alors qu'elle était placée au foyer H._, puis entre le 21 août et le 19 septembre 2015, après que B._ eut mis en cause son père pour abus sexuels, A._ a exercé des pressions incessantes sur sa fille, dans un premier temps pour qu'elle rentre à la maison, puis pour qu'elle revienne sur ses déclarations. Il lui disait notamment que si elle ne rentrait pas à la maison, elle ne serait plus sa fille, qu'elle serait morte pour lui. Il se postait devant le foyer ou devant le lieu de travail de sa fille afin d'entrer en contact avec elle et l'interpellait sur le chemin de l'école. Il a également demandé à son fils et à son frère d'intervenir pour que B._ se rétracte. La jeune fille n'a pas cédé à ces pressions.
B.e. B._ a fait l'objet d'une expertise de crédibilité. Selon le rapport du 6 mars 2017, l'analyse du témoignage de la jeune fille permet de retenir l'hypothèse du vécu réel de ses dires. L'experte a conclu que les déclarations de B._ pouvaient être recommandées comme appui dans le cadre d'une procédure pénale.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 23 septembre 2019. Il conclut, avec suite de frais et dépens, à la modification de l'arrêt attaqué en ce sens qu'il est intégralement acquitté et qu'aucune peine n'est prononcée à son encontre. Il conclut également à ce que les conclusions civiles de B._ soient rejetées. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recourant invoque l'arbitraire dans l'appréciation des preuves et l'établissement des faits. Il se plaint en outre de la violation du principe "in dubio pro reo". Dans ce cadre, il reproche essentiellement à la cour cantonale d'avoir privilégié la version de B._ au détriment de la sienne.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 2.4 p. 368 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348 s.; <ref-ruling> consid. 2a p. 40 ss). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> précité consid. 2.2.3.3 p. 351 s.), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 156 et les références citées).
1.2. Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_1065/2019 du 23 octobre 2019 consid. 1.3; 6B_346/2019 du 29 mai 2019 consid. 2.2; 6B_1283/2018 du 14 février 2019 consid. 1.2 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de "déclarations contre déclarations", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe "in dubio pro reo", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêts 6B_1065/2019 précité consid. 1.3 et 6B_1283/2018 précité consid. 1.3).
1.3. En l'espèce, la cour cantonale a considéré que les premiers juges avaient retenu de manière convaincante la version des faits de l'intimée plutôt que celle du recourant à laquelle ils avaient dénié toute crédibilité. Elle s'est référée à la motivation du jugement de première instance, qu'elle a jugée pertinente, minutieuse et complète. Elle a totalement fait siennes les considérations de l'autorité précédente en application de l'<ref-law> (cf. <ref-ruling> consid. 1.2.3 p. 246 s.).
Il ressort du jugement de première instance qu'indépendamment du fait que l'expertise de crédibilité a conclu que les déclarations de B._ étaient crédibles, les premiers juges ont considéré que lesdites déclarations de l'intimée avaient été constantes et cohérentes tant lors de ses auditions devant les autorités qu'au travers des confidences qu'elle avait faites à sa meilleure amie, notamment par SMS et Whatsapp (cf. pièces 3'209 ss et 2'209 ss), à un de ses amis (cf. pièces 2'078 ss), à sa belle-mère (pièce 2'035), à la psychologue scolaire (cf. pièces 2'043 ss) ainsi qu'à une éducatrice du foyer dans lequel elle était placée (cf. pièces 2'060 ss). En outre, ils ont souligné le fait que le mal-être de l'intimée ne ressortait pas uniquement de ses propres déclarations mais qu'il avait été constaté par des tiers, notamment par ses professeurs au Cycle d'orientation, par des médecins ainsi que par d'autres professionnels (cf. jugement de première instance, p. 12). L'autorité de première instance a jugé que, lors de ses différentes auditions, la jeune fille avait fait preuve de franchise et de transparence, sans chercher à accabler le recourant. En outre, il ressort des messages que la jeune fille a adressés à sa meilleure amie, en 2014 déjà, que l'intéressée s'était plainte de son père à sa meilleure amie et lui avait parlé des abus qu'elle avait subis (cf. pièces 2'209 ss; 2'213 ss; 3'030 ss). Lesdits messages avaient été effacés, ce qui tend à démontrer qu'elle n'avait ni calculé, ni prévu l'ouverture d'une procédure pénale contre son père (cf. jugement de première instance, p. 13). Par ailleurs, les premiers juges ont retenu que l'intimée ressentait de la culpabilité envers son père, était prise dans un vif conflit de loyauté et qu'il ne faisait aucun doute qu'elle l'aimait et qu'elle souffrait de ne plus avoir de contact avec lui (cf. jugement de première instance, p. 13-14). Dans ce contexte, contrairement à ce que soutenait le recourant, la jeune fille n'avait pas agi pour nuire à son père, notamment par vengeance ou pour toute autre raison. A cet égard, il a été relevé que c'était la psychologue scolaire qui avait alerté la Justice de paix contre l'avis de l'intimée laquelle ne souhaitait pas être placée en foyer; celle-ci n'avait d'ailleurs pas elle-même engagé la procédure pénale contre son père. Par ailleurs, l'intimée n'avait aucun intérêt à porter des accusations mensongères contre le recourant, et à les maintenir malgré les pressions exercées par sa famille, mais au contraire "tout à perdre", dans la mesure où elle se retrouvait désormais seule, ayant perdu tout contact avec sa famille, qui l'avait rejetée, notamment avec son frère dont elle était très proche (cf. jugement de première instance, p. 14-15). A l'inverse, les déclarations du recourant s'agissant des faits dénoncés étaient contradictoires, variaient sur des éléments cruciaux du dossier et n'étaient dès lors pas crédibles.
Sur la base de ces divers éléments, l'autorité précédente a retenu que le recourant avait bien commis les faits qui lui étaient reprochés par l'intimée.
1.4. Le recourant soutient qu'il aurait apporté des "preuves objectives sérieuses" qui permettraient de douter de la version des faits présentée par l'intimée, que la cour cantonale n'aurait pas pris en compte.
1.4.1. Il reproche d'abord à la cour cantonale de ne pas avoir retenu le fait que sa fille avait "un intérêt à mentir". Il soutient qu'il aurait caché à l'intimée le suicide de sa mère; celle-ci l'aurait appris de tiers, lesquels lui auraient indiqué - à tort - que le recourant était à l'origine de ce suicide. Selon le recourant, l'intimée avait donc des raisons de lui en vouloir et aurait ainsi "inventé toute cette histoire pour pouvoir punir son père et quitter le cercle familial" (recours, p. 3-4). Force est cependant de constater que ces éléments ne ressortent pas de l'arrêt attaqué, sans que le recourant ne démontre qu'ils auraient été arbitrairement omis par l'autorité précédente, de sorte qu'ils sont irrecevables (cf. art. 97 al. 1 et 105 al. 1 LTF). Au demeurant, à supposer même que l'intimée en voulait à son père, rien n'indique qu'elle l'aurait accusé à tort pour se venger ou pour tout autre raison (cf. supra consid. 1.3).
1.4.2. Le recourant reproche ensuite à l'autorité précédente d'avoir retenu que les abus s'étaient étendus sur une période assez longue, ce qui ne serait "manifestement impossible matériellement" dans la mesure où - contrairement aux dires de l'intimée - le recourant ne se serait pratiquement jamais retrouvé seul avec elle (recours, p. 4). Il se réfère aux déclarations de son ancienne épouse, E._, et de son fils, D._, selon lesquelles l'intimée aurait toujours été en compagnie de son frère. S'agissant en particulier du premier épisode, le recourant conteste les déclarations de l'intimée lors de son audition du 21 août 2015 selon lesquelles elle était seule à la maison avec son père, sa belle-mère étant en formation pendant deux jours et son frère dormant chez son cousin, I._. Contrairement à ce que soutient le recourant, le fait que E._, I._ et D._ auraient déclaré de façon concordante que D._ n'était jamais allé dormir chez son cousin pendant que E._ était en formation n'apparaît pas déterminant, dans la mesure où l'autorité précédente n'a pas retenu que l'intimée s'était retrouvée seule avec le recourant pour les motifs susmentionnés. Pour le surplus, il sied de relever qu'il ressort des déclarations du recourant figurant au dossier que celui-ci a admis s'être retrouvé seul avec l'intimée (cf. jugement de première instance, p. 17 et 19; pièces 3'018 et 3'046). Par ailleurs, selon les déclarations du fils du recourant, lorsque la famille était en vacances au Kosovo, l'intimée dormait dans la chambre du recourant (cf. jugement de première instance, p. 19; pièce 2'075). La cour cantonale pouvait dès lors, sans arbitraire, considérer que l'intimée s'était retrouvée seule avec le recourant. Le grief du recourant est rejeté dans la mesure où il est recevable.
1.4.3. Le recourant reproche encore à la cour cantonale d'avoir fait preuve d'arbitraire en confirmant l'appréciation des premiers juges selon laquelle il aurait reconnu les faits qui lui sont reprochés, le soir du 18 août 2015 lors d'une discussion de famille à ce sujet. Selon le recourant, il ressortirait des déclarations de son ancienne épouse et de son fils que, le soir en question, il se serait en réalité excusé "sans comprendre de quoi parlait réellement sa fille" et qu'il aurait immédiatement cessé de s'excuser dès qu'il a compris ce que signifiait le mot "toucher" (recours, p. 4-5). Les éléments avancés par le recourant n'ont pas été retenus dans l'arrêt attaqué, ni dans le jugement de première instance - auquel se réfère expressément l'arrêt attaqué -, sans que le recourant ne démontre l'arbitraire de cette omission. A cet égard, il convient de relever que les premiers juges ont retenu que le recourant avait non seulement fait des déclarations contradictoires au sujet de cette discussion familiale du 18 août 2015 au cours de laquelle l'intimée a dénoncé les attouchements sexuels, mais que ses déclarations étaient en contradiction avec celles de E._ et de D._ (cf. jugement de première instance, p. 16). A l'inverse, l'intimée avait déclaré de manière concordante lors de ses diverses auditions que son père avait admis les faits et s'était excusé le soir en question. Les propos de celle-ci avaient d'ailleurs été dans un premier temps confirmés par son frère et sa belle-mère, laquelle s'était uniquement rétractée par crainte des conséquences d'une condamnation pénale pour son mari (cf. jugement de première instance, p. 16 et 17). Il s'ensuit que les autorités cantonales n'ont pas fait preuve d'arbitraire en retenant la version de l'intimée selon laquelle le recourant avait reconnu les faits ce soir-là. Le grief du recourant doit être rejeté dans la mesure où il est recevable.
1.4.4. Enfin, c'est en vain que le recourant fait valoir qu'il a lui-même demandé qu'une expertise soit ordonnée attestant qu'il n'avait aucun penchant pédophile, ce qui démontrerait qu'il n'a rien à se reprocher, étant précisé qu'il ne fait pas mention, dans son recours, de l'expertise psychiatrique dont il a fait l'objet et qui a été rendue le 24 août 2017.
1.5. Au vu de ce qui précède, la cour cantonale n'a pas violé l'interdiction de l'arbitraire, ni le principe "in dubio pro reo", en retenant que le recourant avait commis les faits qui lui étaient reprochés.
1.6. Pour le surplus, le recourant ne discute pas la qualification juridique des faits.
2.
Au vu de ce qui précède, il n'y a pas lieu d'entrer en matière sur les conclusions du recourant tendant au rejet des conclusions civiles de l'intimée et à ce qu'aucune peine ne soit prononcée à son encontre, dès lors qu'elles se fondent uniquement sur un éventuel acquittement. Le recourant ne formule au demeurant aucune autre critique à l'encontre de la peine qui lui a été infligée.
3.
Le recours doit ainsi être rejeté dans la mesure où il est recevable. Comme il était dépourvu de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>). L'intimée, qui n'a pas été invitée à se déterminer, ne saurait prétendre à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 21 janvier 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann