Faits : A. Par jugement du 5 octobre 2018, le Tribunal pénal de l'arrondissement de la Sarine a reconnu A._ coupable de lésions corporelles simples (sur un enfant), d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de tentative de contrainte et l'a condamné à une peine privative de liberté ferme de quatre ans et demi. Il a également prononcé une interdiction de contact et une interdiction géographique entre A._ et B._ pour une durée de cinq ans. A._ a été condamné à verser à B._ le montant de 12'000 fr. avec intérêt à 5% l'an dès le 15 août 2015 à titre de réparation du tort moral subi. B. Par arrêt du 23 septembre 2019, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel interjeté par A._ et a confirmé le jugement du 5 octobre 2018. En résumé, la cour cantonale a retenu les faits suivants: B.a. A._ est né en 1971 au Kosovo. Il a eu une relation durant plusieurs années avec C._ de laquelle sont issus deux enfants, D._, né en 1996, et B._, née en 1998. A._ est arrivé seul en Suisse en 1993 et retournait au Kosovo un ou deux mois par année. En 2001, C._ s'est suicidée. Après le suicide de leur mère, D._ et B._ sont restés vivre au Kosovo chez leurs grands-parents et leur oncle. En 2003, A._ s'est marié avec E._ et, en 2009, les enfants de A._ sont venus vivre avec eux en Suisse. B.b. A plusieurs reprises entre 2009 et le 3 juin 2015, A._ a fait preuve de violences psychologiques envers sa fille B._. Il l'a menacée, notamment de la renvoyer au Kosovo ou de la tuer. Il examinait le contenu de son téléphone portable et la surveillait. Il était violent verbalement et l'insultait. B._ avait peur de lui et avait de la peine à s'endormir. Le comportement de son père a amené B._ à se mutiler. La jeune fille a tenté à quatre reprises de mettre fin à ses jours. B._ a dû être placée en foyer et a dû suivre divers traitements médicaux et psychiques. B.c. A plusieurs reprises et à des dates indéterminées entre 2010 ou 2011 et août 2015, alors que B._ était âgée de 12 à 17 ans, A._ lui a fait subir des attouchements sexuels. A F._, au domicile familial, A._ a touché sa fille, après l'avoir déshabillée, sur les seins, sur les fesses, et l'a embrassée dans le cou. A G._, au domicile familial, dès avril 2013, A._ a caressé sa fille sur le corps, au niveau des seins, des fesses et du sexe, par-dessus et par-dessous les habits. Il lui a également embrassé le visage, le cou et parfois la bouche. A plusieurs reprises, il a placé son sexe contre le sien, sans la pénétrer tout en lui touchant les seins et le vagin. Ces faits se sont passés dans le salon du domicile familial et dans la chambre de B._ lorsque les deux étaient seuls à la maison. Au Kosovo, dans la maison familiale, durant les vacances d'été et de Noël, entre 2010 et 2011 et le 15 août 2015, B._ devait dormir dans la même chambre que son père, même si elle ne le voulait pas. A plusieurs reprises, A._ a touché la poitrine et le sexe de B._, par-dessus et par-dessous les habits. Au moment du coucher, il venait vers elle pour l'embrasser dans le cou et lui toucher les fesses, les seins et le sexe, par-dessous les habits. A plusieurs reprises, il a déshabillé sa fille, s'est mis contre elle et a placé son sexe contre le sien "comme s'il faisait l'amour", en faisant des allers-retours, sans jamais la pénétrer. Parfois, ils étaient les deux entièrement nus. D'autres fois, A._ déshabillait le bas de sa fille et lui-même enlevait son boxer. Quand A._ appuyait sur elle de tout son poids, elle avait mal. Si B._ essayait de crier, son père lui disait de se taire. B._ n'a jamais été consentante. Lorsque les abus avaient lieu, elle était "bloquée". Elle essayait de repousser son père, sans y parvenir parce qu'elle n'avait pas suffisamment de force. Elle n'osait pas crier, par peur et par honte. Durant toutes ces années, elle n'a pas parlé des abus, par peur de perdre sa famille et en raison des pressions psychologiques quotidiennes exercées sur elle par son père qui lui imposait un cadre très strict, la dénigrait - allant jusqu'à lui dire de se suicider comme sa mère -, l'insultait et la menaçait. A._ a profité de la dépendance familiale, sociale et émotionnelle de sa fille à son égard pour faire subir à sa fille ces actes d'ordre sexuel. B._ a demandé plusieurs fois à son père de ne pas recommencer, ce qu'il lui promettait à chaque fois. Elle a finalement décidé de parler des abus sexuels quand elle a compris, durant les vacances d'été 2015, que son père n'avait pas changé. B.d. Alors qu'elle était placée au foyer H._, puis entre le 21 août et le 19 septembre 2015, après que B._ eut mis en cause son père pour abus sexuels, A._ a exercé des pressions incessantes sur sa fille, dans un premier temps pour qu'elle rentre à la maison, puis pour qu'elle revienne sur ses déclarations. Il lui disait notamment que si elle ne rentrait pas à la maison, elle ne serait plus sa fille, qu'elle serait morte pour lui. Il se postait devant le foyer ou devant le lieu de travail de sa fille afin d'entrer en contact avec elle et l'interpellait sur le chemin de l'école. Il a également demandé à son fils et à son frère d'intervenir pour que B._ se rétracte. La jeune fille n'a pas cédé à ces pressions. B.e. B._ a fait l'objet d'une expertise de crédibilité. Selon le rapport du 6 mars 2017, l'analyse du témoignage de la jeune fille permet de retenir l'hypothèse du vécu réel de ses dires. L'experte a conclu que les déclarations de B._ pouvaient être recommandées comme appui dans le cadre d'une procédure pénale. C. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 23 septembre 2019. Il conclut, avec suite de frais et dépens, à la modification de l'arrêt attaqué en ce sens qu'il est intégralement acquitté et qu'aucune peine n'est prononcée à son encontre. Il conclut également à ce que les conclusions civiles de B._ soient rejetées. Il sollicite par ailleurs l'assistance judiciaire.