Faits :
A.
Par jugement du 5 octobre 2018, le Tribunal pénal de l'arrondissement de la Sarine a reconnu A._ coupable de lésions corporelles simples (sur un enfant), d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de tentative de contrainte et l'a condamné à une peine privative de liberté ferme de quatre ans et demi. Il a également prononcé une interdiction de contact et une interdiction géographique entre A._ et B._ pour une durée de cinq ans. A._ a été condamné à verser à B._ le montant de 12'000 fr. avec intérêt à 5% l'an dès le 15 août 2015 à titre de réparation du tort moral subi.
B.
Par arrêt du 23 septembre 2019, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel interjeté par A._ et a confirmé le jugement du 5 octobre 2018.
La cour cantonale avait alors retenu, en substance, qu'à plusieurs reprises entre 2009 et le 3 juin 2015, A._ avait fait preuve de violences psychologiques envers sa fille B._. En outre, à plusieurs reprises et à des dates indéterminées entre 2010 ou 2011 et août 2015, alors que B._ était âgée de 12 à 17 ans, il lui avait fait subir des attouchements sexuels. Ensuite, alors qu'elle était placée au foyer C._, puis entre le 21 août et le 19 septembre 2015, après que B._ eut mis en cause son père pour abus sexuels, A._ avait exercé des pressions incessantes sur sa fille, dans un premier temps pour qu'elle rentre à la maison, puis pour qu'elle revienne sur ses déclarations. Il lui disait notamment que si elle ne rentrait pas à la maison, elle ne serait plus sa fille, qu'elle serait morte pour lui. Il se postait devant le foyer ou devant le lieu de travail de sa fille afin d'entrer en contact avec elle et l'interpellait sur le chemin de l'école. Il avait également demandé à son fils et à son frère d'intervenir pour que B._ se rétracte. La jeune fille n'avait pas cédé à ces pressions.
C.
Par arrêt du 21 janvier 2020 (6B_1283/2019), la Cour de droit pénal du Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, le recours formé par A._ contre l'arrêt précité.
D.
En date du 31 mars 2020, A._ a demandé à la Cour d'appel pénal la révision de son arrêt du 23 septembre 2019.
A l'appui de sa demande, A._ a produit une lettre manuscrite que sa fille, B._, aurait remise à son frère, D._, aux termes de laquelle elle déclarait vouloir retirer la plainte pénale déposée contre son père qu'elle refusait de voir emprisonné, n'avoir subi aucune pression de la part de sa famille et être prête à en assumer toutes les conséquences.
E.
Par arrêt du 7 mai 2020, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté la demande de révision ainsi que les requêtes d'audition de témoins formulées par A._ et par B._.
F.
A._ forme un recours en matière pénale à l'encontre de l'arrêt précité. Il conclut, avec suite de frais et dépens, à l'admission du recours et à la réforme de l'arrêt attaqué en ce sens que sa demande de révision est admise et que la requête d'effet suspensif est admise. Il sollicite également l'octroi de l'assistance judiciaire.
Par courrier du 11 juin 2020, le Président de la Cour de droit pénal du Tribunal fédéral a indiqué à l'avocat de A._ que celui-ci était détenu en exécution d'un jugement en force, que sa demande de révision cantonale avait été rejetée au stade du rescindant et que seule cette question pouvait être l'objet du recours en matière pénale, de sorte qu'il était manifestement exclu d'anticiper l'issue de la phase du rescisoire et de libérer provisoirement le recourant.

Considérant en droit :
1.
Le recourant se plaint d'une violation de l'interdiction de l'arbitraire et d'une violation de l'<ref-law>.
1.1. Aux termes de l'<ref-law>, toute personne lésée par un jugement entré en force peut en demander la révision s'il existe des faits ou des moyens de preuve qui étaient inconnus de l'autorité inférieure et qui sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère ou plus sévère du condamné.
Les faits ou moyens de preuves invoqués doivent ainsi être nouveaux et sérieux. Les faits ou moyens de preuves sont inconnus lorsque le juge n'en a pas eu connaissance au moment où il s'est prononcé, c'est-à-dire lorsqu'ils ne lui ont pas été soumis sous quelque forme que ce soit (<ref-ruling> consid. 5.1.2 p. 66 s.). Ils sont sérieux lorsqu'ils sont propres à ébranler les constatations de fait sur lesquelles se fonde la condamnation et que l'état de fait ainsi modifié rend possible un jugement sensiblement plus favorable au condamné (<ref-ruling> consid. 1.1 p. 199; <ref-ruling> consid. 5.1.4 p. 68).
Savoir si l'autorité cantonale s'est fondée sur une juste conception de faits ou de moyens de preuve nouveaux et sérieux est une question de droit. En revanche, savoir si un fait ou un moyen de preuve était effectivement inconnu du juge est une question de fait qui peut être revue pour arbitraire dans l'établissement des faits et l'appréciation des preuves. Il en va de même de la question de savoir si un fait nouveau ou un moyen de preuve nouveau est propre à modifier l'état de fait retenu puisqu'elle relève de l'appréciation des preuves, étant rappelé qu'une vraisemblance suffit au stade du rescindant. Enfin, c'est de nouveau une question de droit de savoir si la modification de l'état de fait est juridiquement pertinente, c'est-à-dire de nature, en fonction des règles de droit de fond applicables, à entraîner une décision plus favorable au condamné en ce qui concerne la culpabilité, la peine ou les mesures (<ref-ruling> consid. 1 p. 73 et les arrêts cités; arrêt 6B_297/2020 du 10 juillet 2020 consid. 1.1.3).
1.2. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1 p. 155 s.).
1.3. Invoquant l'arbitraire, le recourant reproche à la cour cantonale de ne pas avoir mentionné dans son arrêt les faits qu'il avait apportés, à savoir que, le 24 mars 2020, B._ s'était rendue chez son frère pour voir la femme de celui-ci et pour le repas, que l'"ambiance y était détendue" et que les messages entre B._ et D._ ne démontraient pas qu'il y avait eu des menaces ou de la contrainte. Il se réfère notamment à une photo sur laquelle B._ et la femme de son frère apparaissent souriantes. Il reproche également à la cour cantonale d'avoir "donné plus de crédit à la plainte pénale de B._ qu'à celle déposée par le recourant contre elle pour dénonciation calomnieuse", alors que les deux procédures sont au stade de l'instruction (mémoire de recours, p. 5).
1.3.1. Contrairement à ce que soutient le recourant, la cour cantonale n'a pas omis de prendre en compte les éléments mis en exergue par le recourant dans sa détermination du 15 avril 2020. Elle a cependant considéré que les explications données par B._ dans sa détermination du 29 avril 2020 relatives aux circonstances dans lesquelles la lettre du 24 mars 2020 avait été écrite étaient convaincantes. En effet, celle-ci a décrit que son frère s'était montré agressif avec elle et l'avait menacée verbalement, qu'il lui avait demandé de ne pas en parler à son avocate, qu'il lui avait tendu un bloc et un stylo afin qu'elle rédige une lettre et lui avait dicté le contenu de la lettre qu'il avait prise des mains de sa soeur une fois terminée. En réalité, le recourant présente sa propre version des faits, sans démontrer que la cour cantonale aurait fait preuve d'arbitraire en retenant la version de B._, dont les explications étaient convaincantes et conformes à l'expertise de crédibilité et qui a d'ailleurs déposé plainte pénale contre son frère pour contrainte et menace pour l'avoir forcée à écrire le courrier litigieux et lui avoir dicté ce qu'elle devait écrire. Contrairement à ce que soutient le recourant, le fait que cette procédure pénale n'en soit qu'au stade de l'instruction n'y change rien.
1.3.2. Par ailleurs, en tant que le recourant soutient que le motif pour lequel B._ voulait se rendre chez un avocat pour écrire la lettre était pour "mieux emballer les mensonges qu'elle avait proférés" (mémoire de recours, p. 5), il allègue des faits qui ne ressortent pas de l'arrêt cantonal, sans démontrer l'arbitraire de leur omission, de sorte que ceux-ci sont irrecevables.
1.3.3. Enfin, en soutenant que les échanges de messages entre B._ et son frère ne démontrent pas qu'il y a eu des menaces ou de la contrainte, le recourant se contente en réalité d'opposer sa propre appréciation à celle de la cour cantonale, sans démontrer en quoi celle-ci serait insoutenable. En tout état, la cour cantonale pouvait sans arbitraire retenir que le recourant avait fourni des échanges de messages lacunaires entre B._ et son frère et que les échanges de messages plus complets remis par l'intéressée démontraient l'influence que D._ avait eu sur l'établissement du manuscrit du 24 mars 2020 ainsi que le fait que B._ avait été manipulée. Le grief du recourant est rejeté dans la mesure où il est recevable.
1.4. Le recourant reproche ensuite à la cour cantonale d'avoir jugé que la lettre du 24 mars 2020 à l'origine de la demande de révision du recourant ne constituait pas un fait sérieux propre à emporter la révision au sens de l'<ref-law>. Il soutient à cet égard que la seule plainte pénale déposée par B._ ne saurait suffire à discréditer totalement la lettre manuscrite qu'elle a écrite, dès lors que les faits sont contestés et que la procédure pénale contre son frère est incertaine.
1.4.1. En l'espèce, la cour cantonale a considéré sans arbitraire que les explications de B._ selon lesquelles elle avait été menacée verbalement et contrainte par son frère à écrire la lettre retirant sa plainte pénale étaient crédibles. Contrairement à ce que soutient le recourant, la cour cantonale ne s'est pas uniquement fondée sur le fait que B._ a déposé une plainte pénale contre son frère pour contrainte et menace mais également sur le fait que les explications de l'intéressée étaient conformes à l'expertise de crédibilité qui avait été commise lors de l'instruction et sur laquelle s'étaient entre autres basées les autorités de jugement. A cet égard, la cour cantonale a relevé à juste titre que le déroulement des faits survenus entre le 23 et le 25 mars 2020 tels que décrits par B._ s'inscrivait parfaitement dans le contexte familial difficile qui avait prévalu lors de l'instruction et au cours des deux instances de jugement. La cour cantonale a également relevé que les échanges de messages entre D._ et B._ démontraient que la lettre avait été écrite sous l'influence de celui-ci.
1.4.2. Il s'ensuit que, dans la mesure où B._ est revenue sur les déclarations qu'elle a faites dans la lettre du 24 mars 2020 et compte tenu des circonstances dans lesquelles elle a décrit avoir rédigé celle-ci, la cour cantonale pouvait sans arbitraire retenir que la lettre du 24 mars 2020 ne constituait pas un élément propre à ébranler, même sous l'angle de la vraisemblance, les constatations de fait sur lesquelles se fonde la condamnation du recourant.
2.
Le recourant invoque une violation de l'<ref-law>.
2.1. Selon la jurisprudence, lorsque l'assistance judiciaire est requise au cours d'une procédure de révision, l'autorité peut également s'interroger sur les chances de succès d'une telle démarche (arrêts 6B_882/2017 du 23 mars 2018 consid. 2; 6B_616/2016 du 27 février 2017 consid. 4.3 non publié aux <ref-ruling>; 1B_74/2013 du 9 avril 2013 consid. 2.1; sur la notion de chances de succès, cf. <ref-ruling> consid. 9.1 p. 537).
2.2. Le recourant reproche à la cour cantonale d'avoir considéré que la demande apparaissait dénuée de toutes chances de succès. Il soulève notamment à cet égard le fait qu'il a reçu la lettre litigieuse directement de son fils, qu'il n'était pas là au moment de la rédaction de cette lettre et qu'il ne pouvait présumer des circonstances dans lesquelles celle-ci avait été rédigée, même s'il est persuadé qu'aucune contrainte n'a été exercée. Cette argumentation ne peut être suivie. En effet, dès lors que la demande de révision se fondait uniquement sur une lettre que l'intéressée a immédiatement déclaré avoir été contrainte d'écrire par son frère et pour laquelle elle a déposé plainte pénale pour menace et contrainte contre lui, la cour cantonale pouvait, à bon droit, considérer que ladite demande était dénuée de chances de succès et lui refuser l'assistance judiciaire.
3.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité.
Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal, ainsi que pour information à la curatrice de B._.
Lausanne, le 15 octobre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann