Faits : A. Par jugement du 5 octobre 2018, le Tribunal pénal de l'arrondissement de la Sarine a reconnu A._ coupable de lésions corporelles simples (sur un enfant), d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de tentative de contrainte et l'a condamné à une peine privative de liberté ferme de quatre ans et demi. Il a également prononcé une interdiction de contact et une interdiction géographique entre A._ et B._ pour une durée de cinq ans. A._ a été condamné à verser à B._ le montant de 12'000 fr. avec intérêt à 5% l'an dès le 15 août 2015 à titre de réparation du tort moral subi. B. Par arrêt du 23 septembre 2019, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel interjeté par A._ et a confirmé le jugement du 5 octobre 2018. La cour cantonale avait alors retenu, en substance, qu'à plusieurs reprises entre 2009 et le 3 juin 2015, A._ avait fait preuve de violences psychologiques envers sa fille B._. En outre, à plusieurs reprises et à des dates indéterminées entre 2010 ou 2011 et août 2015, alors que B._ était âgée de 12 à 17 ans, il lui avait fait subir des attouchements sexuels. Ensuite, alors qu'elle était placée au foyer C._, puis entre le 21 août et le 19 septembre 2015, après que B._ eut mis en cause son père pour abus sexuels, A._ avait exercé des pressions incessantes sur sa fille, dans un premier temps pour qu'elle rentre à la maison, puis pour qu'elle revienne sur ses déclarations. Il lui disait notamment que si elle ne rentrait pas à la maison, elle ne serait plus sa fille, qu'elle serait morte pour lui. Il se postait devant le foyer ou devant le lieu de travail de sa fille afin d'entrer en contact avec elle et l'interpellait sur le chemin de l'école. Il avait également demandé à son fils et à son frère d'intervenir pour que B._ se rétracte. La jeune fille n'avait pas cédé à ces pressions. C. Par arrêt du 21 janvier 2020 (6B_1283/2019), la Cour de droit pénal du Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, le recours formé par A._ contre l'arrêt précité. D. En date du 31 mars 2020, A._ a demandé à la Cour d'appel pénal la révision de son arrêt du 23 septembre 2019. A l'appui de sa demande, A._ a produit une lettre manuscrite que sa fille, B._, aurait remise à son frère, D._, aux termes de laquelle elle déclarait vouloir retirer la plainte pénale déposée contre son père qu'elle refusait de voir emprisonné, n'avoir subi aucune pression de la part de sa famille et être prête à en assumer toutes les conséquences. E. Par arrêt du 7 mai 2020, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté la demande de révision ainsi que les requêtes d'audition de témoins formulées par A._ et par B._. F. A._ forme un recours en matière pénale à l'encontre de l'arrêt précité. Il conclut, avec suite de frais et dépens, à l'admission du recours et à la réforme de l'arrêt attaqué en ce sens que sa demande de révision est admise et que la requête d'effet suspensif est admise. Il sollicite également l'octroi de l'assistance judiciaire. Par courrier du 11 juin 2020, le Président de la Cour de droit pénal du Tribunal fédéral a indiqué à l'avocat de A._ que celui-ci était détenu en exécution d'un jugement en force, que sa demande de révision cantonale avait été rejetée au stade du rescindant et que seule cette question pouvait être l'objet du recours en matière pénale, de sorte qu'il était manifestement exclu d'anticiper l'issue de la phase du rescisoire et de libérer provisoirement le recourant.