Faits :
A.
Le 4 décembre 2019, le Tribunal pénal de l'arrondissement de la Sarine a reconnu A.A._ coupable d'actes d'ordre sexuel avec des enfants, contrainte sexuelle, pornographie et violation du devoir d'assistance et d'éducation et l'a condamné à une peine privative de liberté ferme de 8 ans, sous déduction de la détention subie et a mis les frais de la procédure à sa charge. Le Tribunal a alloué des indemnités aux défenseurs d'office successifs de A.A._ (<ref-law>).
B.
Statuant sur appel de A.A._, la Cour d'appel pénal du Tribunal cantonal de l'État de Fribourg l'a partiellement admis par arrêt du 10 juin 2020. Elle a acquitté A.A._ du chef de prévention de pornographie (art. 197 al. 1 et 5 CP), l'a reconnu coupable d'actes d'ordre sexuel avec des enfants (<ref-law>), de contrainte sexuelle (<ref-law>) et de violation du devoir d'assistance et d'éducation (<ref-law>) et l'a condamné à une peine privative de liberté ferme de 4 ans et demi, sous déduction de la détention subie avant jugement. Elle a rejeté sa requête d'indemnisation déduite de l'<ref-law>, mis les frais de la procédure d'appel à la charge de A.A._ à raison de la moitié, le solde étant laissé à la charge de l'État. L'indemnité de défenseur d'office pour la procédure d'appel a été arrêtée à 7'877 fr. 20.
En substance, les faits pertinents de la cause sont les suivants:
B.a. A.A._, né en 1948 et B.A._ se sont mariés en 1972. De leur union sont nées trois filles, dont la cadette, F.C._, a épousé C.C._, avec lequel elle a eu deux enfants: D.C._, née en 2000 et E.C._, née en 2003. Dès 2005, la famille C.C._ a emménagé dans la maison de A.A._ et B.A._, sise à U._. En 2007, F.C._ et C.C._ se sont séparés, et la première a, peu après, été victime d'un accident de la route. Elle a passé trois mois dans le coma et a souffert de séquelles neurologiques conséquentes, qui affectent sa mémoire encore aujourd'hui. N'étant plus en mesure de vivre de manière autonome, il a été convenu, d'entente avec C.C._, que A.A._ et B.A._ s'occuperaient de leurs deux petites-filles.
B.b. Depuis 2014 à tout le moins, A.A._ a isolé D.C._ socialement et l'a rendue dépendante de lui. La personnalité de cette dernière et son comportement vis-à-vis de sa famille et du monde extérieur ont connu un changement très marqué peu après son entrée au cycle d'orientation. Outre qu'elle était secrète, solitaire, timide et n'avait pas de vie sociale, son centre d'intérêt est devenu son grand-père. Ce dernier s'est immiscé dans la vie de sa petite-fille en la véhiculant 4 fois par jour pour les trajets de l'école, allant la rechercher aussitôt à la sortie des classes, en écourtant ses échanges sociaux avec ses camarades de classe et en lui expliquant combien les jeunes de son âge étaient immatures et banals. La directrice de l'école en est venue à suspecter une séquestration de la jeune fille compte tenu de l'omniprésence de A.A._ alors que les camarades de D.C._ étaient proches de l'envol familial et professionnel.
A.A._ a ensuite amené D.C._, déjà fortement marginalisée, à se passionner pour ses propres centres d'intérêts (lectures, musées, métier de fiduciaire), l'encensait et flattait la jeune fille en se rapprochant toujours plus d'elle. Petit à petit, il s'est mué en son protecteur et s'est complètement accaparé de l'admiration de sa petite-fille et s'est fait si présent dans sa vie qu'elle en est venue à se sentir complètement perdue et déstabilisée lorsqu'elle se voyait contrainte de partager son grand-père, notamment avec des invités. Conscient de l'adoration dont il faisait l'objet et du fait que D.C._ n'était pas capable d'envisager la vie sans lui, A.A._ lui a imposé ce qu'il jugeait être bon et adapté pour elle, jusqu'à lui imposer ses choix pour son avenir professionnel dans le domaine fiduciaire (s'imposant lors de l'entretien d'embauche et l'accompagnant dans la signature du contrat d'apprentissage). A.A._ s'est également immiscé dans les moyens de communication de sa petite-fille en répondant aux appels téléphoniques qu'elle recevait et connaissait le mot de passe de sa boîte mail. Il a endossé un rôle similaire à celui d'un père, et est devenu son mentor et seul adulte de référence.
A U._, dans le courant de l'année 2016 et jusqu'au 10 juillet 2016, A.A._ a, à plusieurs reprises, caressé et embrassé sa petite-fille dans le cou et embrassé et léché le lobe de son oreille, tendant à son excitation sexuelle. Ces gestes avaient lieu tantôt au salon, sur le canapé, tantôt dans la chambre de la jeune fille.
Au plus tard en 2017, A.A._ a exploité sa position d'adulte de référence et la très grande admiration que lui vouait D.C._ pour accoutumer sa petite-fille à des rapprochements sexuels et l'entraîner ensuite à commettre des actes d'ordre sexuel. Profitant de la dépendance créée et de la fragilité psychique de sa petite-fille, A.A._ a ainsi amené D.C._ à le toucher dans la zone du ventre, du bassin et des cuisses, pour ensuite la conduire à l'embrasser sur la bouche, puis à se masturber et se caresser les parties intimes, aussi bien simultanément que mutuellement, en lui caressant le clitoris. Avant le mois d'avril 2017, A.A._ a acquis un vibromasseur qu'il a utilisé sur le vagin de sa petite-fille et que cette dernière lui a introduit dans l'anus, au même titre qu'un doigt. Lorsque D.C._ utilisait le vibromasseur sur elle-même, A.A._ la regardait en se masturbant. A.A._ l'a réduite au silence en l'amenant à protéger " un beau secret ".
En août 2017, les époux A.A._, F.C._ et ses filles ont déménagé à V._ dans des appartements contigus, reliés par une porte communicante entre le salon des époux A.A._et la chambre de D.C._. Dès ce moment-là, après s'être donné rendez-vous, ils se rencontraient dans le salon, dans la chambre de D.C._ ou dans le garage tous les 2-3 jours pour pratiquer des actes d'ordre sexuel. Lorsque A.A._ a constaté que sa petite-fille prenait du plaisir en se masturbant avec le vibromasseur, il le lui a confisqué pour éviter qu'elle prenne du plaisir sans lui.
Dès avril 2018, A.A._ a repris contact avec son frère G.A._, qu'il n'avait pas revu depuis 20 ans, pour lui proposer une relation sexuelle à trois. En juin 2018, A.A._ a proposé à sa petite-fille à de très nombreuses reprises et de manière fort insistante d'entretenir des relations sexuelles à trois avec son frère, qu'elle ne connaissait pas, lui faisant envisager une pénétration par l'anus et le vagin en même temps. Il a notamment adressé les messages suivants à D.C._ " j'ai énormément envie de faire l'amour à trois [...] ", " C'est horrible de penser à l'extra avec mon frère et combien de fois on pourrais jouir. Je vois tes belles mains sur sa queue et sur la mienne tout en s'occupant de ta chatte et ensuite pénétration pendant toute une après-midi, sa me donne envie de te le faire jouir plusieurs fois. Mmmm j'ai vraiment envie mon amour ♥♥ ", " Mon trésor, j'ai vraiment envie de faire l'amour à trois, mais d'abord on va le faire ensemble pour que l'on soit prêt à le prendre avec nous. Seulement pour l'amour ♥♥ ". Parallèlement à ses demandes, A.A._ a envoyé de nombreuses photos de sexes masculins en érection à sa petite-fille et des vidéos à caractère pornographique, notamment représentant des scènes de sexe à trois.
B.c. Dans la nuit du 25 au 26 juin 2018, B.A._ a surpris A.A._ dans la chambre de D.C._. Cela s'étant déjà produit par le passé, elle a fouillé le téléphone de sa petite-fille le lendemain matin. A la lecture des échanges explicitement sexuels entre son mari et sa petite-fille, B.A._ s'est rendue à la police pour dénoncer son époux. Considérant s'être précipitée dans sa démarche, elle a ensuite tenté de faire machine arrière, le 9 juillet 2018.
Après s'être constituée partie plaignante le 26 juin 2018, D.C._ a retiré sa constitution de partie le 8 septembre 2018 et a résilié le mandat de son avocate d'office. Le 13 septembre 2018, elle a notamment écrit qu'elle refusait tout examen psychiatrique et qu'elle ne voulait plus entendre parler de l'enquête pénale concernant son grand-père dont elle ne voulait plus parler.
B.d. Il ressort d'un rapport médical du 18 juillet 2018 que D.C._ présentait des lésions compatibles avec une pénétration vaginale par un tiers.
Le 21 mai 2019, le Dr H._ a rendu un rapport d'expertise pédopsychiatrique concernant D.C._. L'expert n'a pas identifié de signes d'une maladie psychiatrique adulte classique comme une dépression, un trouble bipolaire ou une schizophrénie. En revanche, différents aspects d'un trouble du développement de la personnalité devaient être discutés, du fait notamment du retrait de contacts (sociaux, affectifs ou autres), de la limitation à exprimer ses sentiments et à éprouver du plaisir, une altération qualitative des interactions sociales réciproques associée à un répertoire d'activités restreint, stéréotypé et répétitif. L'expert a retenu que la jeune femme avait des difficultés au niveau des relations sociales et au niveau de son autonomie, en particulier vis-à-vis de son grand-père qui semblait avoir une emprise considérable sur elle. La difficulté de la jeune fille, qui ignorait la notion d'inceste, à voir la responsabilité de son grand-père reflétait peut-être la crainte qu'en parlant plus, elle ne lui nuise encore plus. Sa façon stéréotypée de parler de la relation, de dire que les deux souhaitaient cette relation et que c'est elle qui devait en endosser la responsabilité l'illustrait. D.C._ n'avait pas eu de contact avec de tierces personnes avec lesquelles elle pouvait parler de cela. L'expert a considéré que la fragilité de la jeune femme, compte tenu de sa situation de vie particulière, nécessitait que cette dernière puisse bénéficier de l'aide qu'elle n'arrivait alors pas à concevoir.
Le 20 décembre 2018, le Dr I._ a rendu un rapport d'expertise concernant A.A._. Il en ressort notamment que ce dernier avait une tendance à vouloir exercer une emprise sur l'autre ou à l'influencer (rendant notamment l'expert responsable de sa nuit blanche et de ses idées suicidaires) tout en cherchant à amadouer. Ces tendances à établir une forme d'emprise pouvaient s'observer dans les liens familiaux et dans le cadre professionnel. Une tendance à la victimisation et à l'inversion des rôles a également été observée, en tant qu'il rendait D.C._ responsable, considérant qu'elle était forte et solide, contrairement à lui qui était fragile. Il se montrait également très projectif, notamment lorsqu'il accusait des tiers, et principalement le père de la victime, d'avoir pu aussi abuser d'elle. Le risque de récidive, sous la forme d'une reprise de la relation incestueuse a été qualifié de non négligeable.
C.
A.A._ forme un recours en matière pénale devant le Tribunal fédéral contre l'arrêt cantonal et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté des infractions d'acte d'ordre sexuel avec des enfants et de contrainte sexuelle et qu'une peine privative de liberté de 2 ans au plus avec sursis ou sursis partiel est prononcée, sa requête d'indemnité au sens de l'<ref-law> étant admise (66'396 fr. 96 + 18'331 fr. 43) pour ses frais de défense et des indemnités de 102'400 fr. et 40'400 fr. étant accordées à titre de réparation morale pour la détention injustifiée, ainsi qu'à une condamnation au paiement d'un cinquième des frais de procédure, les frais d'appel étant mis à la charge de l'Etat.

Considérant en droit :
1.
Dénonçant la violation de son droit d'être entendu, le recourant s'en prend au refus d'ordonner l'audition de D.C._ en appel.
1.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299 et les références citées). Il n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236 s.).
Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_484/2020 du 21 janvier 2021 consid. 4.1; 6B_884/2019 du 30 octobre 2019 consid. 2.1; 6B_974/2019 du 25 octobre 2019 consid. 2.1).
Aux termes de l'<ref-law> - applicable aux débats d'appel par renvoi de l'<ref-law> -, le tribunal réitère l'administration des preuves qui, lors de la procédure préliminaire, ont été administrées en bonne et due forme, lorsque la connaissance directe du moyen de preuve apparaît nécessaire au prononcé du jugement (<ref-ruling> consid. 1.4.1 p. 290). La connaissance directe d'un moyen de preuve n'est nécessaire que lorsque celle-ci est susceptible d'influer sur le sort de la procédure, ce qui est le cas si la force du moyen de preuve dépend de manière décisive de l'impression suscitée au moment de sa présentation, notamment quand des déclarations constituent l'unique moyen de preuve - à défaut de tout autre indice - et qu'il existe une situation de "déclarations contre déclarations" (<ref-ruling> consid. 4.4.2 p. 199 s.). Le juge dispose d'un pouvoir d'appréciation afin de déterminer quel moyen de preuve doit être à nouveau administré (<ref-ruling> consid. 4.4.2 p. 199 s.). Seules les preuves essentielles et décisives dont la force probante dépend de l'impression qu'elles donnent doivent être réitérées. S'agissant d'un témoignage, l'administration de la preuve n'apparaît pas nécessaire uniquement au regard de son contenu (soit ce que dit le témoin), mais bien plutôt lorsque le jugement dépend de manière décisive du comportement du témoin (soit comment il le dit). Le tribunal dispose d'une certaine marge d'appréciation au moment de déterminer si une nouvelle administration de la preuve est nécessaire (<ref-ruling> consid. 4.4.2 p. 199 s.).
1.2. Par décision du 2 avril 2020, la direction de la procédure a refusé d'ordonner l'audition de D.C._ en appel, aux motifs notamment qu'en sa qualité de victime et qu'au vu de son lien familial avec le recourant, elle pouvait refuser de témoigner (art. 168 al. 1 let. c et 169 al. 4 CPP) et qu'elle avait d'ores et déjà été interrogée à plusieurs reprises et exprimé clairement son souhait de préserver sa sphère intime et ne plus participer à la procédure. En outre, il ressortait de l'expertise du Dr H._ que l'attitude de D.C._ vis-à-vis de la cause s'expliquait par le fait qu'elle ne souhaitait pas créer plus de problèmes à son grand-père, de sorte que tout portait à croire que la jeune femme n'apporterait pas plus de précision quant aux actes reprochés au recourant.
1.3. Le recourant n'a pas réitéré sa demande d'audition de sa petite-fille aux débats d'appel (cf. <ref-law>) et ne s'en prend d'aucune manière aux motifs retenus pour refuser la réaudition de D.C._. Il est douteux que son grief remplisse les exigences minimales de motivation sur ce point (<ref-law>).
En tout état, c'est en vain qu'il prétend que l'audition de sa petite-fille aurait permis d'avoir sa version sur "la nature réelle des gestes et attouchements (qu'il) aurait eus envers elle avant son 16ème anniversaire"et qu'elle s'exprime sur "le rôle qu'elle y a joué et (...) si elle a aujourd'hui, avec le recul, le sentiment d'avoir été contrainte d'une quelconque manière ou si elle y a au contraire consenti en toute conscience et indépendance". En effet, la condamnation du recourant n'est nullement fondée sur les déclarations de D.C._, laquelle a exprimé son souhait de ne pas nuire à son grand-père. Cela étant, le recourant échoue à démontrer que la réitération de l'audition de sa petite-fille serait susceptible d'influer sur le sort de la cause, ou qu'il s'agirait d'une preuve essentielle et décisive dont la force probante dépendrait de l'impression qu'elle donne.
En tant que le recourant semble invoquer une violation de son droit à être confronté à sa petite-fille, son grief d'ordre procédural, qui n'est pas fondé sur les dispositions légales topiques, apparaît irrecevable, faute d'avoir été soulevé devant l'autorité précédente, ce d'autant qu'il s'est prévalu des déclarations de sa petite-fille en appel (cf. <ref-law>; <ref-ruling> consid. 3.4.2 p. 406; <ref-ruling> consid. 4.3 p. 69; <ref-ruling> consid. 2.2 p. 336). En tout état, le recourant ne consacre aucun développement à la violation de son droit à la confrontation et n'expose pas en quoi les déclarations de D.C._ seraient une preuve déterminante. Son grief, qui ne répond pas aux exigences de motivation accrues de l'<ref-law>, est irrecevable sous cet angle. C'est en vain qu'il affirme que D.C._ n'aurait pas demandé de mesure de protection au sens des art. 152 à 154 CPP, étant relevé qu'une demande expresse en ce sens n'est pas nécessaire pour les enfants victimes d'infractions contre l'intégrité sexuelle (cf. art. 153 s. CPP).
2.
Sans soulever expressément de grief d'arbitraire dans l'établissement des faits et dans l'appréciation des preuves, le recourant s'en prend à l'appréciation de la cour cantonale à certains égards, sous couvert d'une violation des art. 187 et 189 CP.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 p. 503). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence ou à son corollaire, le principe "in dubio pro reo", ceux-ci n'ont pas de portée plus large que l'interdiction de l'arbitraire (voir <ref-ruling> consid. 1.1 p. 155 s.). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>); il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 92 et les arrêts cités).
3.
Le recourant s'en prend à sa condamnation du chef d'actes d'ordre sexuel sur un enfant.
3.1. Aux termes de l'<ref-law>, celui qui aura commis un acte d'ordre sexuel sur un enfant de moins de 16 ans, qui aura entraîné un enfant de cet âge à commettre un acte d'ordre sexuel, qui aura mêlé un enfant de cet âge à un acte d'ordre sexuel, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
L'<ref-law> a pour but de permettre aux enfants un développement sexuel non perturbé. Il protège le jeune en raison de son âge, de sorte qu'il est sans importance qu'il ait ou non consenti à l'acte. Il s'agit d'une infraction de mise en danger abstraite. Elle est donc réalisée indépendamment du fait que la victime a été effectivement mise en danger ou perturbée dans son développement (arrêts 6B_123/2020 du 26 novembre 2020 consid. 6.1; 6B_1122/2018 du 29 janvier 2019 consid. 3.1; cf., <ref-ruling> consid. 3.5.2 p. 156 s.).
Par acte d'ordre sexuel, il faut entendre une activité corporelle sur soi-même ou sur autrui qui tend à l'excitation ou à la jouissance sexuelle de l'un des participants au moins (arrêts 6B_123/2020 du 26 novembre 2020 consid. 6.2; 6B_1097/2019 du 11 novembre 2019 consid. 2.1; 6B_1122/2018 du 29 janvier 2019 consid. 3.2).
Sont considérés comme de tels actes des comportements qui pour le profane paraissent avoir une connotation sexuelle directe, autrement dit des comportements qui, dans un contexte déterminé, apparaissent objectivement de nature sexuelle, et qui, eu égard au bien juridique protégé, sont graves (<ref-ruling> consid 7.1 p. 103; <ref-ruling> consid. 11.2 p. 74; <ref-ruling> consid. 3b p. 62). Les actes clairement connotés sexuellement du point de vue de l'observateur neutre, remplissent toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur ou de la signification que le comportement a pour celui-ci ou pour la victime (ATF <ref-ruling> consid. 3b p. 62; arrêts 6B_123/2020 du 26 novembre 2020 consid. 6.3; 6B_1122/2018 du 29 janvier 2019 consid. 3.2). Dans les cas équivoques ("ambivalente sexuelle Handlungen"), qui n'apparaissent ni neutres ni clairement connotés sexuellement, il faut tenir compte de l'ensemble des circonstances. La jurisprudence privilégie une approche objective qui ne prend pas en compte les mobiles de l'auteur. Il faut que, pour un observateur extérieur, le comportement apparaisse clairement comme un acte à caractère sexuel au vu de l'ensemble des circonstances (ATF <ref-ruling> consid. 3b p. 62 s.). Les circonstances dont il faut tenir compte sont notamment l'âge de la victime, sa différence d'âge avec l'auteur, la durée de l'acte et son intensité, ainsi que le lieu choisi par l'auteur (cf. arrêt 6B_123/2020 du 26 novembre 2020 consid. 6.3; ATF <ref-ruling> consid. 3b p. 63). Il faut se demander si l'acte, qui doit revêtir un caractère sexuel indiscutable, est de nature à perturber l'enfant ( arrêts 6B_123/2020 du 26 novembre 2020 consid. 6.3; 6B_1122/2018 du 29 janvier 2019 consid. 3.2).
3.2. S'agissant des actes d'ordre sexuel avec un enfant, la cour cantonale a retenu, en application du principe in dubio pro reo, que les baisers sur la bouche, les câlins sensuels et les attouchements sous le peignoir de D.C._ n'avaient pas eu lieu avant son 16ème anniversaire, de sorte qu'elle a acquitté le recourant du chef d'infraction à l'<ref-law>, s'agissant de ces gestes.
Pour la période antérieure, elle a notamment tenu compte des messages adressés par le recourant à sa petite-fille au printemps 2016, dont il ressortait à tout le moins qu'il la caressait et l'embrassait dans le cou et qu'il embrassait et léchait le lobe de son oreille ( "t'as bien compris? je t'... et un gros bisous et à demain. Je suis impatient de te voir et de te caressé dans le coup et un peu plus. Mille bisous [émoji couple]) "; "Gros gros bisous et bonne course avec le bus et pleine de lumière ma petite étoile. Ton..."), et des explications du recourant à cet égard ( "je voulais dire par un peu plus, lui lécher le lobe de l'oreille").
Pour qualifier le caractère sexuel de ces gestes, la cour cantonale a tenu compte des déclarations des filles et petites-filles du recourant, lesquelles considéraient que le comportement dont elles étaient témoins n'était pas normal, les autres petites-filles du recourant ayant d'ailleurs cessé de s'assoir sur ses genoux avant leur 14 ans. L'une des filles du recourant avait souligné que, quand elle voyait sa nièce de 15 ans sur les genoux de son père lui lécher le visage, elle trouvait ce comportement, qui la mettait mal à l'aise, vraiment gênant. Elle avait d'ailleurs attiré l'attention de sa soeur à ce propos. En outre, l'examen de l'ordinateur utilisé par le recourant relevait notamment que le 18 février 2016, des vidéos aux titres suivants avaient été consultées: "une fille qui fait l'amour à 13 ans", "faire l'amour avec papa", "beau-père pervers qui pelote sa fille", "mon père veut faire l'amour avec moi", "papa fait l'amour à sa fille", "le père baise sa fille dans une scène inceste porno dans un film xxx gratuit sur inceste en famille de salope", "père fait l'amour jeune fille 18 ans adore se faire baiser papa".
Remis dans leur contexte et examinés dans leur ensemble, la cour cantonale a considéré que les caresses et baisers sur le cou et le lobe de l'oreille de D.C._ effectués avant le xxx 2016 ne constituaient pas de simples témoignages de tendresse mais relevaient d'actes d'ordre sexuel avec un enfant au sens de l'<ref-law>.
3.3. Le recourant oppose, dans une très large mesure, sa propre appréciation des événements à celle de la cour cantonale, dans une démarche purement appellatoire, partant irrecevable (<ref-law>). C'est le cas notamment lorsqu'il prétend que l'absence de dénonciation de la part des membres de la famille révélerait que ces derniers n'auraient pas perçu l'ambiguïté des gestes ou lorsqu'il affirme qu'il est également proche de ses autres petits-enfants et enfants, sans caractère sexuel.
Sous l'angle de l'<ref-law>, le recourant se contente de relever qu'il n'y aurait pas eu de baiser lingual, d'enlacement ou de baisers imposés contre le gré de D.C._, ni de caresse insistante sur le sexe, les fesses ou les seins. Or d'une part, il importe peu que l'enfant soit consentant (cf. supra consid. 3.1); d'autre part, il s'agit d'examiner le caractère sexuel des actes commis et non d'élaborer une liste d'actes qui n'auraient pas eu lieu.
Il est établi et incontesté que le recourant écrivait très régulièrement à sa petite-fille, alors âgée de moins de 16 ans, des messages d'amour laissant planer des sous-entendus, qu'il lui faisait des caresses et des baisers répétés dans le cou et lui léchait le lobe de l'oreille, que ce soit lorsqu'elle était sur ses genoux sur le canapé ou dans la chambre de la jeune fille. S'agissant de la connotation sexuelle de ces gestes, il y a lieu notamment de tenir compte des avis des observateurs de certaines scènes, de l'âge de la victime, de l'écart d'âge avec l'auteur et de l'intensité des gestes inscrits dans leur contexte (cf. supra consid. 3.1). Dans les circonstances d'espèce, impliquant un grand-père et sa petite-fille jeune adolescente, et dépendante de lui, la cour cantonale pouvait considérer que les caresses et baisers répétés dans le cou ainsi que le fait de lécher le lobe de l'oreille, apparaissent clairement comme des actes à caractère sexuel pour un observateur extérieur. C'est en vain que le recourant prétend que sa petite-fille n'aurait pas été effectivement perturbée par ces gestes, dès lors que ces derniers sont, dans ce contexte, de nature à perturber un enfant dans son développement.
Au vu des faits retenus en l'espèce, l'on ne voit pas ce que le recourant entend déduire en sa faveur d'un arrêt cantonal fribourgeois portant sur le fait de regarder et toucher les pieds d'enfants pendant leur sommeil.
En définitive, c'est sans violer le droit fédéral que la cour cantonale a reconnu le recourant coupable d'actes d'ordre sexuel avec un enfant au sens de l'<ref-law>.
4.
Le recourant conteste s'être rendu coupable de contrainte sexuelle.
4.1. A teneur de l'<ref-law>, se rend coupable de contrainte sexuelle celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister, l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel.
L'<ref-law> tend à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, un acte d'ordre sexuel.
Pour qu'il y ait contrainte en matière sexuelle, il faut que la victime ne soit pas consentante, que l'auteur le sache ou accepte cette éventualité et qu'il passe outre en profitant de la situation ou en utilisant un moyen efficace (<ref-ruling> consid. 2b p. 100; arrêts 6B_159/2020 du 20 avril 2020 consid. 2.4.1; 6B_1306/2017 du 17 mai 2018 consid. 2.1.2).
L'<ref-law> ne protège des atteintes à la libre détermination en matière sexuelle que pour autant que l'auteur surmonte ou déjoue la résistance que l'on pouvait raisonnablement attendre de la victime (<ref-ruling> consid. 4 p. 52 s. et l'arrêt cité).
En introduisant la notion de "pressions psychiques", le législateur a voulu viser les cas où la victime se trouve dans une situation sans espoir, sans pour autant que l'auteur ait recouru à la force physique ou à la violence. Les pressions d'ordre psychique concernent les cas où l'auteur provoque chez la victime des effets d'ordre psychique, tels que la surprise, la frayeur ou le sentiment d'une situation sans espoir, propres à la faire céder (<ref-ruling> consid. 3a/bb p. 110 s.; <ref-ruling> consid. 2b p. 100). Ainsi, l'infériorité cognitive et la dépendance émotionnelle et sociale peuvent - en particulier chez les enfants - induire une pression psychique extraordinaire et, partant, une soumission comparable à la contrainte physique, les rendant incapables de s'opposer à des atteintes sexuelles. La jurisprudence parle de "violence structurelle", pour désigner cette forme de contrainte d'ordre psychique commise par l'instrumentalisation de liens sociaux. La pression psychique générée par l'auteur et son effet sur la victime doivent atteindre une intensité particulière (<ref-ruling> consid. 3.1 p. 170 s. et les références citées; arrêt 6B_693/2020 du 18 janvier 2021 consid. 3.1).
Pour déterminer si l'on se trouve en présence d'une contrainte sexuelle, il faut procéder à une appréciation globale des circonstances concrètes déterminantes (<ref-ruling> consid. 2.2 p. 109).
Dans un arrêt de principe récent, le Tribunal fédéral a jugé qu'un auteur se trouvant dans le proche entourage social d'un enfant peut aussi, sans utilisation active de la contrainte ou de la menace de désavantages, exercer sur lui une pression et ainsi réaliser des infractions de contrainte sexuelle. L'auteur qui laisse entendre à l'enfant que les actes sexuels seraient normaux, qu'ils seraient une belle chose, ou qu'ils constitueraient une faveur, place l'enfant dans une situation sans issue, laquelle est également couverte par cette infraction. Est déterminante la question de savoir si l'enfant - compte tenu de son âge, de sa situation familiale et sociale, de la proximité de l'auteur, de la fonction de ce dernier dans sa vie, de sa confiance en l'auteur et de la manière dont sont commis les actes d'ordre sexuel - peut, de manière autonome, s'opposer aux abus (<ref-ruling> consid. 3.5.5 p. 159 s.). Plus la personne de référence est proche de l'enfant et plus grande est la confiance de ce dernier à l'égard de l'auteur, plus forte en devient la contrainte psychique et plus la situation doit être considérée comme étant sans issue (<ref-ruling> consid. 3.5.5 p. 160).
4.2. La cour cantonale a relevé que, face à une mère souffrant de séquelles neurologiques, le recourant, qui avait instauré une emprise sur les fréquentations de la jeune fille, ses intérêts, son avenir professionnel, et ses moyens de communications était devenu la figure d'autorité parentale absolue de cette dernière lorsqu'il a réussi à discréditer son père.
Le contrôle et l'emprise que le recourant exerçait sur sa petite-fille s'étaient finalement également matérialisés dans les relations intimes qu'il reconnaissait avoir entretenues avec la jeune fille. Le recourant avait profité de l'isolement social et émotionnel dans lequel il avait plongé sa petite-fille pour l'amener à découvrir la sexualité, ce qu'elle décrivait comme le prolongement naturel du rapprochement qu'elle avait connu avec son grand-père. Après avoir commencé à partager des images pornographiques et des actes d'ordre sexuel, le recourant avait continué à user de son emprise pour contrôler l'évolution de leur relation intime, en la privant notamment du vibromasseur qu'il avait acquis et qu'ils utilisaient ensemble, car il craignait qu'elle ne se satisfasse plus de ses caresses.
Ainsi, après avoir côtoyé quotidiennement D.C._ depuis l'enfance, le recourant s'est doucement substitué à son père et s'est ensuite ingéré dans sa vie privée au point qu'elle perde toute autonomie et s'était rendu indispensable à celle-ci. Il l'a d'abord isolée socialement et émotionnellement, de manière à ce qu'elle lui voue une complète adoration et ne puisse plus se passer de lui à ses côtés, et a ensuite tiré profit de sa position d'adulte de référence usurpée pour annihiler la libre détermination de sa petite-fille. Le recourant est donc passé de son rôle de grand-père à celui d'unique confident et figure d'autorité absolue, pour finir par endosser le rôle d'amant, exerçant une totale emprise sur sa petite-fille.
La cour cantonale a considéré que les actes d'ordre sexuel se sont installés dans le quotidien de la jeune fille, de par la place du recourant dans le cercle familial et son caractère particulièrement dominant, ce qui expliquait la soumission complète de cette dernière. Non seulement, le recourant, de plus de 50 ans l'aîné de la jeune-fille, avait tiré profit d'un déséquilibre cognitif, mais il n'avait pas hésité à user de manipulation et de mensonges avec elle, notamment en lui faisant croire, s'agissant du triolisme auquel elle était réticente, que son frère voulait "comme sur la vidéo et avec lui tu ne choisis pas tu jouistu comprends, sa Ressort ses penchants (...) tu n'arrives pas à le changer, il faire sa à trois comme sur la vidéo", alors qu'il s'agissait de ses propres exigences. Au-delà des mensonges à la jeune fille, cette propension à influencer les gens avait également été relevée par l'expert psychiatre.
Non seulement la jeune fille se trouvait sous la houlette d'un homme menteur et manipulateur, mais ce dernier était la figure d'autorité absolue au sein de la famille, de sorte qu'il était d'autant plus difficile pour la jeune fille de le remettre en cause, et ceci d'autant qu'il bénéficiait de la confiance des siens qui le qualifient de "mâle alpha", de "parrain", de "maître et seigneur à la maison et au boulot", de "dirigeant".
Les attouchements avaient commencé dans la maison des grands-parents, en présence des membres de la famille et se sont installés sans crier gare dans la routine familiale et dans le quotidien de la jeune fille. Faute d'intervention ou de remise à l'ordre par les membres de la famille pour lesquels le comportement était à la limite du supportable, il était flatteur pour la jeune fille que le chef de famille lui accorde autant d'attention, mais il lui était d'autant plus difficile de saisir le caractère inapproprié des actes. Ainsi, D.C._ était privée de tout libre arbitre et autonomie, n'ayant de surcroît aucune connaissance des relations sexuelles, elle ne pouvait s'élever contre l'homme qui lui était devenu indispensable.
Sur la base de l'ensemble de ces éléments, la cour cantonale a considéré que D.C._ n'avait pas librement consenti aux actes d'ordre sexuel reprochés, bien qu'elle n'était plus une enfant. Compte tenu de la personnalité et du comportement du recourant, de même que son mode opératoire, la jeune fille isolée était endiguée dans une situation dont elle n'était plus en mesure de s'extirper. L'infériorité cognitive et les facteurs retenus avaient induit une pression psychique extraordinaire sur la jeune fille, la rendant incapable de se questionner sur l'opportunité d'une relation charnelle avec son grand-père, et cas échéant, de s'y opposer.
Sur le plan subjectif, la cour cantonale a retenu que le recourant ne pouvait ignorer que sa petite-fille ne prenait pas part aux actes d'ordre sexuel en pleine conscience, mais qu'il était devenu naturel pour elle de poursuivre le rapprochement que le recourant lui avait imposé et qu'il lui présentait comme une relation profonde et un beau secret. Dans la mesure où il n'avait pas hésité à faire appel à de la manipulation et à des mensonges, notamment pour la convaincre que son fantasme de triolisme était une merveilleuse aventure, il ne pouvait ignorer que sa petite-fille ne consentait pas à participer à ses fantasmes.
En définitive, la cour cantonale a considéré que le recourant avait tiré profit de l'isolement social et émotionnel dans lequel il avait plongé sa petite-fille et de la domination qu'il exerçait sur elle pour l'amener à participer à des actes d'ordre sexuel, les actes ayant commencé, sous forme de caresses et d'attouchements, au vu et su de tous. Profitant du manque de connaissance de sa petite-fille, du lien privilégié qu'il avait construit et de la fascination qu'il suscitait chez celle-ci, le recourant avait façonné sa petite-fille de sorte à ce qu'elle devienne la personne avec laquelle il pouvait tout partager. Ce dernier n'avait pas hésité à recourir aux mensonges et à la manipulation pour obtenir d'elle qu'elle réalise ses désirs, qu'elle ne souhaitait pas expérimenter, en brisant psychologiquement la résistance de sa petite-fille.
Pour ces motifs, la cour cantonale a confirmé la condamnation du recourant du chef de contrainte sexuelle.
4.3. Le recourant ne conteste pas les rapports entretenus avec sa petite-fille, la marginalisation totale de cette dernière, son autorité absolue, l'emprise qu'il avait sur elle, ou les mensonges et manipulations dont il a usé. Il nie toutefois avoir exercé un moyen de contrainte sur cette dernière. Pour ce faire, il interprète la volonté et le consentement de sa petite-fille à subir des actes d'ordre sexuel de sa part et oppose à nouveau sa propre appréciation des faits à celle de la cour cantonale dans un procédé largement appellatoire, partant irrecevable. C'est notamment le cas lorsqu'il affirme que le développement de sa petite-fille n'a pas été mis en danger dès lors qu'elle "ne semble pas être affectée", qu'elle est "parfaitement en bonne santé et exerce une activité lucrative à 100%". Il en va de même lorsqu'il prétend qu'elle n'était pas dans un état d'infériorité cognitive ou dans une quelconque dépendance émotionnelle et sociale, au motif notamment que l'expert n'aurait pas identifié de "signes d'une maladie psychiatrique adulte classique comme une dépression, un trouble bipolaire ou une schizophrénie" chez sa petite-fille.
Si D.C._ n'était plus une enfant lorsque les derniers actes d'ordre sexuel ont été commis, elle l'était lorsque ceux-ci ont commencé et quand le recourant a mis en place le long processus d'approche et la stratégie d'emprise totale, alors qu'elle était jeune adolescente. Le recourant, qui était en charge de l'éducation de sa petite fille depuis ses 7 ans et l'a empêchée de se développer socialement, a façonné sa conception des rapports humains et de la sexualité, et bénéficiait de la confiance absolue de cette dernière. Les principes déduits de l'<ref-ruling> (consid. 3.5.5 p. 159 s.) conservent toute leur portée quand la relation d'emprise et de violence structurelle, sur un mineur de plus de 16 ans, a pris naissance pendant l'enfance et qu'elle a été constante au fil des ans. Conformément à la jurisprudence, il y a lieu de tenir compte de la particularité de la situation familiale (mère souffrante, père évincé) et sociale (défaut de cercle social de la jeune fille et d'adulte de référence, marginalisation) décrite en l'espèce, de la proximité, de la domination et de la manipulation de l'auteur, de sa fonction d'unique confident faisant figure d'autorité absolue, de la confiance exprimée par la jeune fille et de la manière dont ont été progressivement et sur des années, commis les actes d'ordre sexuel, après immission totale du recourant dans la vie de la jeune fille. Le recourant a instrumentalisé les liens sociaux de manière structurelle. Dans ce contexte et en faisant apparaître les actes d'ordre sexuel comme le prolongement naturel de leur rapprochement, comme "un beau secret" voire une "merveilleuse aventure", tout en flattant sa petite-fille, le recourant l'a placée dans une situation sans issue. La jeune fille, de 50 ans la cadette de son grand-père, lui vouant une admiration complète sans concevoir la vie sans lui, vivant au quotidien avec lui et n'ayant d'autre personne de référence, ne pouvait s'opposer aux actes de manière autonome. Pour parvenir à ses fins, le recourant a usé d'une pression psychique d'une intensité telle qu'elle doit être qualifiée d'un moyen de contrainte au sens de la jurisprudence. Ainsi, c'est en vain que le recourant prétend que l'absence de menace de sa part ou d'expression d'un refus de la part de sa petite-fille s'opposent à la réalisation de la contrainte (cf. supra consid. 4.1).
Dans ces circonstances, c'est sans violer le droit fédéral que la cour cantonale a reconnu le recourant coupable de contrainte sexuelle au sens de l'<ref-law>.
Pour le surplus, le recourant ne saurait rien déduire en sa faveur d'une prétendue violation du principe de la légalité (<ref-law>), dans la mesure où la contrainte sexuelle exercée sous la forme de pressions d'ordre psychique, lesquelles sont réalisées en l'espèce, est expressément réprimée par l'<ref-law>.
5.
Le recourant ne forme aucun grief contre la peine prononcée, de sorte qu'il n'y a pas lieu de s'y arrêter.
6.
Le recourant se plaint du refus d'octroi d'une indemnité pour ses frais de défense en première et seconde instance.
6.1. L'<ref-law> prévoit les cas dans lesquels une défense d'office est ordonnée. Aux termes de l'<ref-law>, le défenseur d'office est indemnisé conformément au tarif des avocats de la Confédération ou du canton du for du procès. Le ministère public ou le tribunal qui statue au fond fixent l'indemnité à la fin de la procédure (<ref-law>). L'<ref-law> prévoit que le défenseur d'office peut recourir devant l'autorité de recours, contre la décision du ministère public et du tribunal de première instance fixant l'indemnité (let. a) et devant le Tribunal pénal fédéral, contre la décision de l'autorité de recours ou de la juridiction d'appel du canton fixant l'indemnité (let. b). Aux termes de l'<ref-law>, lorsque le prévenu est condamné à supporter les frais de procédure, il est tenu de rembourser dès que sa situation financière le permet à la Confédération ou au canton les frais d'honoraires (let. a); au défenseur la différence entre son indemnité en tant que défenseur désigné et les honoraires qu'il aurait touchés comme défenseur privé (let. b).
A teneur de l'<ref-law>, le prévenu supporte les frais de procédure s'il est condamné. Font exception les frais afférents à la défense d'office; l'art. 135 al. 4 est réservé. Les frais imputables à la défense d'office font partie des frais de procédure (cf. <ref-law>), le prévenu n'ayant toutefois en principe pas à supporter les frais afférents à la défense d'office (cf. <ref-law>; <ref-ruling> consid. 1 p. 206).
L'indemnité selon les art. 429 al. 1 let. a et 436 al. 2 CPP (procédure de recours) concerne les dépenses du prévenu pour un avocat de choix (<ref-ruling> consid. 1 p. 206). Une indemnité selon les art. 429 al. 1 let. a et 436 al. 2 CPP ne saurait être accordée conditionnellement pour le cas où la situation visée à l'<ref-law> se produirait, la loi ne prévoyant pas un tel cas de figure (<ref-ruling> consid. 1 p. 207).
6.2. S'agissant des frais de procédure de première instance, la cour cantonale a relevé que le recourant était certes acquitté d'une partie des actes d'ordre sexuel avec des enfants qui lui étaient reprochés, de même que de l'infraction de pornographie, mais il avait néanmoins été condamné pour des actes d'ordre sexuel avec des enfants, contrainte sexuelle et violation du devoir d'assistance et d'éducation. Dans la mesure où il apparaissait impossible de séparer les frais de justice pour chacune des infractions, il y avait lieu de laisser les frais de première instance à la charge du recourant. Les frais d'appel ont été mis par moitié à la charge du recourant, dès lors qu'il avait obtenu gain de cause sur une partie des infractions contestées et sur la quotité de la peine, le solde étant laissé à la charge de l'État.
La cour cantonale a considéré qu'au vu de l'issue de l'appel et dans la mesure où le recourant avait bénéficié d'un défenseur d'office, il ne pouvait prétendre à l'octroi d'une indemnité au sens de l'<ref-law>.
6.3. Le recourant ne formule aucun grief dirigé contre la motivation cantonale topique en lien avec la répartition des frais de procédure en première et seconde instance (cf. art. 426 et 428 CPP), de sorte qu'il n'y a pas lieu de s'y arrêter.
Il est établi et incontesté que le recourant était représenté par des défenseurs d'office en vertu de l'<ref-law> dans la présente cause (arrêt entrepris consid. 7.2; jugement de première instance, p. 40 s.; ordonnance de désignation d'un défenseur d'office du 27 juin 2018 [pce 7000 s.] et décision de remplacement du défenseur d'office du 4 juin 2019 [pce 7060 s.]). Or l'avocat d'office n'exerce pas un mandat privé, mais accomplit une tâche étatique soumise au droit public cantonal, qui lui confère une prétention de droit public à être rémunéré (<ref-ruling> consid. 3.2 p. 345 s.; arrêt 6B_466/2020 du 4 septembre 2020 consid. 2.3).
Ainsi, c'est en vain que le recourant se prévaut d'une convention de mandat du 27 juin 2018 en faveur de sa première défenseure d'office, pour prétendre à la constitution d'un avocat de choix.
Contrairement à ce que suggère le recourant, il importe peu que la défense d'office ait été ordonnée en raison de son indigence (<ref-law>) ou en raison d'un cas de défense obligatoire (<ref-law>; HARARI/JAKOB/SANTAMARIA, in Commentaire romand, Code de procédure pénale suisse, 2e éd. 2019, n° 1 ad <ref-law>; cf. <ref-ruling> consid. 4.2 p. 346 s.; arrêt 1B_461/2016 du 9 février 2017 consid. 2.1.2). Il s'ensuit que le recourant, assisté d'un défenseur d'office en première instance et en appel, n'est pas légitimé à invoquer les art. 429 al. 1 let. a et 436 al. 2 CPP en lien avec les honoraires perçus par l'avocat, qu'il ne supporte pas personnellement (<ref-ruling> consid. 2.2.2 p. 263; <ref-ruling> consid. 1 p. 206). Conformément à la jurisprudence précitée, le recourant ne saurait requérir une indemnité supplémentaire, déduite de l'<ref-law>, du fait que son conseil d'office serait aussi un avocat de choix.
Aussi, la cour cantonale pouvait, sans violer le droit fédéral, refuser d'allouer une indemnité au recourant, déduite de l'<ref-law>.
6.4. Le recourant est irrecevable à contester le montant de l'indemnité fixée pour la procédure d'appel sur la base des art. 135 et 138 CPP, dans la mesure où il appartient au défenseur d'office de recourir au Tribunal pénal fédéral contre celle-ci (<ref-law>), ainsi que cela ressort d'ailleurs de l'arrêt entrepris.
6.5. Faute de grief et compte tenu de l'issue de la cause, il n'y a pas lieu d'entrer en matière sur la requête tendant à l'indemnisation d'un éventuel tort moral résultant d'une atteinte à sa personnalité (429 al. 1 let. c CPP) ou d'une mesure de contrainte illicite (<ref-law>).
7.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 25 février 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Klinke