Faits :
A.
Par jugement du 16 avril 2019, le Tribunal du IIIème arrondissement pour les districts de Martigny et St-Maurice a reconnu A._ coupable d'actes d'ordre sexuel avec des enfants (<ref-law>), de contrainte sexuelle (<ref-law>), de viol (<ref-law>) et d'inceste (<ref-law>) et l'a condamné à une peine privative de liberté de sept ans (sous déduction de la détention subie avant jugement). Il l'a expulsé du territoire suisse pour une durée de dix ans, avec inscription au système d'information SIS Schengen. A._ a été condamné à verser à B._ le montant de 30'000 fr. avec intérêts à titre de réparation du tort moral subi.
B.
Par jugement du 19 décembre 2019, la Cour pénale II du Tribunal cantonal du Valais a rejeté l'appel formé par A._ contre la décision de première instance.
En substance, le jugement cantonal repose sur les faits suivants.
Entre le début 2014 et septembre 2017, à des dates indéterminées et à une dizaine de reprises, à son domicile à C._, A._ a pénétré vaginalement de son pénis sa petite-fille B._, née en 2008. A chaque fois, alors qu'elle avait mal et lui disait d'arrêter, il ne l'écoutait pas et poursuivait ses agissements. Par ailleurs, durant la même période et toujours à son domicile, à une reprise, A._ a caressé avec insistance la vulve de B._, cette dernière essayant alors de lui enlever la main mais celui-ci refusant de le faire. Lorsqu'ils étaient seuls en voiture, notamment pour se rendre au bal de D._, A._ parlait de ces événements à sa petite-fille en lui enjoignant de ne jamais raconter ce qu'ils faisaient, sinon " des choses (...) méchantes " pourraient survenir.
B.a. A._ (né en 1961) et son épouse, tous deux de nationalité portugaise, ont eu deux enfants dont E._. Cette dernière a épousé F._ en 2008, mariage dont est issue B._, née la même année. Les époux se sont séparés en juillet 2009, puis ont divorcé, E._ obtenant la garde et l'autorité parentale exclusives sur leur fille. Depuis septembre 2011, E._ a fait ménage commun avec G._, avec lequel elle a eu deux enfants.
Le 1er octobre 2013, la famille s'est installée dans un appartement se trouvant à l'étage au-dessus de celui de A._ et de son épouse.
B.b. Le 30 novembre 2017, la directrice des écoles de C._ a pris contact avec la police cantonale pour l'informer du fait qu'une élève de 6 ème année, H._, avait rapporté à sa mère des confidences que lui avait faites sa camarade de classe B._, à savoir qu'elle avait dû « faire l'amour avec son grand-père ».
B.c. Le jour-même, des inspecteurs ont interpellé A._ et l'ont amené au poste de gendarmerie. B._, qui s'apprêtait à s'endormir a « fondu en larmes » à l'arrivée des policiers, en déclarant, sans qu'aucune question ne lui soit alors posée: « je ne voulais pas, c'est mon grand-père qui m'a obligée ».
Le soir du 30 novembre 2017, B._ a été interrogée par une inspectrice. Sa déposition a été filmée et une psychologue y a assisté derrière une vitre sans tain.
B.d. L'examen du navigateur internet de la tablette de A._, saisie à son domicile le 1er décembre 2017 a révélé qu'entre le 21 septembre et le 21 novembre 2017, de nombreux sites pornographiques ont été consultés, certains comportant notamment les intitulés « jeune fille blonde qui perd sa virginité », « toute jeune fille qui veut perdre la virginité », « père qui enlève la virginité de la fille encore vierge », « papa qui a des relations avec sa fille » ou encore « sexe d'inceste », selon traduction du portugais.
B.e. Le 6 décembre 2017, à la demande du ministère public, B._ a été examinée par des médecins du service de gynécologie de l'Hôpital I._. Dans leur rapport du 18 décembre 2017, ceux-ci ont relevé un status comparable à celui d'une femme adulte, caractérisé par une quasi-absence d'hymen, sans lésions cicatricielles intra-vaginales et de l'hymen, la présence de signes d'oestrogénisation débutants, ainsi qu'un orifice vaginal largement perméable (estimé de 1.5 à 2 cm environ). Relevant que, même chez une fille de 9 ans présentant un status pubère précoce, une quasi-absence de l'hymen ne permettait pas d'affirmer ou d'infirmer avec certitude s'il y a eu une pénétration pénienne au niveau vaginal, les médecins ont toutefois affirmé qu'il était plutôt rare d'observer une telle configuration hyménale chez une fille de cet âge. De l'avis des médecins, le status hyménal constaté et l'introïtus largement perméable, associés aux rapports sexuels mentionnés par l'intéressée, constituaient des éléments sérieux parlant en faveur de traumatisme/s, tel qu'une/des pénétration/s vaginale/s chez cet enfant de 9 ans présentant un status gynécologique comparable à celui d'une femme adulte. Ils ont finalement indiqué que certains traumatismes, tels que des attouchements sexuels, ne laissaient pas nécessairement de traces visibles et qu'il était également possible que certaines lésions aient pu disparaître sans laisser de traces.
B.f. Dans un rapport du 23 mars 2018, une psychologue et une psychothérapeute de J._, association qui avait assuré le suivi de B._ depuis le 15 janvier précédant, ont relevé que cette jeune fille souffrait d'un syndrome de stress post-traumatique spécifique à un abus sexuel de la part de son grand-père, ainsi qu'elle l'identifiait clairement. Elles ont notamment relevé la présence de symptômes envahissants tels que des réactions dissociatives au cours desquelles l'enfant s'agitait comme si l'événement allait se reproduire. En particulier, dès que le thème était abordé de très loin, elle se figeait et se coupait de ses émotions, ce qui pouvait être qualifié d'absence, laquelle pouvait affecter sa capacité de concentration à l'école. Elle avait également fait état de cauchemars à répétition mettant en scène ce que son grand-père lui faisait. Elle prétendait aussi avoir tout le temps peur que cela recommence et souffrait d'images intrusives surgissant à n'importe quel moment de la journée comme si les abus étaient en train de se reproduire. Elle ressentait en outre régulièrement des accélérations du rythme cardiaque, des mains moites et une oppression au niveau des poumons.
Par ailleurs, les professionnelles ont relevé que B._ subissait des pressions au niveau familial, souffrait du fait que sa mère ne la soutenait pas et pensait qu'elle était une menteuse, lui reprochant également de ne lui avoir rien raconté et lui disant que si elle l'avait fait, elle aurait alors pu en parler à son propre père et que ça se serait arrêté. La jeune fille ne savait pas ce qu'elle devait dire à la psychologue chargée de l'expertise de crédibilité: devait-elle répéter ses déclarations à la police ou plutôt, comme le souhaitait sa maman, se rétracter. Confrontée à ces pressions, elle s'enfermait dans un état d'anxiété et de solitude massif.
B.g. Le 23 mars 2018, à titre superprovisionnel et à la suite de l'hospitalisation en urgence de B._ la veille, le droit de déterminer le lieu de résidence de cette dernière a été retiré à sa mère et confié à l'Office pour la protection de l'enfant (OPE). Les relations personnelles entre E._ et sa fille ont été suspendues et l'OPE a été chargé d'une curatelle éducative et de surveillance des relations personnelles en faveur de cette dernière. Le 5 avril 2018, l'hospitalisation de B._ a pris fin et celle-ci a été placée en famille d'accueil. Le 10 avril 2018, la décision du 23 mars 2018 a été confirmée, de même que le placement et la curatelle mise en place. Le droit de visite de E._ a été réglementé. Le 19 juin 2018, E._ s'est vu restituer le droit de déterminer le lieu de résidence de sa fille, laquelle a regagné le domicile de sa mère le 22 juin suivant.
B.h. Le 15 mai 2018, sur mandat du 1er février 2018, une expertise de crédibilité des déclarations de B._ a été établie par la psychologue FSP K._.
Au terme de son analyse, l'experte a considéré qu'il existait quelques indices de crédibilité des déclarations de B._, précisant que son récit par rapport aux faits allégués était cohérent et l'enchâssement contextuel tangible. L'enfant ne présentait aucun trouble de la lignée psychotique qui pourrait expliquer l'émission consciente ou inconsciente de fausses allégations. Elle manifestait par ailleurs certains symptômes présents chez les enfants ayant été abusés sexuellement et il était difficile de considérer qu'elle eût souhaité nuire à son grand-père. En conclusion, selon l'experte, le passage en revue des hypothèses les plus courantes dans les situations de fausses allégations, l'anamnèse de la jeune fille, l'évaluation de sa personnalité, le contexte du dévoilement et le processus de révélation, la congruence entre les faits allégués et l'analyse détaillée de l'audition laissaient penser que la déclaration de B._ était crédible.
L'experte ne constatait pas de raison factuelle d'estimer que cette dernière eût menti. A la question « est-ce que B._ (...) a la possibilité de faire un tel témoignage sans qu'il ne soit basé sur une expérience vécue ? », l'experte a répondu que c'était possible tout en précisant que cette réponse devait être nuancée au vu des éléments énoncés, du rapport médical et des symptômes décrits. De nombreux éléments laissaient à penser que la déclaration de B._ était crédible.
Dans son rapport complémentaire du 29 juin 2018, l'experte a précisé que si seuls certains critères d'évaluation étaient remplis, il convenait cependant de tenir compte d'autres critères qui donnaient de la crédibilité au récit de la jeune fille, comme, par exemple, les aspects psychologiques ou le rapport médical. En outre, la validité de la déclaration était rehaussée si le premier récit de l'abus avait été livré spontanément, ce qui était le cas dans la déclaration de B._. La psychologue a par ailleurs indiqué n'avoir aucun élément permettant de conclure qu'elle aurait subi quelque pression que ce soit pour émettre de fausses accusations, en précisant notamment que s'il était possible d'inventer des faits qui n'existaient pas, il était beaucoup plus difficile d'inventer des affects en découlant. Or la jeune fille présentait certains signes du vécu prévalant chez les victimes d'abus sexuel. Enfin, même si les critères liés à l'analyse de crédibilité étaient peu nombreux, il convenait de prendre en compte d'autres éléments tels que les difficultés manifestées par la jeune fille, les comportements symptomatiques, le contexte de dévoilement, le processus de révélation, la congruence entre les faits allégués et l'analyse détaillée de l'audition ainsi que les évidences médicales.
B.i. Le 5 octobre 2018, à la requête de A._, B._ a été entendue une seconde fois par la police cantonale, sous l'observation d'une psychologue. Le 24 octobre 2018, le procureur a refusé de soumettre l'enfant à une nouvelle expertise de crédibilité requise par A._.
B.j. Le 13 octobre 2018, un courrier anonyme a été adressé au ministère public évoquant l'innocence de A._ et mettant en cause des personnes étrangères à la famille qui auraient menacé la victime pour de l'argent. Le 16 novembre 2018, la police cantonale a constaté qu'une trace digitale relevée au verso de la lettre en cause correspondait à l'empreinte du doigt de A._, lequel a cependant nié toute implication dans la rédaction et l'envoi de ce courrier. Selon un rapport d'expertise graphologique établi le 10 décembre 2018, il est 10'000 fois plus probable que le courrier litigieux soit de la main de A._ que de celle d'un tiers.
B.k. Le 15 mars 2019, une psychologue en charge du suivi de B._ et l'intervenante de J._, ont établi un nouveau rapport. Elles y ont rappelé les symptômes de stress post-traumatique développés au départ par B._ et ont ajouté qu'elle pensait être responsable de l'emprisonnement de son grand-père, de même que des souffrances et difficultés rencontrées par sa mère et sa grand-mère. Après son hospitalisation puis son placement en famille d'accueil, sa situation avait pu évoluer favorablement en raison du changement d'attitude de sa mère.
B.l. Le 30 octobre 2019, la curatrice de B._ a informé le président de la cour cantonale du fait que la jeune fille lui avait indiqué en présence de sa mère - qui avait refusé de la laisser seule - avoir menti sur son grand-père, que celui-ci ne lui avait jamais rien fait, qu'elle avait rêvé que son grand-père lui faisait quelque chose et avait pris ça pour la réalité.
C.
A._ forme un recours en matière pénale contre le jugement cantonal et conclut, avec suite de frais et dépens, à titre principal, à son acquittement de tous les chefs d'accusation retenus contre lui, au rejet des conclusions civiles et au versement d'indemnités en réparation du tort moral. A titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir fait preuve d'arbitraire en retenant la version des faits de la victime, dont les déclarations ont été jugées crédibles.
1.1.
1.1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 2.4 p. 368 et les références citées). La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348 s.; <ref-ruling> consid. 2a p. 40 ss). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> précité consid. 2.2.3.3 p. 351 s.), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 156 et les références citées).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs autres arguments de nature à emporter la conviction (arrêts 6B_435/2018 du 19 septembre 2018 consid. 3.2.1; 6B_1154/2017 du 27 avril 2018 consid. 1.1; 6B_1183/2016 du 24 août 2017 consid. 1.1).
1.1.2. L'expertise de crédibilité (qui porte sur la validité des déclarations de l'enfant, cf. arrêt 6B_944/2019 du 10 décembre 2019 consid. 3.2 et les arrêts cités), s'impose notamment lorsqu'il s'agit d'évaluer les déclarations d'un enfant qui sont fragmentaires ou difficilement interprétables. Elle doit permettre au juge d'apprécier la valeur des déclarations de l'enfant, en s'assurant que ce dernier n'est pas suggestible, que son comportement trouve son origine dans un abus sexuel et n'a pas une autre cause, qu'il n'a pas subi l'influence de l'un de ses parents et qu'il ne relève pas de la pure fantaisie de l'enfant. Pour qu'une telle expertise ait une valeur probante, elle doit répondre aux standards professionnels reconnus par la doctrine et la jurisprudence récentes (<ref-ruling> consid. 5 p. 58 s.; <ref-ruling> consid. 2 p. 84 s.). En cas de suspicion d'abus sexuel sur des enfants, il existe des critères spécifiques pour apprécier si leurs déclarations correspondent à la réalité (cf. à ce sujet arrêt 6B_539/2010 du 30 mai 2011 consid. 2.2.4 publié in SJ 2012 I p. 293). L'expert doit examiner si la personne interrogée, compte tenu des circonstances, de ses capacités intellectuelles et des motifs du dévoilement, était capable de faire une telle déposition, même sans un véritable contexte « expérientiel ». Dans ce cadre, il analyse le contenu et la genèse des déclarations et du comportement, les caractéristiques du témoin, de son vécu et de son histoire personnelle, ainsi que divers éléments extérieurs. Lors de l'expertise de la validité d'un témoignage, il faut toujours avoir à l'esprit que la déclaration peut ne pas être fondée sur la réalité (ATF <ref-ruling> consid. 2 p. 85 s.; arrêt 6B_276/2018 du 24 septembre 2018 consid. 1.2.1).
A l'instar des autres moyens de preuve, le juge apprécie librement la force probante de l'expertise et n'est pas lié par les conclusions de l'expert. Toutefois, il ne peut s'en écarter que lorsque des circonstances ou des indices importants et bien établis en ébranlent sérieusement la crédibilité. Il est alors tenu de motiver sa décision de ne pas suivre le rapport d'expertise. Inversement, si les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, le juge doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 2.1.3 p. 53). Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire. Sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (<ref-ruling> consid. 6 p. 359).
1.2. En l'espèce, la cour cantonale a retenu les faits tels que relatés par l'intimée et a écarté les dénégations du recourant qui affirmait que sa petite-fille avait menti.
1.2.1. La cour cantonale a notamment considéré que les auditions de l'intimée avaient été conduites conformément aux exigences légales en la matière.
Elle a relevé que les explications de B._ relatives au contexte des abus étaient nuancées et non contradictoires, dès lors qu'elle avait affirmé qu'en principe, lorsqu'elle était chez ses grands-parents, elle dormait dans le lit de la chambre à coucher avec sa grand-mère, mais qu'il lui était parfois arrivé de dormir seule avec son grand-père sur le canapé du salon, les abus ayant toujours été perpétrés sur ce canapé, au moment où sa grand-mère couchait son frère dans la chambre. En outre, l'épouse du recourant n'avait pas affirmé de manière catégorique que leur petite-fille n'avait jamais dormi seule avec lui et elle avait reconnu qu'elle pouvait être restée seule avec son grand-père sur le canapé du salon pendant qu'elle-même couchait le petit frère, ce qui était conforme aux dires de l'intimée.
Le fait que la grand-mère de l'intimée avait nié avoir été témoin, à une occasion, du geste de son mari sur sa petite fille n'était pas déterminant puisqu'il n'était pas exclu que la grand-mère, entendue comme personne appelée à donner des renseignements, eût fait usage de son droit de ne pas s'incriminer auquel elle avait été rendue attentive.
1.2.2. Selon la cour cantonale, l'expertise de crédibilité satisfaisait aux exigences méthodologiques posées par la jurisprudence, elle était soigneusement motivée, ne présentait pas de lacunes, répondait à toutes les questions posées et formulait des conclusions qui découlaient logiquement de l'analyse effectuée. La cour cantonale a estimé qu'il n'y avait pas lieu de s'écarter de cette expertise, selon laquelle la déclaration de l'intimée était crédible et aucune raison factuelle ne permettait de retenir un mensonge de sa part.
L'experte judiciaire avait considéré, en s'appuyant sur des éléments convaincants, que les premières déclarations de la jeune fille satisfaisaient à sept des dix-neuf critères de la méthode d'évaluation dont trois parmi les cinq premiers. L'experte avait affirmé que la crédibilité des déclarations résultait également d'autres éléments dits « de vérification », à savoir le langage utilisé par la jeune fille (conforme à son niveau de développement, précis et sans trace d'influence d'un tiers ayant fait pression sur elle), la concordance entre son âge et sa maturité, de même que l'expression d'émotions et l'apparition d'une attitude plus agitée ainsi que des pleurs lors de l'évocation des agissements qu'elle affirmait avoir subis.
L'experte avait considéré, de manière à emporter la conviction de la cour cantonale, que les dires de la jeune fille ne résultaient pas d'affabulations, ni, faute d'éléments suffisants pour l'affirmer, d'une volonté de nuire ou de se venger de son grand-père par loyauté envers son père biologique, ni encore d'un contexte de suggestion/induction en lien avec le conflit latent existant entre ses parents, ni finalement, de faux souvenirs.
1.2.3. La cour cantonale a reconnu la valeur probante du rapport gynécologique, considérant que ses conclusions étaient étayées par des examens médicaux approfondis et empreintes de nuances.
1.2.4. La cour cantonale a exclu l'hypothèse avancée par le recourant selon laquelle ce serait sa petite-fille qui aurait employé sa tablette pour y faire les recherches internet évoquées (cf. supra, let. B.d), rappelant que son épouse elle-même avait considéré qu'il était le seul à avoir pu rechercher les sites pornographiques découverts dans l'historique de la tablette, ce que sa fille avait également jugé possible. En outre, rien au dossier ne permettait de retenir que l'intimée eut effectué des recherches à ce sujet sur internet.
1.2.5. Après s'être référée à ces éléments, la cour cantonale a écarté tour à tour les différents griefs soulevés en appel par le recourant, tenant à la valeur probante des rapports et des déclarations des personnes entendues.
Elle a notamment retenu que les quelques mensonges que l'intimée avait proférés par le passé (par exemple après avoir subtilisé de l'argent à sa mère ou quant au comportement de son beau-père à son égard), admis en procédure, ne remettaient pas en cause la véracité de ses déclarations concernant les abus commis par son grand-père, pour lequel elle avait manifesté de l'attachement. Ce d'autant plus que l'experte en était parfaitement informée et n'en avait pas moins jugé crédibles les allégations concernant les abus.
1.2.6. En définitive, se fondant sur l'ensemble de ces éléments et tenant compte en particulier des constats médicaux effectués sur le corps de l'intimée (développement de ses organes génitaux comparable à celui d'une femme adulte compatible avec les pénétrations vaginales alléguées) et de l'existence de stress post-traumatique spécifique à un abus sexuel relevé par les psychologues et psychothérapeutes qui l'ont suivie, la cour cantonale s'est dite intimement convaincue de la réalité des abus sexuels dont l'intéressée accusait de manière crédible son grand-père.
1.3. Le recours s'ouvre sur une présentation personnelle des faits que livre le recourant en s'écartant du jugement entrepris, sans que le moindre grief d'arbitraire ne soit développé, de sorte qu'il n'y a pas lieu de s'y arrêter.
Pour le surplus, l'essentiel du mémoire de recours consiste en une libre appréciation des rapports et expertise, ainsi que de certaines déclarations des personnes auditionnées afin d'appuyer l'opinion du recourant, selon laquelle l'intimée aurait menti. Largement appellatoire, ce procédé est irrecevable.
1.3.1. Le recourant apprécie librement les circonstances d'audition de l'intimée et semble en déduire une absence de valeur probante. Ce faisant, il ne formule aucun grief satisfaisant aux exigences minimales de motivation contre le raisonnement cantonal topique.
En tant que le recourant affirme qu'il n'était pas présent lors de la seconde audition de l'intimée, sans pour autant nier la présence de son avocat, ni prétendre avoir été privé de poser toute question jugée utile, il ne forme aucun grief recevable, en particulier sous l'angle du droit d'être entendu.
En se contentant d'évoquer des mensonges que l'intimée aurait dit par le passé, alors même qu'il en a été tenu compte, tant dans l'expertise de crédibilité que dans le jugement entrepris, lequel expose les motifs pour lesquels ces précédents mensonges ne sont pas déterminants (cf. supra consid. 1.2.5), le recourant ne formule aucun grief recevable.
1.3.2. Le recourant frise la témérité en affirmant, de manière purement appellatoire, partant irrecevable, qu'il « est particulièrement difficile à croire que la plaignante ou même l'acte allégué n'aient pas produit suffisamment de bruit » pour que son épouse s'aperçoive de quelque chose.
En tant que le recourant se borne à qualifier l'appréciation faite par la cour cantonale des dénégations de son épouse relatives à l'épisode d'attouchement dont elle aurait été témoin, « d'argumentaire (...) des plus curieux », sans tenter d'en démontrer l'arbitraire, son moyen est irrecevable.
Il en va de même en tant que le recourant s'étonne du fait que l'intimée ne se soit pas confiée à sa grand-mère - avec qui elle aurait eu l'occasion d'être seule, contrairement à ce qu'elle prétendait - mais à une « simple camarade de classe ».
1.3.3. Le recourant affirme qu'il n'a rien pu faire à sa petite-fille pendant les vacances de son épouse au Portugal entre le 22 septembre et le 3 octobre 2017, au motif que sa fille aurait indiqué que l'intimée n'était pas demeurée seule avec lui pendant cette période. Or il est établi et incontesté que l'intimée et son grand-père se sont rendus au bal de D._ pendant cette période. Aussi, la cour cantonale pouvait, sans arbitraire, retenir que des abus sexuels ont eu lieu au retour de ce bal, ainsi que l'a déclaré l'intimée.
1.3.4. Le recourant ne saurait invoquer des prétendues rétractations de l'intimée alors même qu'il est établi que celle-ci a subi de fortes pressions familiales en ce sens, ce qui a justifié la mise en place d'une curatelle, l'hospitalisation de la victime puis son placement en famille d'accueil. L'argumentation est d'autant plus téméraire du fait qu'il a, d'une part, adressé un courrier « anonyme » clamant son innocence et accusant sa petite-fille d'être une menteuse et, d'autre part, entrepris du chantage affectif auprès de son épouse et de sa fille, ainsi que des menaces de suicide, leur faisant comprendre que, s'il n'était pas remis immédiatement en liberté, son épouse irait au-devant de sérieuses difficultés financières et que sa fille aurait à en pâtir par ricochet (cf. jugement entrepris consid. 5.4 p. 16; 11.1 et 11.2 p. 32; 11.5 p. 34; 14.7.6 p. 43; jugement de première instance consid. 15 p. 32 et 16.9.1 p. 38). Cela étant, le recourant est irrecevable à nier toute pression sur l'intimée, en se fondant, d'une part, sur un prétendu « soutien inconditionnel » qu'aurait exprimé E._ alors que l'exact opposé ressort du jugement entrepris (<ref-law>; cf. supra let. B.f et B.k), et en prétendant, d'autre part, que son incarcération depuis 2017 rendrait impossible de telles pressions de sa part, sans pour autant contester son implication dans la rédaction ou l'envoi de la lettre anonyme du 13 octobre 2018.
Au vu de ce qui précède, en tant que le recourant affirme qu'il « aurait été opportun de procéder à une nouvelle audition de B._ ou à une nouvelle expertise de crédibilité »en lien avec les pressions exercées sur elle, sans avancer le moindre motif en ce sens, ni invoquer de violation d'un droit procédural, son grief est irrecevable sur ce point.
1.3.5. En tant que le recourant se livre à une interprétation personnelle de l'expertise de crédibilité, sans critiquer l'appréciation qu'en a faite la cour cantonale, son procédé est purement appellatoire, partant irrecevable.
En tout état, le recourant se méprend en tant qu'il prétend que l'expertise prendrait pour avérés les abus sexuels alors même que l'experte a admis qu'il était possible que l'intimée eût pu faire un tel témoignage sans être basé sur une expérience vécue, tout en mettant en exergue les nombreux éléments plaidant en faveur d'une déclaration crédible. L'évocation, dans l'expertise, du rapport gynécologique ne prête pas flanc à la critique, étant rappelé qu'une expertise de crédibilité doit notamment analyser les éléments extérieurs (cf. supra consid. 1.1.2).
Contrairement à ce que suggère le recourant, la cour cantonale n'a pas omis que seuls « quelques » indices de crédibilité ont été constatés dans l'expertise, mais elle a considéré que ces indices, cumulés aux autres éléments dits « de vérification », en rendaient les conclusions probantes.
Pour autant que ses griefs soient recevables, le recourant échoue à démontrer que la cour cantonale aurait commis une appréciation arbitraire des preuves en se ralliant au résultat de l'expertise de crédibilité.
1.3.6. Le recourant extrait certaines constatations du rapport gynécologique et affirme que ce rapport ne permet « à l'évidence pas de retenir » qu'il aurait « effectivement abusé sexuellement de l'enfant B._ »et ne suffit pas pour que l'autorité se forge une intime conviction de sa culpabilité.
Ce faisant, le recourant omet que la cour cantonale a fondé son intime conviction sur plusieurs éléments et non sur ce seul rapport, lequel retient toutefois que le statut hyménal et l'introïtus largement perméable, associés aux rapports sexuels mentionnés, constituaient des éléments sérieux parlant en faveur de traumatismes, tels que des pénétrations vaginales chez cet enfant de 9 ans présentant un status gynécologique comparable à celui d'une femme adulte.
Le recourant échoue à démontrer que la cour cantonale aurait fait preuve d'arbitraire dans l'appréciation du rapport gynécologique.
1.3.7. Le recourant ne conteste d'aucune manière les rapports des psychologues de J._ ayant suivi l'intimée, dont il ressort notamment que cette dernière souffrait d'un syndrome de stress post-traumatique spécifique à un abus sexuel et subissait des pressions au niveau familial.
1.3.8. En tant que le recourant s'étonne qu'on puisse lui imputer la consultation de sites pornographiques sur sa tablette et suggère que cela puisse être le fait de son épouse ou de sa petite-fille « curieuse de nature », il ne formule aucun grief répondant aux exigences minimales de motivation en matière d'interdiction d'arbitraire. En tout état, le recourant échoue à démontrer qu'il serait manifestement insoutenable de lui imputer les recherches internet, en portugais, sur sa propre tablette - portant spécifiquement sur l'inceste et la perte de virginité d'une jeune fille par son père - plutôt qu'à son épouse ou à sa petite-fille.
1.3.9. En définitive, le recourant échoue à démontrer en quoi la cour cantonale aurait versé dans l'arbitraire et violé la présomption d'innocence en jugeant crédible la version des événements de l'intimée, en se fondant en particulier sur les différents rapports médicaux (psychothérapeutiques et gynécologique) et sur l'expertise de crédibilité.
2.
Le recourant conteste avoir réalisé la condition objective de la contrainte, nécessaire pour la réalisation de certaines infractions retenues contre lui.
2.1. Les art. 189 et 190 CP tendent à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, l'acte sexuel ou un autre acte d'ordre sexuel. Il s'agit de délits de violence, qui doivent être considérés principalement comme des actes d'agression physique (<ref-ruling> consid. 2.2 p. 109 et les arrêts cités). Les pressions d'ordre psychique concernent les cas où l'auteur provoque chez la victime des effets d'ordre psychique, tels que la surprise, la frayeur ou le sentiment d'une situation sans espoir, propres à la faire céder (<ref-ruling> consid. 3a/bb p. 111; <ref-ruling> consid. 2b p. 129). En cas de pressions d'ordre psychique, il n'est pas nécessaire que la victime ait été mise hors d'état de résister (<ref-ruling> consid. 3b p. 158 s.). Une situation d'infériorité physique ou de dépendance sociale et émotionnelle peut suffire. Pour déterminer si l'on se trouve en présence d'une contrainte sexuelle ou d'un viol, il faut procéder à une appréciation globale des circonstances concrètes déterminantes (<ref-ruling> consid. 2.2 p. 109; arrêt 6B_ 1265/2019 du 9 avril 2020 consid. 3.3.2 destiné à la publication).
En introduisant la notion de « pressions psychiques », le législateur a voulu viser les cas où la victime se trouve dans une situation sans espoir, sans pour autant que l'auteur ait recouru à la force physique ou à la violence (<ref-ruling> consid. 3a/bb p. 110-111; <ref-ruling> consid. 2b p. 100 et les références citées). Ainsi, l'infériorité cognitive et la dépendance émotionnelle et sociale peuvent - en particulier chez les enfants et les adolescents - induire une pression psychique extraordinaire et, partant, une soumission comparable à la contrainte physique, les rendant incapables de s'opposer à des atteintes sexuelles. La jurisprudence parle de « violence structurelle », pour désigner cette forme de contrainte d'ordre psychique commise par l'instrumentalisation de liens sociaux. Compte tenu du caractère de délit de violence que revêt la contrainte sexuelle, la pression psychique générée par l'auteur et son effet sur la victime doivent atteindre une intensité particulière, comparable à l'usage de la violence ou de la menace (<ref-ruling> consid. 3.1 p. 170 s. et les références citées).
Dans un arrêt récent destiné à la publication, le Tribunal fédéral a précisé la jurisprudence relative aux contraintes sexuelles commises par un auteur dans son proche entourage social, en particulier dans le cadre familial (arrêt 6B_1265/2019 du 9 avril 2020). Il en ressort notamment que, dans ces configurations, il y a lieu de déterminer si l'on peut attendre de l'enfant qu'il s'oppose à l'acte de manière indépendante, en tenant compte de son âge, de sa situation familiale et sociale, de la proximité et du rôle de l'auteur dans sa vie, du lien de confiance avec l'auteur et de la manière dont les actes ont été entrepris (arrêt 6B_1265/2019 du 9 avril 2020 consid. 3.5.5 destiné à la publication). Plus l'enfant est jeune, moins les exigences en matière de pressions psychiques sont élevées (arrêt 6B_1265/2019 du 9 avril 2020 consid. 3.3.3 et 3.5.7 destiné à la publication; cf. arrêt 6B_216/2017 du 11 juillet 2017 consid. 1.4.1). Selon les circonstances, une menace ou l'ordre explicite à l'enfant de se taire n'est pas nécessaire pour admettre l'usage de la contrainte (arrêt 6B_1265/2019 du 9 avril 2020 consid. 3.6.1 destiné à la publication).
Dans le cas particulier, le Tribunal fédéral a conclu qu'au vu notamment de l'âge de la victime au moment des faits (entre ses 8 et 10 ans), de l'influence qu'exerçait le beau-père qui bénéficiait d'une totale confiance, de la relation étroite entre les protagonistes et du lieu et de la manière dont les événements se sont déroulés (domicile familial, injonction au silence), on ne pouvait attendre de la victime qu'elle s'oppose aux abus, dès lors qu'elle se trouvait dans une situation sans issue (arrêt 6B_1265/2019 du 9 avril 2020 consid. 3.6 destiné à la publication).
Dans l'arrêt publié aux ATF <ref-ruling>, le Tribunal fédéral a considéré que l'auteur qui avait, pendant cinq ans, commis des actes sexuels sur la fille de sa concubine, âgée initialement de 10 ans, avait exercé sur la fillette une pression psychique, compte tenu du jeune âge de la victime et du fait qu'elle était légèrement débile. Il a tenu compte de la personnalité de la victime, de son âge, du fait qu'elle n'était pas consentante (tentative d'écarter la main de l'auteur) et de sa situation familiale précaire, ainsi que de la position d'autorité de l'auteur, de son caractère et de l'ordre de se taire imposé par lui à l'enfant. Dans l'arrêt publié aux <ref-ruling>, il a été retenu que l'auteur, qui avait abusé d'une enfant de 10 ans, avait exploité sa supériorité générale qu'il tirait de son statut d'adulte, son autorité quasi-paternelle, ainsi que les sentiments amicaux et l'attachement que lui témoignait la fillette, et qu'il l'avait placée face à un conflit de conscience qui la paralysait et la mettait hors d'état de résister.
2.2. En l'espèce, s'agissant de la contrainte sexuelle, la cour cantonale a notamment retenu que, outre le déroulement des événements (l'enfant ne parvenant pas à retirer la main), le recourant avait usé de l'ascendant manifeste que lui donnait sur sa victime leur grande différence d'âge (plus de 40 ans), de leur très proche lien de parenté, ainsi que de l'attachement qu'éprouvait pour lui cet enfant, qu'il avait enjoint de ne rien raconter s'agissant de ce qui se passait entre eux.
Quant aux actes sexuels complets entrepris par le recourant sur sa petite-fille, qui avait à chaque fois demandé d'arrêter car elle avait mal, la cour cantonale a retenu que, pour parvenir à ses fins, il avait usé de la même pression psychique que celle employée pour la contrainte sexuelle et, parfois, de contrainte physique, en la tenant fortement, voire en lui posant les mains sur les cuisses.
2.3. Le recourant ne discute pas la contrainte physique exercée. Il s'en prend exclusivement au raisonnement cantonal relatif à la pression psychique.
Or contrairement à ce qu'il prétend, la cour cantonale ne s'est pas contentée de relever le lien de parenté et la différence d'âge mais a également mis en lumière les injonctions répétées faites à la victime et la relation particulière entre les protagonistes, telle que retenue en fait, sans que l'arbitraire n'en soit démontré. Sur ce dernier point, c'est de manière purement appellatoire, partant irrecevable, que le recourant conteste l'attachement qu'éprouvait pour lui la victime au motif que cela entrerait en contradiction avec le désir exprimé par cette dernière, d'aller chez ses grands-parents pour jouer avec leur chien.
En définitive, sur la base de l'état de fait retenu par la cour cantonale, dont le recourant échoue à démontrer l'arbitraire, et compte tenu du contexte particulier dans lequel se sont déroulés les événements, c'est sans violer le droit fédéral qu'elle a admis la réalisation de la contrainte. Les autres éléments constitutifs des infractions de contrainte sexuelle (<ref-law>) et de viol (<ref-law>) étant clairement établis, la condamnation du recourant pour ces chefs d'infraction ne prête pas flanc à la critique.
2.4. S'agissant des infractions d'actes d'ordre sexuel avec des enfants et d'inceste, le recourant ne développe aucun grief déduit d'une violation des art. 187 et 213 CP, de sorte qu'il n'y a pas lieu de s'y arrêter. La question du concours entre les art. 189, 190 et 187 CP n'est pas davantage discutée (cf. <ref-ruling> consid. 3a p. 157; <ref-ruling> consid. 2a p. 99).
3.
Pour le surplus, le recourant ne critique pas la peine infligée, l'expulsion prononcée, ni la réparation du tort moral. Faute de grief, il n'y a pas lieu d'examiner ces aspects plus avant.
4.
Il s'ensuit que le recours doit être rejeté dans la faible mesure de sa recevabilité. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale II.
Lausanne, le 5 mai 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke