Faits : A. Par jugement du 16 avril 2019, le Tribunal du IIIème arrondissement pour les districts de Martigny et St-Maurice a reconnu A._ coupable d'actes d'ordre sexuel avec des enfants (art. 187 ch. 1 al. 1 CP), de contrainte sexuelle (art. 189 al. 1 CP), de viol (art. 190 al. 1 CP) et d'inceste (art. 213 al. 1 CP) et l'a condamné à une peine privative de liberté de sept ans (sous déduction de la détention subie avant jugement). Il l'a expulsé du territoire suisse pour une durée de dix ans, avec inscription au système d'information SIS Schengen. A._ a été condamné à verser à B._ le montant de 30'000 fr. avec intérêts à titre de réparation du tort moral subi. B. Par jugement du 19 décembre 2019, la Cour pénale II du Tribunal cantonal du Valais a rejeté l'appel formé par A._ contre la décision de première instance. En substance, le jugement cantonal repose sur les faits suivants. Entre le début 2014 et septembre 2017, à des dates indéterminées et à une dizaine de reprises, à son domicile à C._, A._ a pénétré vaginalement de son pénis sa petite-fille B._, née en 2008. A chaque fois, alors qu'elle avait mal et lui disait d'arrêter, il ne l'écoutait pas et poursuivait ses agissements. Par ailleurs, durant la même période et toujours à son domicile, à une reprise, A._ a caressé avec insistance la vulve de B._, cette dernière essayant alors de lui enlever la main mais celui-ci refusant de le faire. Lorsqu'ils étaient seuls en voiture, notamment pour se rendre au bal de D._, A._ parlait de ces événements à sa petite-fille en lui enjoignant de ne jamais raconter ce qu'ils faisaient, sinon " des choses (...) méchantes " pourraient survenir. B.a. A._ (né en 1961) et son épouse, tous deux de nationalité portugaise, ont eu deux enfants dont E._. Cette dernière a épousé F._ en 2008, mariage dont est issue B._, née la même année. Les époux se sont séparés en juillet 2009, puis ont divorcé, E._ obtenant la garde et l'autorité parentale exclusives sur leur fille. Depuis septembre 2011, E._ a fait ménage commun avec G._, avec lequel elle a eu deux enfants. Le 1er octobre 2013, la famille s'est installée dans un appartement se trouvant à l'étage au-dessus de celui de A._ et de son épouse. B.b. Le 30 novembre 2017, la directrice des écoles de C._ a pris contact avec la police cantonale pour l'informer du fait qu'une élève de 6 ème année, H._, avait rapporté à sa mère des confidences que lui avait faites sa camarade de classe B._, à savoir qu'elle avait dû « faire l'amour avec son grand-père ». B.c. Le jour-même, des inspecteurs ont interpellé A._ et l'ont amené au poste de gendarmerie. B._, qui s'apprêtait à s'endormir a « fondu en larmes » à l'arrivée des policiers, en déclarant, sans qu'aucune question ne lui soit alors posée: « je ne voulais pas, c'est mon grand-père qui m'a obligée ». Le soir du 30 novembre 2017, B._ a été interrogée par une inspectrice. Sa déposition a été filmée et une psychologue y a assisté derrière une vitre sans tain. B.d. L'examen du navigateur internet de la tablette de A._, saisie à son domicile le 1er décembre 2017 a révélé qu'entre le 21 septembre et le 21 novembre 2017, de nombreux sites pornographiques ont été consultés, certains comportant notamment les intitulés « jeune fille blonde qui perd sa virginité », « toute jeune fille qui veut perdre la virginité », « père qui enlève la virginité de la fille encore vierge », « papa qui a des relations avec sa fille » ou encore « sexe d'inceste », selon traduction du portugais. B.e. Le 6 décembre 2017, à la demande du ministère public, B._ a été examinée par des médecins du service de gynécologie de l'Hôpital I._. Dans leur rapport du 18 décembre 2017, ceux-ci ont relevé un status comparable à celui d'une femme adulte, caractérisé par une quasi-absence d'hymen, sans lésions cicatricielles intra-vaginales et de l'hymen, la présence de signes d'oestrogénisation débutants, ainsi qu'un orifice vaginal largement perméable (estimé de 1.5 à 2 cm environ). Relevant que, même chez une fille de 9 ans présentant un status pubère précoce, une quasi-absence de l'hymen ne permettait pas d'affirmer ou d'infirmer avec certitude s'il y a eu une pénétration pénienne au niveau vaginal, les médecins ont toutefois affirmé qu'il était plutôt rare d'observer une telle configuration hyménale chez une fille de cet âge. De l'avis des médecins, le status hyménal constaté et l'introïtus largement perméable, associés aux rapports sexuels mentionnés par l'intéressée, constituaient des éléments sérieux parlant en faveur de traumatisme/s, tel qu'une/des pénétration/s vaginale/s chez cet enfant de 9 ans présentant un status gynécologique comparable à celui d'une femme adulte. Ils ont finalement indiqué que certains traumatismes, tels que des attouchements sexuels, ne laissaient pas nécessairement de traces visibles et qu'il était également possible que certaines lésions aient pu disparaître sans laisser de traces. B.f. Dans un rapport du 23 mars 2018, une psychologue et une psychothérapeute de J._, association qui avait assuré le suivi de B._ depuis le 15 janvier précédant, ont relevé que cette jeune fille souffrait d'un syndrome de stress post-traumatique spécifique à un abus sexuel de la part de son grand-père, ainsi qu'elle l'identifiait clairement. Elles ont notamment relevé la présence de symptômes envahissants tels que des réactions dissociatives au cours desquelles l'enfant s'agitait comme si l'événement allait se reproduire. En particulier, dès que le thème était abordé de très loin, elle se figeait et se coupait de ses émotions, ce qui pouvait être qualifié d'absence, laquelle pouvait affecter sa capacité de concentration à l'école. Elle avait également fait état de cauchemars à répétition mettant en scène ce que son grand-père lui faisait. Elle prétendait aussi avoir tout le temps peur que cela recommence et souffrait d'images intrusives surgissant à n'importe quel moment de la journée comme si les abus étaient en train de se reproduire. Elle ressentait en outre régulièrement des accélérations du rythme cardiaque, des mains moites et une oppression au niveau des poumons. Par ailleurs, les professionnelles ont relevé que B._ subissait des pressions au niveau familial, souffrait du fait que sa mère ne la soutenait pas et pensait qu'elle était une menteuse, lui reprochant également de ne lui avoir rien raconté et lui disant que si elle l'avait fait, elle aurait alors pu en parler à son propre père et que ça se serait arrêté. La jeune fille ne savait pas ce qu'elle devait dire à la psychologue chargée de l'expertise de crédibilité: devait-elle répéter ses déclarations à la police ou plutôt, comme le souhaitait sa maman, se rétracter. Confrontée à ces pressions, elle s'enfermait dans un état d'anxiété et de solitude massif. B.g. Le 23 mars 2018, à titre superprovisionnel et à la suite de l'hospitalisation en urgence de B._ la veille, le droit de déterminer le lieu de résidence de cette dernière a été retiré à sa mère et confié à l'Office pour la protection de l'enfant (OPE). Les relations personnelles entre E._ et sa fille ont été suspendues et l'OPE a été chargé d'une curatelle éducative et de surveillance des relations personnelles en faveur de cette dernière. Le 5 avril 2018, l'hospitalisation de B._ a pris fin et celle-ci a été placée en famille d'accueil. Le 10 avril 2018, la décision du 23 mars 2018 a été confirmée, de même que le placement et la curatelle mise en place. Le droit de visite de E._ a été réglementé. Le 19 juin 2018, E._ s'est vu restituer le droit de déterminer le lieu de résidence de sa fille, laquelle a regagné le domicile de sa mère le 22 juin suivant. B.h. Le 15 mai 2018, sur mandat du 1er février 2018, une expertise de crédibilité des déclarations de B._ a été établie par la psychologue FSP K._. Au terme de son analyse, l'experte a considéré qu'il existait quelques indices de crédibilité des déclarations de B._, précisant que son récit par rapport aux faits allégués était cohérent et l'enchâssement contextuel tangible. L'enfant ne présentait aucun trouble de la lignée psychotique qui pourrait expliquer l'émission consciente ou inconsciente de fausses allégations. Elle manifestait par ailleurs certains symptômes présents chez les enfants ayant été abusés sexuellement et il était difficile de considérer qu'elle eût souhaité nuire à son grand-père. En conclusion, selon l'experte, le passage en revue des hypothèses les plus courantes dans les situations de fausses allégations, l'anamnèse de la jeune fille, l'évaluation de sa personnalité, le contexte du dévoilement et le processus de révélation, la congruence entre les faits allégués et l'analyse détaillée de l'audition laissaient penser que la déclaration de B._ était crédible. L'experte ne constatait pas de raison factuelle d'estimer que cette dernière eût menti. A la question « est-ce que B._ (...) a la possibilité de faire un tel témoignage sans qu'il ne soit basé sur une expérience vécue ? », l'experte a répondu que c'était possible tout en précisant que cette réponse devait être nuancée au vu des éléments énoncés, du rapport médical et des symptômes décrits. De nombreux éléments laissaient à penser que la déclaration de B._ était crédible. Dans son rapport complémentaire du 29 juin 2018, l'experte a précisé que si seuls certains critères d'évaluation étaient remplis, il convenait cependant de tenir compte d'autres critères qui donnaient de la crédibilité au récit de la jeune fille, comme, par exemple, les aspects psychologiques ou le rapport médical. En outre, la validité de la déclaration était rehaussée si le premier récit de l'abus avait été livré spontanément, ce qui était le cas dans la déclaration de B._. La psychologue a par ailleurs indiqué n'avoir aucun élément permettant de conclure qu'elle aurait subi quelque pression que ce soit pour émettre de fausses accusations, en précisant notamment que s'il était possible d'inventer des faits qui n'existaient pas, il était beaucoup plus difficile d'inventer des affects en découlant. Or la jeune fille présentait certains signes du vécu prévalant chez les victimes d'abus sexuel. Enfin, même si les critères liés à l'analyse de crédibilité étaient peu nombreux, il convenait de prendre en compte d'autres éléments tels que les difficultés manifestées par la jeune fille, les comportements symptomatiques, le contexte de dévoilement, le processus de révélation, la congruence entre les faits allégués et l'analyse détaillée de l'audition ainsi que les évidences médicales. B.i. Le 5 octobre 2018, à la requête de A._, B._ a été entendue une seconde fois par la police cantonale, sous l'observation d'une psychologue. Le 24 octobre 2018, le procureur a refusé de soumettre l'enfant à une nouvelle expertise de crédibilité requise par A._. B.j. Le 13 octobre 2018, un courrier anonyme a été adressé au ministère public évoquant l'innocence de A._ et mettant en cause des personnes étrangères à la famille qui auraient menacé la victime pour de l'argent. Le 16 novembre 2018, la police cantonale a constaté qu'une trace digitale relevée au verso de la lettre en cause correspondait à l'empreinte du doigt de A._, lequel a cependant nié toute implication dans la rédaction et l'envoi de ce courrier. Selon un rapport d'expertise graphologique établi le 10 décembre 2018, il est 10'000 fois plus probable que le courrier litigieux soit de la main de A._ que de celle d'un tiers. B.k. Le 15 mars 2019, une psychologue en charge du suivi de B._ et l'intervenante de J._, ont établi un nouveau rapport. Elles y ont rappelé les symptômes de stress post-traumatique développés au départ par B._ et ont ajouté qu'elle pensait être responsable de l'emprisonnement de son grand-père, de même que des souffrances et difficultés rencontrées par sa mère et sa grand-mère. Après son hospitalisation puis son placement en famille d'accueil, sa situation avait pu évoluer favorablement en raison du changement d'attitude de sa mère. B.l. Le 30 octobre 2019, la curatrice de B._ a informé le président de la cour cantonale du fait que la jeune fille lui avait indiqué en présence de sa mère - qui avait refusé de la laisser seule - avoir menti sur son grand-père, que celui-ci ne lui avait jamais rien fait, qu'elle avait rêvé que son grand-père lui faisait quelque chose et avait pris ça pour la réalité. C. A._ forme un recours en matière pénale contre le jugement cantonal et conclut, avec suite de frais et dépens, à titre principal, à son acquittement de tous les chefs d'accusation retenus contre lui, au rejet des conclusions civiles et au versement d'indemnités en réparation du tort moral. A titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la cour cantonale pour nouvelle décision. Il sollicite en outre le bénéfice de l'assistance judiciaire.