Faits :
A.
Par jugement du 4 octobre 2017, le Tribunal du III ème arrondissement pour le district de Monthey a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de contravention à l'<ref-law>. Il l'a condamné à une peine privative de liberté de 4 ans, cumulée à une amende contraventionnelle de 300 francs, sous déduction d'un jour de détention avant jugement et de la détention subie depuis son jugement. Il a aussi condamné X._ à verser à A._ une indemnité de 10'000 francs à titre de réparation du tort moral. Il a mis les frais de la procédure et les dépens à la charge de X._, sous réserve des dispositions concernant l'assistance judiciaire gratuite dont il bénéficiait.
B.
Par jugement du 8 mars 2018, la Cour pénale II du Tribunal cantonal du canton du Valais a rejeté l'appel de X._ et confirmé intégralement le jugement de première instance. Elle a mis les frais et dépens de la procédure d'appel à la charge de l'appelant, sous réserve des dispositions concernant l'assistance judiciaire gratuite.
La cour cantonale a retenu en substance qu'entre les mois de juillet et de novembre 2015, X._ avait, à trois reprises au moins, caressé le sexe de A._, née en 2007, par-dessus ses habits et qu'il lui avait, à une reprise, caressé la poitrine et le sexe à même la peau, mettant sa main dans la culotte de la prénommée après lui avoir baissé les pantalons. A chaque fois, celle-ci avait crié et, à une reprise, elle avait mordu une des mains de X._ alors que ce dernier avait déjà eu le temps de la toucher. De plus, la cour cantonale a retenu comme établi qu'un samedi de décembre 2015 ou janvier 2016, X._ avait isolé A._, qui jouait dans le parc situé devant les bâtiments de la rue B._ à C._, qu'il avait baissé son pantalon et l'avait forcée à prendre son sexe dans la bouche après lui avoir tiré les cheveux et lui avoir placé un couteau sur le cou, tout en la menaçant de la tuer ainsi que ses parents si elle racontait ces faits.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 8 mars 2018. Il conclut, avec suite de frais et dépens, principalement, à son acquittement des préventions d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle. Il ne conteste pas sa condamnation pour infraction à la LStup. Subsidiairement, il requiert l'annulation du jugement et le renvoi de la cause à la juridiction cantonale pour nouvelle décision. Il requiert le bénéfice de l'assistance judiciaire gratuite.

Considérant en droit :
1.
Aux termes de l'<ref-law>, aucun fait nouveau ni aucune preuve nouvelle ne peut être présentée en instance fédérale à moins de résulter de la décision de l'autorité précédente.
Le recourant invoque à titre de preuve une lettre envoyée à son épouse par le frère de la mère de l'intimée. Cette lettre, datée du 24 mars 2018, est postérieure au jugement attaqué. La cour cantonale n'a donc pas pu se prononcer sur son contenu. Il s'agit d'un fait nouveau irrecevable devant le Tribunal fédéral.
2.
La cour cantonale a rejeté les demandes de compléments de preuve requis par le recourant et tendant à l'audition de D._ et E._, estimant que la maladie dont est atteinte la première privait son témoignage de pertinence et que les faits sur lesquels devait porter l'audition du second ne concernaient pas directement les faits reprochés au recourant.
Le recourant soutient que la cour cantonale a agi de façon arbitraire et a violé son droit d'être entendu en refusant d'auditionner les témoins invoqués. Il considère que ces témoignages auraient été de nature à établir que la dénonciation dont il avait fait l'objet était motivée par un conflit familial. Les déclarations de l'intimée auraient été influencées par des personnes de la famille, ce qui aurait pu changer l'appréciation de l'expert F._. Ainsi, il serait victime d'une machination alors qu'il est innocent. En agissant comme elle l'a fait, la cour cantonale lui aurait refusé sans motif la possibilité d'établir qu'il était victime d'un conflit familial, ayant une incidence sur les faits dénoncés par l'intimée.
2.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst. (cf. aussi art. 3 al. 2 let. c CPP et 107 CPP), comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 6.3.1 p. 229 et les arrêts cités). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 3.3 p. 64 et l'arrêt cité). Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées).
2.2. En l'espèce, les témoignages refusés devaient clairement porter sur les relations entre les membres de la famille élargie de l'intimée et le recourant. Aucun des témoins invoqués n'a eu une connaissance directe et personnelle des faits imputés au recourant. Dès lors, la cour cantonale pouvait sans arbitraire admettre que ces témoignages ne pouvaient rien apporter concernant les actes reprochés au recourant.
L'expert F._ a évoqué dans son expertise les circonstances qui prévalaient au sein de la famille au moment du dévoilement, en particulier l'existence d'un conflit familial qui serait à l'origine de la dénonciation. Il a retenu qu'une telle influence n'était pas impossible mais qu'il s'agissait d'une pure spéculation que d'admettre que l'intimée avait été exposée aux tensions familiales évoquées par sa mère. L'expert a cependant précisé que l'influence de tiers paraissait peu vraisemblable du moment que l'intimée avait indiqué qu'elle n'avait pas dévoilé les accusations d'actes d'ordre sexuel préalablement au jour de son audition. Poursuivant son examen de la question, l'expert a fait remarquer qu'une évaluation plus approfondie du fonctionnement familial et des entretiens cliniques avec l'intimée seraient utiles pour exclure une hypothétique influence de tiers. Cependant, conscient de cette problématique, l'expert a estimé que les éléments qui émergeaient renforçaient la crédibilité des allégations de l'intimée quant aux actes d'ordre sexuel qu'elle a décrits. Partant de ce constat et tenant compte des quelques faiblesses dans la conduite de l'audition et de certaines imprécisions de l'intimée, qui n'ont pas été reprises et clarifiées, l'expert a conclu que la crédibilité de l'intimée devait être considérée comme forte.
Au vu de ces éléments, la cour cantonale pouvait, sans arbitraire et sans violer le droit d'être entendu du recourant, renoncer à l'audition des témoins invoqués, l'incidence d'un conflit familial n'étant pas rendue plausible.
3.
La cour cantonale a essentiellement fondé la déclaration de culpabilité du recourant sur l'évaluation de l'expert F._, qui a accordé une forte crédibilité aux déclarations de l'intimée. Elle a admis n'avoir aucun motif objectif de mettre en doute la force probante de l'analyse et les conclusions de l'expert. De plus, elle a considéré que les déclarations du recourant avaient varié concernant sa version de certains faits. Enfin, la cour cantonale a retenu que ni la manière dont les autorités ont été initialement alertées, à savoir par deux courriels anonymes envoyés sur le site internet de la commune de C._, ni les déclarations du témoin G._ ne permettaient de douter de la crédibilité des dires de l'intimée. Au contraire, les déclarations du témoin et celles de l'intimée n'étaient nullement inconciliables ou contradictoires.
3.1. Le recourant invoque une violation par la cour cantonale de son droit à un procès équitable, en particulier une violation des art. 6 par. 3 CEDH, 9 Cst., 8 et 10 CPP. Il reproche aux juges précédents de s'être fondés sur les courriels anonymes mais émanant certainement de la « dame du parc », qui est une personne non identifiée et peut-être même non recherchée. De ce fait, la cour cantonale a admis qu'une procédure fondée sur un témoignage dont l'auteur est inconnu, soit poursuivie, ce qui serait, selon le recourant, absolument contraire aux principes régissant un procès équitable.
3.1.1. Aux termes de l'art. 6 par. 3 let. d CEDH, tout accusé a le droit d'interroger ou de faire interroger les témoins à charge et d'obtenir la citation et l'interrogatoire des témoins à décharge dans les mêmes conditions que les témoins à charge. Ce droit découle aussi de l'art. 29 Cst. (cf. pour la jurisprudence relative à l'art. 4 aCst., <ref-ruling> consid. 6b p. 132/133; <ref-ruling> consid. 5b p. 284). Il est également garanti par l'art. 32 al. 2 Cst (<ref-ruling> consid. 3.1 p. 154; cf. plus récemment arrêt 6B_1368/2016 du 15 novembre 2017 consid. 8.1 [non publié aux <ref-ruling>]). On entend par témoins à charge tous les auteurs de déclarations susceptibles d'être prises en considération au détriment de l'accusé, quelle que soit la qualité de ces personnes dans le procès; il s'agit donc aussi des plaignants ou autres parties à la cause (<ref-ruling> consid. 6a in fine p. 132; plus récemment arrêt 6B_22/2012 du 25 mai 2012 consid. 3.1). Les éléments de preuve doivent en principe être produits en présence de l'accusé lors d'une audience publique, en vue d'un débat contradictoire. Il est toutefois admissible de se référer aux dépositions recueillies avant les débats, durant la phase de l'enquête si l'accusé a disposé d'une occasion adéquate et suffisante de contester un témoignage à charge et d'en interroger ou faire interroger l'auteur (<ref-ruling> consid. 6b p. 132; voir aussi <ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 5b p. 284; plus récemment arrêt 6B_22/2012 précité consid. 3.1). Le droit du prévenu de faire poser des questions à un témoin à charge est absolu lorsque la déposition de cette personne constitue une preuve décisive (<ref-ruling> consid. 3.1 in fine p. 154; <ref-ruling> consid. 6c/dd p. 135; plus récemment arrêt 6B_22/2012 précité consid. 3.1).
3.1.2. En l'espèce, il ressort de la décision attaquée que la cour cantonale a considéré les deux courriels anonymes comme des dénonciations ayant provoqué la procédure instruite à l'encontre du recourant. A ce titre, l'auteur de ces écrits aurait dû être recherché et auditionné conformément aux règles applicables. Toutefois, il y a lieu de constater que ces deux écrits n'ont pas constitué une preuve décisive pour la condamnation du recourant. En effet, la cour cantonale s'est principalement fondée sur la crédibilité accordée par l'expert F._ aux déclarations de l'intimée et sur le témoignage de G._ dont les dires ont corroboré pour l'essentiel les déclarations de la victime et accessoirement les faits dénoncés par les courriels anonymes.
Dans ces conditions, la cour cantonale pouvait, sans violer le droit du recourant à un procès équitable, renoncer à rechercher l'auteur de ces écrits et, le cas échéant, à l'auditionner, compte tenu des autres éléments de preuve dont elle disposait.
3.2. Le recourant invoque une violation par la cour cantonale du principe de la présomption d'innocence et du principe " in dubio pro reo ".
Pour le recourant, aucune preuve matérielle n'a pu être apportée quant à sa culpabilité, la cour cantonale n'ayant pris sa décision que sur la base des déclarations de l'intimée et de sa mère. Le recourant est d'avis que les deux témoins entendus sous le couvert de l'anonymat, ne concordent pas dans leurs déclarations et le témoignage de G._ ne correspond en aucun cas aux écrits de la " dame du parc ", restée anonyme. Enfin, le recourant considère que la cour cantonale a fait preuve d'arbitraire en écartant certains éléments troublants qui auraient dû l'amener à douter des accusations portées contre lui, car les seules preuves retenues à son encontre sont des preuves indirectes qui doivent être examinées avec la plus grande prudence et sans écarter une quelconque hypothèse.
3.2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368 et les références citées).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_1154/2017 du 27 avril 2018 consid. 1.1; 6B_1183/2016 du 24 août 2017 consid. 1.1).
La présomption d'innocence, garantie par les art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire, le principe " in dubio pro reo " concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82; arrêt 6B_804/2017 du 23 mai 2018 consid. 2.2.3.1 [destiné à la publication aux ATF]).
3.2.2. En l'espèce, il y a lieu de constater que les contradictions dont fait état le recourant ne sont pas de nature à mettre en doute la crédibilité reconnue aux déclarations de l'intimée. En effet, le recourant fait une interprétation personnelle de certains détails résultant des déclarations des différents intervenants, estimant que le fait pour la cour cantonale, de ne pas s'être prononcée sur son interprétation était arbitraire. Ce faisant, le recourant perd de vue qu'un certain nombre d'éléments importants dans ces déclarations corroboraient celles de l'intimée, en particulier le fait qu'une femme s'en était prise au recourant en raison de ce qu'il était en train de faire subir à l'intimée et que cette intervention avait permis à celle-ci de s'enfuir, ce que le témoin G._ a vu.
Au vu de tels éléments, la cour cantonale pouvait sans arbitraire considérer que ces différents faits, avec les divergences dans le récit et dans l'interprétation qu'il est possible d'en faire, n'étaient pas en contradiction ou inconciliables avec la version des faits de l'intimée et qu'en tout cas ceci ne permettait pas de mettre en doute les déclarations de l'intimée et les conclusions de l'expertise.
4.
Il s'ensuit que le recours doit être rejeté, dans la mesure où il est recevable. L'assistance judiciaire demandée par le recourant doit lui être refusée, le recours étant dépourvu de chance de succès (<ref-law> a contrario). Il supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale II.
Lausanne, le 19 septembre 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens