Faits : A. Par jugement du 4 octobre 2017, le Tribunal du III ème arrondissement pour le district de Monthey a reconnu X._ coupable d'actes d'ordre sexuel avec des enfants, de contrainte sexuelle et de contravention à l'art. 19a ch. 1 LStup. Il l'a condamné à une peine privative de liberté de 4 ans, cumulée à une amende contraventionnelle de 300 francs, sous déduction d'un jour de détention avant jugement et de la détention subie depuis son jugement. Il a aussi condamné X._ à verser à A._ une indemnité de 10'000 francs à titre de réparation du tort moral. Il a mis les frais de la procédure et les dépens à la charge de X._, sous réserve des dispositions concernant l'assistance judiciaire gratuite dont il bénéficiait. B. Par jugement du 8 mars 2018, la Cour pénale II du Tribunal cantonal du canton du Valais a rejeté l'appel de X._ et confirmé intégralement le jugement de première instance. Elle a mis les frais et dépens de la procédure d'appel à la charge de l'appelant, sous réserve des dispositions concernant l'assistance judiciaire gratuite. La cour cantonale a retenu en substance qu'entre les mois de juillet et de novembre 2015, X._ avait, à trois reprises au moins, caressé le sexe de A._, née en 2007, par-dessus ses habits et qu'il lui avait, à une reprise, caressé la poitrine et le sexe à même la peau, mettant sa main dans la culotte de la prénommée après lui avoir baissé les pantalons. A chaque fois, celle-ci avait crié et, à une reprise, elle avait mordu une des mains de X._ alors que ce dernier avait déjà eu le temps de la toucher. De plus, la cour cantonale a retenu comme établi qu'un samedi de décembre 2015 ou janvier 2016, X._ avait isolé A._, qui jouait dans le parc situé devant les bâtiments de la rue B._ à C._, qu'il avait baissé son pantalon et l'avait forcée à prendre son sexe dans la bouche après lui avoir tiré les cheveux et lui avoir placé un couteau sur le cou, tout en la menaçant de la tuer ainsi que ses parents si elle racontait ces faits. C. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 8 mars 2018. Il conclut, avec suite de frais et dépens, principalement, à son acquittement des préventions d'actes d'ordre sexuel avec des enfants et de contrainte sexuelle. Il ne conteste pas sa condamnation pour infraction à la LStup. Subsidiairement, il requiert l'annulation du jugement et le renvoi de la cause à la juridiction cantonale pour nouvelle décision. Il requiert le bénéfice de l'assistance judiciaire gratuite.