Faits :
A.
En mai 2001, C._, née en 1988, a fait part à sa mère B._ que A._, beau-père de la première et mari de la seconde, avait eu envers elle des gestes ambigus.
En février 2002, X._, née en 1998 et fille de B._ et de A._, a à son tour fait part à sa mère d'actes que son père aurait commis sur elle. Dans ses termes d'enfant, X._ s'est plainte que son père ait à plusieurs reprises, notamment, introduit ses doigts dans son anus et son vagin et pénétrée.
B.
Par jugement du 19 octobre 2007, le Tribunal du IIIe arrondissement pour le district de Monthey a libéré A._ de la prévention de tentative d'actes d'ordre sexuel avec des enfants, d'actes d'ordre sexuel avec des enfants, d'actes d'ordre sexuel sur une personne incapable de discernement ou de résistance et d'inceste.
C.
Statuant sur appels des parties civiles par jugement du 15 juin 2009, le Tribunal cantonal du canton du Valais a condamné A._ à une peine privative de liberté de sept mois avec sursis pendant deux ans pour tentative d'actes d'ordre sexuel avec des enfants et actes d'ordre sexuel avec des enfants au détriment de C._. Il l'a acquitté de toute infraction à l'encontre de X._.
D.
Par arrêt du 8 avril 2010 (6B_608/2009, 6B_674/2009), le Tribunal fédéral a admis le recours de X._, annulé le jugement du 15 juin 2009 et renvoyé la cause à l'autorité précédente pour nouvelle appréciation des preuves la concernant. Il a rejeté le recours en matière pénale formé par A._ à l'encontre de sa condamnation pour les actes commis contre C._.
E.
Par jugement du 11 décembre 2013, la Cour pénale I du Tribunal cantonal du Valais a reconnu A._ coupable d'actes d'ordre sexuel avec des enfants, d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et d'inceste. Elle l'a condamné à une peine privative de liberté de trente-deux mois, peine complémentaire à celle de sept mois prononcée avec sursis le 15 juin 2009. Elle l'a en outre astreint à verser à X._, 30'000 fr. avec intérêt à 5% l'an dès le 8 juin 2001 à titre de réparation du tort moral.
F.
A._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à son acquittement des chefs d'accusation d'actes d'ordre sexuel avec des enfants, d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et d'inceste et au rejet de toutes les prétentions civiles. Subsidiairement, il requiert le prononcé d'une peine compatible avec le sursis partiel et le renvoi des prétentions civiles au for civil. Il sollicite l'assistance judiciaire.
Interpellés sur le chiffre 5.1 du recours intitulé "de la quotité de la peine", le Ministère public a renoncé à se déterminer, la Cour pénale I a formulé des observations.

Considérant en droit :
1.
Le recourant invoque de nombreux faits ne résultant pas du jugement entrepris. Les faits nouveaux sont irrecevables (art. 99 al. 1 LTF). Le recourant n'allègue ni ne démontre, conformément aux exigences de motivation accrues posées par l'art. 106 al. 2 LTF, l'arbitraire de leur omission. Le renvoi à des déterminations versées au dossier, sans autre argumentation, est également irrecevable.
2.
Le recourant estime que l'appréciation par l'autorité précédente de plusieurs preuves figurant au dossier est arbitraire. Il invoque également une violation de la présomption d'innocence dès lors qu'aucune "preuve décisive" ne permettait de confirmer avec certitude les accusations portées à son encontre.
2.1. La présomption d'innocence, garantie par les art. 32 al. 1 Cst. et 10 CPP, concerne tant le fardeau que l'appréciation des preuves. Comme règle régissant l'appréciation des preuves, telle qu'invoquée dans le présent recours, elle est violée si le juge se déclare convaincu de faits défavorables au prévenu sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Dans cette mesure, la présomption d'innocence se confond avec l'interdiction générale de l'arbitraire (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41).
Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_118/2009 du 20 décembre 2011 consid. 7.2.2 non reproduit in <ref-ruling>).
Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313).
L'expertise est soumise à la libre appréciation du juge. En se fondant sur une expertise non concluante, le juge peut toutefois tomber dans l'arbitraire (<ref-ruling> consid. 3.2 p. 547 s., également 138 III 193 consid. 4.3.1 p. 199).
2.2. Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 232). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 10.1 p. 445).
2.3.
2.3.1. Dans un premier temps, se fondant sur les constatations du Dr E._ basées sur l'examen des organes génitaux externes de X._ et confirmées par les Drs M._ et N._ du CHUV, l'autorité cantonale a constaté que X._ avait bien été victime des faits qu'elle a pu décrire avec les limites de langage tenant à son jeune âge. Ses accusations étaient encore étayées par l'avis des thérapeutes qui l'ont suivie, soit les Drs E._, G._, Q._ et P._, cette dernière n'ayant jamais trouvé de signe, tout au long de son suivi de X._, lui permettant de mettre en doute les affirmations concernant des actes sexuels qu'elle aurait subis (jugement attaqué, p. 13-14, ch. 7.1.1 s.).
2.3.2. Dans un deuxième temps, l'autorité cantonale s'est penchée sur l'identité de l'auteur de ces actes. Elle a considéré comme plausible l'explication de la Dresse G._ que X._ craignait après son hospitalisation de rentrer chez elle, car elle associait son retour à la maison avec le souvenir de ce qui s'y était passé avec son père, ce même si ce dernier avait quitté depuis longtemps le domicile familial. Aucun élément ne laissait suspecter un abus extérieur, notamment du demi-frère de X._ vivant la semaine dans une école spécialisée. L'autorité cantonale s'est fondée sur les avis des experts H._ et L._ (jugement attaqué, p. 7.1.3). Elle a de plus constaté que X._ avait répété dans des termes semblables, compte tenu de son âge, les faits qu'elle avait exposés à la police, manifestant ainsi une constance corroborant l'avis de trois experts selon lesquels rien ne laisse penser qu'elle présente un fonctionnement psychologique ou des traits qui pourraient suggérer qu'elle opère psychologiquement en dehors de la réalité ou avec des distorsions particulières. Il n'est pas non plus vraisemblable que les faits dénoncés, dont le corps de la victime porte les conséquences, aient été suggérés par son entourage. Ni l'expert L._, ni l'expert R._ ne prêtent en particulier d'intention malveillante à la mère de X._. Le recourant est quant à lui peu crédible, niant tout acte délictueux, y compris ceux commis sur C._ et prétendant, notamment, qu'il ne se serait jamais trouvé seul avec X._ alors qu'ils partageaient la même chambre. Ces éléments ont convaincu l'autorité précédente que seul le recourant avait pu commettre les actes dont le corps de X._ portait les séquelles.
L'autorité cantonale a estimé que cette conviction était confirmée par l'expertise du Dr H._ et non infirmée par les conclusions de l'autre expertise de crédibilité, celle du Dr R._ (jugement attaqué, p. 15, ch. 7.1.4 ss). Ce dernier a conclu qu'il n'était pas possible d'affirmer que les allégations de X._ ne correspondaient pas à des événements qui se seraient réellement déroulés, quand bien même l'analyse, selon la méthodologie scientifique actuellement admise, de sa narration vidéo filmée n'offrait pas suffisamment d'éléments formels saillants pour soutenir sa crédibilité. Par ailleurs, le processus de dévoilement particulier des déclarations de l'enfant et le contexte familial ou judiciaire dans lequel elles se sont déroulées ne permettent pas d'exclure que différents biais, voire des contaminations, ont potentiellement suscité tout ou partie de la substance de ses déclarations incriminantes à l'égard de son père (jugement attaqué, p. 12, ch. 5.2.4 et pièce 1101).
L'autorité cantonale a considéré que de telles conclusions ne renversaient pas sa conviction, fondée sur les éléments précités en particulier les lésions constatées sur X._ et l'exclusion de l'intervention d'un tiers dans l'origine de celles-ci, que le recourant était bien l'auteur des sévices commis sur sa fille. Au regard de ces éléments, il faudrait au moins une affirmation solidement étayée et sans équivoque de l'expert sur le caractère mensonger ou inexact des déclarations de X._, pour qu'il puisse subsister un doute raisonnable sur la culpabilité du recourant (jugement attaqué, p. 15, ch. 7.1.9).
2.4. Le recourant estime arbitraire l'appréciation de la lettre de la Dresse P._. Se fondant principalement sur des éléments non retenus par l'autorité cantonale, il n'expose ni l'appréciation qu'il conteste ni dans quelle mesure cette appréciation conduirait à un résultat arbitraire. Son grief est irrecevable. Au demeurant, l'avis de la Dresse P._ n'a été pris en considération par l'autorité cantonale que pour "étayer" (jugement entrepris, p. 14, ch. 7.1.2) le constat physique d'abus sexuels, constat retenu sur la base de l'avis concordant de trois médecins. Or le recourant n'allègue ni ne démontre l'arbitraire de la force probante donnée à ces avis.
2.5. Le recourant conteste "le poids donné au courrier de la Dresse G._" (recours, p. 6, ch. 4.1.2). Ses critiques dudit courrier, en partie fondées sur des éléments ne résultant pas du jugement attaqué sans que l'arbitraire de leur omission ne soit invoqué, s'avèrent purement appellatoires. Il n'expose en outre pas en quoi l'appréciation qu'il critique aurait conduit à un résultat arbitraire. Son grief est irrecevable. Par surabondance, il n'était pas arbitraire de considérer comme plausible que les maux au bas ventre dont se plaignait X._ - rien n'ayant été mis en évidence sur le plan physique - aient été causés par la somatisation du souvenir des actes sexuels subis. L'association d'idées entre la peur de X._ de retourner à la maison après son hospitalisation et le souvenir des abus subis là-bas, soit par son père, n'apparaît pas non plus insoutenable.
2.6. Le recourant estime que l'autorité cantonale a arbitrairement apprécié l'expertise du Dr R._.
2.6.1. Les conclusions de cette expertise ont été reprises ci-dessus ad consid. 2.3.2 2ème paragraphe. En d'autres termes, au vu des informations dont il disposait, l'expert n'a pu ni exclure ni affirmer que les déclarations de X._ étaient vraies ou que des contaminations auraient suscité tout ou partie des déclarations de l'enfant. L'autorité cantonale a considéré que de telles conclusions ne remettaient pas en question sa conviction de la culpabilité du recourant, fondée sur plusieurs autres éléments.
2.6.2. Le recourant invoque que l'autorité cantonale n'aurait pas tenu suffisamment compte dans l'appréciation de l'expertise du Dr R._ de certains éléments, dont l'existence de problèmes dans le déroulement de l'audition par la police, le contexte global ou le risque de fausses allégations dans certaines situations. Il invoque également des faits ne résultant pas du jugement entrepris et d'"importantes réserves" émises par les experts H._ et L._ sur l'audition de X._ (recours, p. 8). Il n'expose toutefois pas quel élément précisément aurait été omis et dans quelle mesure cet élément, pris en compte, aurait dû conduire à une appréciation différente de l'expertise et, surtout à une appréciation différente des faits. Insuffisamment motivé, le grief est irrecevable.
2.6.3. Le recourant invoque la conclusion de l'expert estimant qu'on ne pouvait exclure que l'enfant ait été manipulée. Contrairement à ce qu'il soutient, cette seule conclusion n'imposait pas de considérer, sous peine d'arbitraire, que tel avait été le cas.
2.6.4. Le recourant se réfère au protocole d'évaluation de crédibilité dit Statement validity analysis (SVA). Celui-ci aurait été appliqué par l'expert. Il ressortirait du rapport d'expertise que seuls deux des dix-neufs critères prévus par ce protocole étaient remplis, de sorte que l'expert, et avec lui, l'autorité précédente, auraient dû considérer que les déclarations de X._ n'étaient pas crédibles.
L'expert n'a pas appliqué purement le protocole SVA à son examen (rapport du 5 mars 2013, p. 4 s.). Il ne le devait pas (arrêt de renvoi du 8 avril 2010 précité, consid. 4.2). Il ne le pouvait pas, n'ayant pas procédé lui-même à l'audition de X._ conformément aux exigences prescrites par les SVA pour pouvoir apprécier la crédibilité de la personne entendue selon ces critères (cf. Niveau/Berclaz/Lacasa/ With, Mise en oeuvre du protocole d'évaluation de crédibilité SVA dans le contexte médico-légal francophone, in Swiss Archives of Neurology and psychiatry 2013, p. 99 ss, p. 102 ss). Il a en effet uniquement analysé les déclarations que l'enfant avait faites à la police. Il ne ressort pas du rapport d'expertise que le Dr R._ ait retenu le score de deux sur dix-neuf. La lecture de son raisonnement permet au contraire de comprendre, comme l'indiquent clairement ses conclusions, que l'expert a considéré que les éléments dont il disposait ne suffisaient pas pour procéder à une analyse selon les méthodes préconisées par la recherche scientifique (rapport du 5 mars 2013, p. 17, également p. 16). L'expert a au demeurant souligné avant la présentation de son analyse que l'examen auquel il procédait n'était pas un test quantitatif dont un score final permettrait d'affirmer que les dires de la personne auditionnée sont ou ne sont pas crédibles (rapport du 5 mars 2013, p. 15). La thèse "scientifique" présentée par le recourant apparaît ainsi infondée et avec elle le grief d'arbitraire quant à l'appréciation du rapport d'expertise par l'autorité cantonale.
2.7. Même en écartant l'expertise du Dr R._ - qui ne conclut pas que les déclarations de l'enfant sont fausses ou non crédibles - les différents éléments retenus par l'autorité précédente - dont le constat deux fois confirmé de traces physiques d'abus sexuels, l'exclusion d'intervention extérieure et le fait que le recourant partageait sa chambre avec sa fille (cf. supra consid. 2.3) - permettaient, sous l'angle de l'examen limité à l'arbitraire, de retenir que le recourant était l'auteur des actes dénoncés. Le grief d'arbitraire est infondé. Celui de violation de la présomption d'innocence, consistant à invoquer qu'il n'existe aucune preuve décisive, l'est également pour le même motif.
3.
Le recourant conteste la peine qui lui a été infligée, tant au niveau de la quotité que du refus d'accorder le sursis partiel, voire total.
3.1. Selon l'art. 47 CP, le juge fixe la peine d'après la culpabilité de l'auteur. Celle-ci doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents judiciaires, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 2.1 p. 19; <ref-ruling> consid. 6.1 p. 20).
Lorsque la peine entrant en considération se situe dans un intervalle dont les bornes comprennent la limite supérieure à l'octroi du sursis (24 mois), du sursis partiel (36 mois) ou de la semi-détention (1 an), le juge doit se demander si une peine inférieure à cette limite apparaît encore soutenable et, dans cette hypothèse, la prononcer. Dans le cas inverse, il est libre de prononcer une peine, pour peu qu'elle soit adéquate et justifiable, même si elle n'excède que de peu la limite en cause. Dans tous les cas, le juge doit expressément motiver sa décision sur ce point (<ref-ruling> consid. 3.5 s. p. 24 s.). Dans ce dernier arrêt, le Tribunal fédéral avait examiné le respect de cette obligation de motiver s'agissant d'une peine privative de liberté de 27 mois, soit une peine dont la durée ne dépassait que de trois mois la durée maximale permettant le sursis total.
3.2. En l'espèce, l'autorité cantonale a à tort pris en considération l'absence d'antécédents en faveur du recourant (<ref-ruling>). Elle a en revanche pris à juste titre compte de la légère diminution de responsabilité constatée par expertise, afin de ne considérer la faute du recourant que de grave à très grave. Elle a également pris en considération à charge du recourant le concours d'infractions et en sa faveur le temps écoulé. Tenant compte de sa condamnation, le 15 juin 2009, pour les actes commis à l'encontre de C._, à une peine privative de liberté de sept mois, elle a arrêté la peine privative de liberté globale à quatre ans. Elle a ensuite ramené celle-ci à trois ans et trois mois compte tenu de la longue durée de la procédure. Tenant à juste titre compte de la peine globale et non de la peine complémentaire de trente-deux mois (cf. <ref-ruling> consid. 1 p. 69 s.; arrêt 6B_295/2012 du 24 octobre 2012 consid. 5.7), elle a estimé que le sursis partiel n'entrait pas en considération.
3.3. La peine globale prononcée n'est que de trois mois supérieure à la limite permettant l'octroi du sursis partiel. Le jugement attaqué ne retient pas un pronostic défavorable excluant ce sursis. Contrairement à la jurisprudence précitée et l'obligation de motiver prévue par l'art. 50 CP, le jugement attaqué n'examine toutefois pas, d'une part, si la peine entrant en considération se situait dans un intervalle comprenant la limite supérieure permettant le sursis partiel et, d'autre part, si tel était le cas, si une peine inférieure à cette limite apparaissait encore soutenable. Le recours doit être admis sur ce point et le jugement attaqué annulé. Le grief du recourant est en revanche infondé s'agissant du refus du sursis complet, dès lors que la peine globale excède largement la durée maximale permettant un tel sursis.
4.
Le recourant estime disproportionnée l'indemnité pour tort moral de 30'000 fr. accordée à sa fille. Il invoque comme seul argument que l'autorité précédente ne disposait d'aucun élément objectivement démontré relatif aux éventuelles séquelles psychologiques, actuelles ou futures dont souffrirait X._.
Le recourant a gravement abusé sexuellement de sa propre fille, alors à peine âgée de trois ans, en 2001. Plus d'une année après le départ du recourant de la maison, X._, âgée de quatre ans et demi, a dû être suivie par un pédiatre et une psychiatre et être hospitalisée durant un mois. L'autorité précédente a considéré que ce suivi et cette longue hospitalisation pour un si petit enfant étaient les conséquences des actes que son père lui avait fait subir et attestaient des souffrances endurées. Durant la procédure, près de cinq ans après les faits, X._ a expliqué que chaque fois qu'elle parlait de ce que lui avait fait subir son père, elle faisait des cauchemars. Dans ces circonstances, le recourant ne peut être suivi lorsqu'il nie toutes souffrances psychologiques de X._, au motif que celle-ci n'en aurait pas à nouveau attesté, près de treize ans après les faits. Le recourant a toujours nié en bloc, accusant sa fille de mentir, son ex-femme de fabuler ou encore son ex-beau-fils d'avoir perpétré les actes sexuels qu'il a fait subir à X._. Dans ces conditions, l'indemnité pour tort moral accordée n'est pas disproportionnée. Le grief est rejeté.
5.
Le recours doit être partiellement admis, le jugement attaqué annulé et l'affaire renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Le recours doit être rejeté pour le surplus dans la mesure de sa recevabilité.
Dès lors que le seul point sur lequel le recours est admis concerne la peine, seuls le ministère public et la cour cantonale ont été invités à se déterminer, l'intimée n'ayant pas d'intérêt à pouvoir le faire à cet égard.
Le recourant déclare un gain assuré brut de 5'138 fr. et des indemnités journalières d'un montant total mensuel brut de 4'166 fr. et net de 3'512 fr. 35. Il ressort des pièces produites qu'il supporte un loyer de 570 fr. et fait l'objet d'une saisie sur salaire de 800 fr. relative à une contribution familiale. En janvier 2014, une autre saisie de salaire de 1'500 fr. a été décidée pour des dettes avérées totalisant 1'327 fr. 55, frais de poursuites non compris. La réalité, tout au moins le paiement, des autres dettes invoquées par le recourant n'est pas établi. Dans cette mesure, ce dernier échoue à démontrer son impécuniosité (art. 64 al. 1 LTF). La requête d'assistance judiciaire doit être rejetée. Une partie des frais sera supportée par le recourant (art. 66 al. 1 LTF). Dans la mesure où il obtient partiellement gain de cause, il peut prétendre à des dépens réduits de la part du canton (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
La part des frais judiciaires mise à la charge du recourant est arrêtée à 3'000 francs.
4.
Le canton du Valais versera au recourant une indemnité de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale I.
Lausanne, le 25 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
La Greffière : Cherpillod