Faits:
A.
Le 2 octobre 2012, B.A._, née le 28 mars 1994, a déposé plainte contre son père A.A._. Elle lui reprochait de l'avoir abusée sexuellement depuis l'âge de 6 ans, à réitérées reprises, la caressant au niveau des seins et du sexe, la contraignant à lui faire des fellations, à subir des cunnilingus, lui imposant l'acte sexuel complet, tout en se retirant généralement pour éjaculer dans des mouchoirs. La mère de B.A._ a également déposé plainte ultérieurement pour voies de fait contre son mari, père de B.A._.
Par jugement du 3 mai 2013, le Tribunal criminel des Montagnes et du Val-de-Ruz a déclaré A.A._ coupable de voies de fait, d'actes d'ordre sexuel avec une enfant, de contraintes sexuelles et de viols et l'a condamné à une peine privative de liberté de 5 ans, a ordonné un traitement psychothérapeutique ambulatoire en milieu carcéral et a condamné A.A._ à payer à B.A._ 40'000 fr. à titre de réparation morale.
En bref les premiers juges ont admis qu'un faisceau d'indices permettait de privilégier la version de B.A._ au détriment de celle de son père, qui niait les faits, et a retenu que ce dernier avait frappé à plusieurs reprises son épouse.
B.
Sur appel du condamné, la Cour pénale du Tribunal cantonal neuchâtelois a, par jugement du 1er octobre 2013, confirmé la décision de première instance.
La Cour cantonale a rappelé les éléments sur lesquels s'étaient fondés les premiers juges pour asseoir leur conviction (jugement attaqué p. 7 à 10) et est arrivée à la conclusion qu'elle partageait cette dernière (jugement attaqué p. 11).
C.
A.A._ forme un recours en matière pénale contre ce dernier jugement. Invoquant une violation de la présomption d'innocence (art. 32 al. 1 Cst. et 6 par. 2 CEDH), du principe in dubio pro reo, ainsi que de l'interdiction de l'arbitraire, il demande l'annulation du jugement attaqué et sa réforme par le prononcé de son acquittement des infractions d'actes d'ordre sexuel avec une enfant, de contraintes sexuelles et de viols, sa condamnation à une peine d'amende pour les infractions restantes ainsi que le rejet des conclusions civiles de sa fille, subsidiairement le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite également l'assistance judiciaire gratuite.
Il n'a pas été requis d'observations.

Considérant en droit:
1.
Le recourant invoque une violation de la présomption d'innocence, du principe in dubio pro reo (art. 6 § 2 CEDH, 32 al. 1 Cst. et 10 CPP) et de l'interdiction de l'arbitraire (art. 9 Cst.).
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 2.4 p. 5). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). Comme principe présidant à l'appréciation des preuves, la présomption d'innocence est violée si le juge du fond se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû, objectivement, éprouver des doutes (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire, détaillée (<ref-ruling> consid. 1.4 p. 287) et circonstanciée (<ref-ruling> consid. 1.3.1 p. 68). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 10.1 p. 445 et les références citées).
1.2. Les premiers juges, suivis par la cour cantonale, ont admis la culpabilité du recourant et retenu la version de la victime sur la base d'une série d'éléments énumérés en p. 7 ss du jugement attaqué. Les objections du recourant, reprises dans son recours, ont été examinées dans le jugement cantonal. Ainsi, il n'a pas été ignoré que la première réaction de la mère de la victime a été l'incrédulité (jugement attaqué let. d p. 7 et let. h p. 8), qu'il est étonnant que la mère présente dans l'appartement n'ait rien remarqué (let. i p. 9), que l'entente entre la victime et sa mère était mauvaise, à tout le moins avant la présente affaire (let. h p. 8), que D.D._, qui a séjourné depuis mars 2012 dans la famille de la victime, avait d'emblée constaté que le comportement de la famille A._ n'était pas normal, que c'est d'ailleurs au moment où elle a annoncé qu'elle allait quitter la maison que la victime a dévoilé les faits (let. c et o p. 7 et 10). L'autorité précédente n'a pas ignoré non plus que les déclarations de la jeune E.D._ ne sont pas conformes aux déclarations de la victime (let. p p. 10). De même le jugement cantonal a examiné les circonstances du dévoilement des faits par la victime (let. c p. 7 et p. 11), le fait qu'elle était d'apparence joyeuse (let. n p. 10) et la relation de la victime avec son père (let. f et g p. 8), a écarté la thèse du complot soutenue par le recourant (let. h p. 8 et p. 9 et 11) et a exposé en quoi les différents éléments retenus entraînaient sa conviction.
Le recourant reprend dans son recours devant la cour de céans les objections qu'il a formulées en instance cantonale, en se contentant d'opposer sa propre interprétation à celle de l'autorité précédente et d'affirmer que celle-ci aurait dû éprouver des doutes, sans aucunement démontrer en quoi le jugement attaqué serait entaché d'arbitraire (recours p. 6 à 9), ce qui n'est pas admissible (cf. supra consid. 1.1). Il semble de plus reprocher à la cour cantonale d'avoir privilégié la thèse de la victime, en l'absence d'aveux et sans preuve matérielle. Les raisons qui ont amené les juges cantonaux à admettre la version de la victime ressortent cependant très largement du jugement attaqué auquel il peut être renvoyé. Faute d'aveux et en présence de déclarations contradictoires des protagonistes, ce qui est souvent le cas dans les affaires de moeurs, une condamnation qui repose sur des indices concluants qui privilégient la thèse de la victime n'est en rien arbitraire et le grief du recourant ne peut qu'être rejeté, supposé qu'il soit recevable.
1.3. Dans la partie de son recours relatif au grief d'arbitraire (p. 8 et ss), le recourant conteste que certains indices non pertinents puissent servir à motiver sa culpabilité. Cependant, même si isolément ces indices ne permettraient pas d'établir la culpabilité du recourant, il n'est pas insoutenable d'en tenir compte en sus d'autres éléments pour asseoir une intime conviction. Le jugement attaqué admet d'ailleurs lui-même que les éléments relevés par le recourant (parmi lesquels ne figurent pas les relations virtuelles du recourant sur Facebook ou ses nombreux contacts avec les femmes, contrairement à ce qu'il affirme en p. 9 de son recours) ne sont pas décisifs à eux seuls, mais qu'ils sont troublants et paraissent confirmer la mise en cause de la victime (jugement attaqué let. j p. 9). Le recourant se contente de nier l'importance de ces éléments, sans démontrer en quoi il serait insoutenable d'en tenir compte à titre très secondaire. Le jugement attaqué se fonde en réalité sur quinze autres éléments pour conclure à la culpabilité du recourant, éléments auxquels ce dernier ne fait qu'opposer sa propre appréciation ou interprétation, sans en démontrer le caractère arbitraire, ce qui ne suffit pas pour répondre aux exigences de motivation rappelées ci-dessus (cf. supra consid. 1.1). Ce faisant, le raisonnement de la cour cantonale ne prête donc pas flanc à la critique.
2.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Le recours étant dénué de chance de succès, la requête d'assistance judiciaire doit également être rejetée. Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>). La victime, intimée, qui n'a pas été amenée à se déterminer, n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 7 avril 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod