Faits: A. Le 2 octobre 2012, B.A._, née le 28 mars 1994, a déposé plainte contre son père A.A._. Elle lui reprochait de l'avoir abusée sexuellement depuis l'âge de 6 ans, à réitérées reprises, la caressant au niveau des seins et du sexe, la contraignant à lui faire des fellations, à subir des cunnilingus, lui imposant l'acte sexuel complet, tout en se retirant généralement pour éjaculer dans des mouchoirs. La mère de B.A._ a également déposé plainte ultérieurement pour voies de fait contre son mari, père de B.A._. Par jugement du 3 mai 2013, le Tribunal criminel des Montagnes et du Val-de-Ruz a déclaré A.A._ coupable de voies de fait, d'actes d'ordre sexuel avec une enfant, de contraintes sexuelles et de viols et l'a condamné à une peine privative de liberté de 5 ans, a ordonné un traitement psychothérapeutique ambulatoire en milieu carcéral et a condamné A.A._ à payer à B.A._ 40'000 fr. à titre de réparation morale. En bref les premiers juges ont admis qu'un faisceau d'indices permettait de privilégier la version de B.A._ au détriment de celle de son père, qui niait les faits, et a retenu que ce dernier avait frappé à plusieurs reprises son épouse. B. Sur appel du condamné, la Cour pénale du Tribunal cantonal neuchâtelois a, par jugement du 1er octobre 2013, confirmé la décision de première instance. La Cour cantonale a rappelé les éléments sur lesquels s'étaient fondés les premiers juges pour asseoir leur conviction (jugement attaqué p. 7 à 10) et est arrivée à la conclusion qu'elle partageait cette dernière (jugement attaqué p. 11). C. A.A._ forme un recours en matière pénale contre ce dernier jugement. Invoquant une violation de la présomption d'innocence (art. 32 al. 1 Cst. et 6 par. 2 CEDH), du principe in dubio pro reo, ainsi que de l'interdiction de l'arbitraire, il demande l'annulation du jugement attaqué et sa réforme par le prononcé de son acquittement des infractions d'actes d'ordre sexuel avec une enfant, de contraintes sexuelles et de viols, sa condamnation à une peine d'amende pour les infractions restantes ainsi que le rejet des conclusions civiles de sa fille, subsidiairement le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite également l'assistance judiciaire gratuite. Il n'a pas été requis d'observations.