Faits:
A. Par jugement du 23 janvier 2008, le Tribunal correctionnel du district de Neuchâtel a reconnu A.X._ coupable, au préjudice de sa belle-fille née le 22 avril 1986, d'actes d'ordre sexuel avec une enfant pour la période comprise entre 1999 et le 21 avril 2002, et d'actes d'ordre sexuel avec une personne dépendante commis du 22 avril 2002 jusqu'à l'été 2003. Le tribunal l'a condamné à une peine privative de liberté de trois ans, dont huit mois fermes et le solde avec sursis pendant trois ans.
B. Le 22 décembre 2008, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a admis le pourvoi en cassation formé par le condamné et annulé le jugement de première instance. Elle a renvoyé l'affaire au Tribunal correctionnel du district du Val-de-Travers pour qu'il complète l'instruction et apprécie si, au vu des preuves nouvellement administrées, un verdict de culpabilité était toujours justifié. Elle a considéré que le pourvoi était irrecevable sur les autres éléments d'appréciation des preuves, vu le caractère appellatoire des critiques soulevées.
C. A la suite de ce renvoi, le Tribunal du district du Val-de-Travers a procédé aux mesures d'instruction complémentaires. Par jugement du 5 juillet 2010, il a reconnu A.X._ coupable des mêmes chefs d'infractions que ceux précédemment retenus et lui a infligé une peine identique à celle prononcée le 23 janvier 2008.
D. Par arrêt du 8 octobre 2010, la Cour de cassation pénale a rejeté le pourvoi en cassation déposé par le condamné.
E. A.X._ forme un recours en matière pénale contre ce dernier arrêt. Il conclut à son acquittement.

Considérant en droit:
1. La Cour de cassation pénale a considéré en substance que les premiers juges n'avaient pas apprécié les preuves nouvellement administrées de manière arbitraire (contrôle du téléphone portable de l'accusé, disposition des meubles de la chambre de la jeune fille, vérification des horaires matinaux de la famille et complément des rapports de police). Ces nouveaux éléments n'étaient pas susceptibles de modifier la précédente appréciation des preuves effectuée par le Tribunal. Elle a par conséquent confirmé le verdict de culpabilité qui se fonde sur ce qui suit.
Le Tribunal de première instance s'était trouvé confronté à deux versions contradictoires, celle de l'accusé qui niait avoir commis les actes dont il était accusé, et celle de sa belle-fille. Il a jugé celle-ci crédible au vu du caractère constant, convaincu et mesuré de ses déclarations et de son comportement. Par ailleurs, selon les premiers juges, les dires de l'intimée étaient confirmés par les témoignages des membres de la famille Y._. C.Y._ était alors ami de la jeune fille et le recourant les soupçonnait d'avoir une liaison intime. Alors qu'il se trouvait en voiture avec sa belle-fille, le recourant a reçu un appel téléphonique de C.Y._. L'entretien s'est déroulé sur un ton houleux et le recourant a mal raccroché son téléphone portable. C.Y._ et ses parents, qui se trouvaient avec lui, ont alors été témoins de la conversation qui a suivi entre les parties. Celles-ci ont expressément parlé de leurs relations sexuelles. Le recourant a admis avoir violé l'intimée et l'a enjointe de ne rien dire pour ne pas nuire à la famille. Les premiers juges ont analysé en détail les propos des Y._, les ont recoupés avec ceux de l'intimée et les ont finalement taxés de crédibles. Ils ont enfin relevé que l'attitude possessive et jalouse que manifestait le recourant à l'endroit de sa belle-fille était troublante. Sa thèse selon laquelle la jeune fille voulait briser son ménage et présentait une personnalité perturbée ne trouvait aucune assise dans la procédure, aucun des professionnels de la santé qui s'étaient occupés d'elle n'avait évoqué l'existence de tels troubles lesquels n'étaient pas non plus apparus au cours de ses auditions. A l'issue de cette appréciation des preuves, ils se sont déclarés convaincus que le recourant avait commis les actes qui lui étaient reprochés, sous une réserve quant à la fréquence des rapports sexuels tels qu'ils avaient été allégués par l'intimée.
2. Le recourant reproche à la cour cantonale de ne pas avoir traité ses griefs relatifs à la crédibilité des membres de la famille Y._. Il dénonce ainsi un déni de justice formel.
2.1 Selon la jurisprudence, commet un déni de justice formel et viole par conséquent l'art. 29 al. 1 Cst. l'autorité qui ne statue pas ou n'entre pas en matière sur un recours ou un grief qui lui est soumis dans les formes et délais légaux, alors qu'elle était compétente pour le faire (<ref-ruling> consid. 3a; <ref-ruling> consid. 2.1).
2.2 Il ressort de la motivation de l'arrêt cantonal que les nouvelles preuves administrées en première instance à la suite du renvoi n'ont pas révélé d'éléments susceptibles d'ébranler l'appréciation faite par les premiers juges de la crédibilité de ces témoignages. A ce propos, la Cour cantonale a constaté que le recourant se limitait à rediscuter les témoignages sur la base d'une argumentation identique à celle qu'il avait développée dans son premier pourvoi et qui avait été déclaré irrecevable dans l'arrêt du 22 décembre 2008 pour des motifs tirés du droit de procédure cantonal (arrêt du 22 décembre 2008, p. 4 consid. 2). Après avoir exposé que les principes déduits de l'art. 253 de l'ancien code de procédure pénale neuchâtelois du 19 avril 1945 excluaient que l'autorité de première instance à laquelle une affaire était renvoyée entre en matière sur des griefs qui avaient été écartés ou dont il avait été fait abstraction dans la première procédure de recours, elle n'est pas entrée en matière sur ces critiques.
Force est de constater que l'autorité précédente n'a pas ignoré les griefs du recourant; elle les a jugés irrecevables en application du droit cantonal. Le recourant ne prétend pas qu'elle aurait interprété ou appliqué arbitrairement le droit cantonal en refusant d'entrer en matière (sur le contrôle du droit cantonal par le Tribunal fédéral, v. <ref-ruling> consid. 2.4). Ainsi formulé, le grief soulevé ne répond pas aux exigences accrues de motivation prévues par l'<ref-law> en matière de violation de droits constitutionnels et se révèle par conséquent irrecevable (<ref-ruling> consid. 3).
Savoir si les preuves ont été appréciées de manière arbitraire est une autre question, qu'il n'y a pas lieu d'examiner puisque le recourant a expressément renoncé à la soulever (cf. recours p. 10 in fine).
3. Le recourant soutient encore que la cour cantonale a violé l'interdiction du déni de justice formel en ne répondant pas à ses arguments relatifs à la configuration de la chambre de l'intimée et aux horaires des différents membres de la famille. Il prétendait que la version des faits de la jeune fille était invraisemblable car celle-ci soutenait que certains abus avaient eu lieu le matin dans sa chambre, qu'elle partageait avec son demi-frère dont le lit se trouvait à 1,5 m du sien et qui avait déclaré n'avoir jamais rien remarqué. En outre, le recourant affirmait que les évènements décrits étaient également incompatibles avec les horaires matinaux des membres de la famille.
En l'espèce, la cour cantonale a analysé les différents moyens de preuve, soit les déclarations des parties, du demi-frère de l'intimée, le croquis de la chambre et le dossier photographique. Elle a expliqué pourquoi, au vu de l'emploi du temps des membres de la famille et de la configuration des lieux, la thèse de l'intimée était crédible et a répondu longuement aux arguments du recourant (p. 8-10 de l'arrêt attaqué). S'agissant en particulier des horaires, elle a noté que la mère de l'intimée réveillait d'abord la jeune fille qui réveillait ensuite son demi-frère un peu plus tard. Elle a jugé non arbitraire l'opinion des premiers magistrats qui avaient remarqué que, si le sommeil du demi-frère n'était pas assez lourd pour être dérangé par la venue de la mère dans la chambre, il était tout à fait possible que l'irruption du recourant soit également passée inaperçue. En ce qui concerne la configuration de la chambre, elle a expliqué pourquoi, malgré les déclarations du jeune homme, la version des faits de l'intimée restait crédible. Elle a considéré les explications données par les premiers magistrats à ce propos "non dénuées de vraisemblance". Ceux-ci avaient observé que les abus commis dans la chambre des enfants avaient été limités à quelques mois, que le demi-frère de l'intimée n'était pas réveillé par le passage de sa mère et qu'il était possible que celui-ci, vu son jeune âge à l'époque des faits, aient perçu les évènements sans en saisir la portée ou encore qu'il se taise pour protéger son père. La cour cantonale a conclu que, au vu des indices à charge, les premiers juges pouvaient sans arbitraire retenir que les abus avaient eu lieu, ce nonobstant les objections du recourant. En définitive, on ne saurait faire grief à la cour cantonale de ne pas avoir traité les critiques soulevées. Comme il a été vu ci-dessus (cf. supra, consid. 2.2), il n'y a pas lieu d'examiner l'appréciation des preuves faite par l'autorité cantonale, dès lors que le recourant ne la remet pas en question (<ref-law>).
4. Le recourant se plaint de diverses violations de la présomption d'innocence.
4.1 La présomption d'innocence, dont le principe in dubio pro reo est le corollaire, est garantie expressément par les art. 6 par. 2 CEDH et art. 32 al. 1 Cst. Elle concerne tant le fardeau de la preuve que l'appréciation des preuves.
En tant que règle relative au fardeau de la preuve, la présomption d'innocence signifie que toute personne accusée d'une infraction pénale doit être présumée innocente jusqu'à ce que sa culpabilité soit légalement établie et, partant, qu'il appartient à l'accusation de prouver la culpabilité de l'accusé. La présomption d'innocence est violée si le juge du fond condamne l'accusé au motif que son innocence n'est pas établie, s'il a tenu la culpabilité du prévenu pour établie uniquement parce que celui-ci n'a pas apporté les preuves qui auraient permis de lever les doutes quant à son innocence ou à sa culpabilité, ou encore s'il a condamné l'accusé au seul motif que sa culpabilité est plus vraisemblable que son innocence (cf. <ref-ruling> consid. 2a p. 40; <ref-ruling> consid. 2a p. 88, 120 Ia 31 consid. 2c p. 37).
Comme règle de l'appréciation des preuves, ce principe est violé si le juge se déclare convaincu de faits défavorables à l'accusé sur lesquels, compte tenu des éléments de preuve qui lui sont soumis, il aurait au contraire dû éprouver des doutes (<ref-ruling> consid. 2c p. 37). Dans cette mesure, la présomption d'innocence se confond avec l'interdiction générale de l'arbitraire, prohibant une appréciation reposant sur des preuves inadéquates ou sans pertinence (<ref-ruling> consid. 2a p. 41).
4.2 Le recourant se réfère à la présomption d'innocence lorsqu'il fait grief à la Cour de cassation d'avoir considéré que les explications des premiers juges "n'étaient pas dénuées de vraisemblance".
A la lecture du recours, on ne comprend pas s'il invoque la présomption d'innocence sous l'angle du fardeau de la preuve ou d'une appréciation arbitraire des preuves. Il n'y a dès lors pas lieu d'entrer en matière, le grief étant insuffisamment motivé au regard des exigences déduites de l'<ref-law> (<ref-ruling> consid. 3; <ref-ruling> consid. 3.2 et les arrêts cités).
4.3 Le recourant est d'avis qu'en considérant, à l'instar des premiers juges, comme possible qu'il n'ait pas refermé son portable, la cour cantonale s'est fondée sur des hypothèses et non de faits vérifiés. En d'autres termes, il soutient que l'autorité précédente l'a condamné alors qu'il subsistait un doute sur les faits pertinents, ce qui aurait dû conduire à sa libération. Par cette argumentation, il invoque le principe in dubio pro reo en tant que règle d'appréciation des preuves, qu'il convient d'examiner sous l'angle de l'arbitraire (cf. supra, consid. 4.1).
L'appréciation des preuves n'enfreint l'interdiction constitutionnelle de l'arbitraire que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis sans raison sérieuse de tenir compte d'un moyen important et propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 4.1.2).
Le recourant tente vainement de faire admettre que la cour cantonale se serait fondée sur des faits hypothétiques. L'autorité précédente a considéré que le recourant ne démontrait pas l'arbitraire de l'appréciation des preuves opérée par les premiers juges. Ceux-ci avaient estimé que les témoignages des membres de la famille Y._ étaient crédibles car ils n'avaient aucun intérêt à mentir, concordaient entre eux et avec les déclarations de l'intimée. Au recourant qui prétendait qu'il était impossible techniquement que son téléphone n'ait pas été raccroché, ils ont répondu que, s'agissant d'un portable à clapet, la ligne était coupée dès l'instant où l'appareil était refermé. Pour que les Y._ aient pu entendre la conversation entre le recourant et l'intimée, il fallait que le recourant ait reposé son téléphone ouvert dans l'habitacle de la voiture. Le Tribunal de première instance a jugé cette hypothèse possible, vu l'état d'énervement dans lequel le recourant se trouvait après sa discussion avec C.Y._. Affirmer que cet évènement était possible d'un point de vue technique ne revient pas à arrêter des faits hypothétiques. Dans le cas particulier, les juges ne faisaient que répondre à une argumentation de la défense. C'est sur la base des autres indices précités qu'ils ont retenu les faits contestés par le recourant dont l'argumentation ne suffit ainsi pas à démontrer que les preuves ont été appréciées de manière arbitraire.
4.4 Le recourant prétend que l'autorité cantonale aurait mis à sa charge la preuve qu'il n'avait pas laissé son téléphone portable ouvert et que les Y._ n'avaient ainsi pas pu entendre sa conversation avec l'intimée. Ce faisant, elle lui aurait imposé d'établir son innocence et violé le principe in dubio pro reo sous l'angle du fardeau de la preuve.
Comme il a été vu au considérant 4.3, il a été retenu, sur la base des preuves à disposition, que les Y._ avaient surpris la conversation des parties. Il n'apparaît donc nullement que le fardeau de la preuve aurait été renversé. En particulier, il n'a pas été demandé au recourant de prouver son innocence, notamment d'établir qu'il n'avait pas commis d'actes d'ordre sexuel sur sa belle-fille. Dès lors que les juges précédents sont parvenus à une conviction à partir des preuves apportées, on ne saurait leur reprocher une violation de la présomption d'innocence en tant que règle sur le fardeau de la preuve.
5. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 17 août 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Rey-Mermet