Faits :
A.
Par jugement du 6 septembre 2016, le Tribunal de police du Littoral et du Val-de-Travers a reconnu X._ coupable d'actes d'ordre sexuel avec un enfant, de dommages à la propriété ainsi que de violation de domicile et l'a libéré de la prévention de lésions corporelles simples. Il l'a condamné à une peine pécuniaire de 280 jours-amende avec sursis pendant 4 ans et a révoqué un précédent sursis accordé le 10 septembre 2013. Il l'a en outre condamné à payer à C.A._ une indemnité pour tort moral de 11'000 fr. et aux parents de cette dernière le montant de 6'957 fr. 40 auxquels s'ajoutent les honoraires de leur mandataire par 10'462 fr. 15, l'éventuel dommage futur de ceux-ci et de leur fille étant réservé.
B.
Statuant le 31 mai 2017, la Cour pénale du Tribunal cantonal neuchâtelois a partiellement admis l'appel de X._. Elle a réformé le jugement du tribunal de police en ce sens qu'elle a libéré X._ non seulement de la prévention de lésions corporelles simples mais également de celle de violation de domicile, fixé la peine pécuniaire à 260 jours-amende à 126 fr. avec sursis pendant 4 ans, réduit à 4'000 fr. l'indemnité pour tort moral allouée à C.A._ et à 4'000 fr. également le montant à verser aux plaignants au titre de dommages-intérêts, somme à laquelle s'ajoutent les honoraires de leur mandataire. Elle a pour le surplus confirmé ledit jugement.
Les faits à l'origine de cette condamnation sont en substance les suivants.
Le 18 mars 2015, une patrouille de police, alertée parce qu'une personne était en train de donner des coups de pieds dans un véhicule et dans une porte d'entrée, s'est trouvée en présence de X._, qui était sous l'influence de l'alcool (1,43 g 0 /00 une demi-heure après l'intervention), et de B.A._. Ce dernier a expliqué qu'il s'était battu avec X._ parce que celui-ci avait commis des attouchements sur sa fille C.A._ née en mai 2002.
Cette dernière a déclaré aux policiers que X._ l'avait caressée au niveau de son sexe environ 2 ans auparavant. Entendue par la police le lendemain, elle a confirmé qu'il l'avait alors prise sur les genoux, l'avait déshabillée et caressée au niveau du sexe. Elle a par ailleurs expliqué que la veille X._ était venu sonner à sa porte, lui avait dit qu'il l'aimait, était reparti puis revenu une dizaine de minutes plus tard, lui avait proposé de l'argent, l'avait prise dans ses bras et lui avait donné un baiser sur le front.
Par ailleurs, à l'issue de l'administration des preuves, les autorités cantonales ont admis qu'au cours du mois de septembre 2010, dans sa maison, X._, vêtu uniquement d'un peignoir laissant apparaître ses parties intimes, a assis sur ses genoux C.A._, âgée à l'époque de 8 ans, qu'il a déshabillée et dont il a caressé le sexe à même la peau.
C.
X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, principalement, avec suite de frais et dépens, à son acquittement des préventions d'acte d'ordre sexuel avec un enfant et au rejet des conclusions civiles déposées par C.A._ et ses parents. A titre subsidiaire, il conclut à l'annulation du jugement attaqué, sauf dans la mesure où il le libère des préventions de lésions corporelles simples et de violation de domicile, et au renvoi de la cause à la cour cantonale pour qu'elle statue à nouveau.

Considérant en droit :
1.
Le recourant se plaint d'arbitraire dans l'établissement des faits à l'origine de sa condamnation pour actes d'ordre sexuel avec un enfant, à savoir ceux qui se sont déroulés en septembre 2010, ainsi que d'une violation de sa présomption d'innocence.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (cf. art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. La notion d'arbitraire a été rappelée récemment dans l'arrêt publié aux <ref-ruling> consid. 4.3 p. 380, auquel on peut se référer. En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées). La décision doit être arbitraire non seulement dans sa motivation mais également dans son résultat (<ref-ruling> consid. 4.3 p. 380).
La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, la présomption d'innocence est invoquée en relation avec l'appréciation des preuves et la constatation des faits, elle n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées).
1.2. La cour cantonale a fondé sa conviction sur un ensemble d'éléments. Il s'agit en premier lieu des déclarations de l'épouse du recourant selon lesquelles ce dernier lui avait dit après les faits litigieux qu'il avait pris l'enfant sur ses genoux, l'avait partiellement dénudée et lui avait touché le sexe.
La cour cantonale a d'autre part relevé que le recourant avait dans un premier temps admis avoir eu, sous l'influence de l'alcool, un comportement déplacé très proche de celui dénoncé par la victime, savoir qu'il l'avait prise sur ses genoux et lui avait touché le ventre à même la peau. Elle a en outre noté qu'il avait eu à plusieurs reprises des comportements problématiques alors qu'il se trouvait sous l'emprise de l'alcool et a conclu que ses dénégations n'étaient pas crédibles. Elle a considéré qu'en revanche les accusations de la victime, claires et précises, étaient crédibles, ce qui a été confirmé par les thérapeutes qui se sont occupées d'elle, soulignant par ailleurs que les troubles constatés par ces dernières accréditent sa version des faits.
1.3. Citant différents extraits des déclarations de son épouse, le recourant allègue que le discours de celle-ci n'était pas clair et ne permet pas d'être convaincu qu'il lui aurait fait des aveux. Il soutient par ailleurs que l'événement important évoqué par l'une des thérapeutes n'est pas forcément l'attouchement qu'il aurait prétendument commis en septembre 2010.
Il ressort clairement des passages cités par le recourant dans son mémoire que son épouse a affirmé à plusieurs reprises qu'il lui avait dit avoir touché le sexe de l'enfant. Dès lors, le fait qu'elle ait déclaré ne rien avoir vu et même ne pas penser que son mari ait pu faire ça ne rend pas arbitraire l'appréciation faite par la cour cantonale de ses déclarations. D'une part, cette dernière n'a pas admis que l'épouse du recourant aurait assisté aux actes litigieux. Par ailleurs, on conçoit mal pourquoi le recourant aurait avoué à son épouse des actes de la gravité de ceux qui lui sont reprochés s'il ne les avait pas commis. On peut en revanche mieux imaginer que son épouse, très déstabilisée par les faits qui lui avaient été révélés, ait eu de la peine à se convaincre de leur réalité et ait préféré se raccrocher à l'idée que son mari n'était pas capable d'agir ainsi. L'argumentation du recourant relative aux déclarations de son épouse n'est donc pas de nature à remettre en question l'appréciation faite par la cour cantonale de cet élément de preuve.
1.4. Le recourant reproche à la cour cantonale de ne s'être basée que sur des suppositions pour retenir que l'événement important évoqué par l'une des thérapeutes ne paraît pouvoir être que l'attouchement qui lui est reproché. Il ressort avant tout des déclarations de la thérapeute que l'enfant est totalement crédible dans ses propos relatifs aux faits qui se sont déroulés en septembre 2010 et que cet événement traumatisant explique les constatations faites par la thérapeute, laquelle a par ailleurs précisé n'avoir pas détecté d'autres traumatismes que celui vécu par la fillette lorsqu'elle a subi les attouchements de son voisin. Sur ce point non plus, le recourant ne montre pas en quoi l'appréciation de la cour cantonale serait insoutenable.
1.5. Le recourant soutient que la crédibilité accordée par la cour cantonale aux déclarations de la victime ne respecte pas la présomption d'innocence.
La cour cantonale a noté que ces déclarations avaient été claires et précises et que les thérapeutes qui avaient suivi l'enfant les avaient qualifiées de crédibles. C'est donc de manière parfaitement soutenable que la cour cantonale en a tenu compte et l'argumentation du recourant, au demeurant de nature largement appellatoire, ne suffit pas à remettre en question l'appréciation de cette dernière.
1.6. Le recourant fait grief à la cour cantonale d'avoir considéré que s'il avait seulement pris l'enfant sur les genoux et n'avait eu envers elle qu'un geste de tendresse, on s'expliquerait mal les excuses qu'il a présentées et surtout la conclusion à laquelle il est parvenu qu'il devait à l'avenir s'abstenir de voir la fillette sans la présence d'autres personnes.
L'argumentation du recourant consiste à opposer, en se fondant sur ses propres déclarations et celles de son épouse, sa propre explication de son comportement à l'appréciation de la cour cantonale sans toutefois montrer en quoi celle-ci serait insoutenable.
S'agissant, enfin, de l'attitude des parents, qui n'ont pas porté plainte et ont continué à laisser leur fille se rendre chez lui, le raisonnement de la cour cantonale résiste au grief d'arbitraire. Il n'est pas insoutenable de considérer, comme l'a fait cette dernière, que les parents, susceptibles d'avoir un doute sur les faits précis qui s'étaient déroulés, aient préféré renoncer à déposer immédiatement une plainte pénale dans le but de préserver les rapports de voisinage, d'autant plus que la fillette se rendait fréquemment chez le recourant pour jouer avec ses enfants et surtout que celui-ci s'était engagé à ne plus se trouver seul avec la victime.
L'ensemble des éléments invoqués par le recourant ne parviennent pas à faire apparaître comme arbitraire l'appréciation des preuves et l'établissement des faits de la cour cantonale. Mal fondé, le grief doit être rejeté dans la mesure où il est recevable.
2.
Le recourant fait valoir que le montant du jour-amende qui lui a été infligé est excessif et a été fixé en violation de l'art. 34 CP ainsi que de son droit d'être entendu.
2.1. Selon l'art. 34 al. 2 3ème phrase CP, le juge fixe le montant du jour-amende selon la situation personnelle et économique de l'auteur au moment du jugement, notamment en tenant compte de son revenu et de sa fortune, de son mode de vie, de ses obligations d'assistance, en particulier familiales, et du minimum vital. Cette disposition est applicable en l'espèce sans égard à la modification entrée en vigueur le 1er janvier 2018, qui n'est pas plus favorable à l'intéressé (cf. art. 2 al. 2 CP).
Les critères pertinents pour déterminer le montant du jour-amende ont été rappelés dans l'arrêt publié aux <ref-ruling>, auquel on peut se référer. Le montant du jour-amende doit être fixé en partant du revenu que l'auteur réalise en moyenne quotidiennement, quelle qu'en soit la source, car c'est la capacité économique réelle de fournir une prestation qui est déterminante (<ref-ruling> consid. 5.3.2 p. 320). La situation à prendre en compte est celle existant au moment où statue le juge du fait (<ref-ruling> consid. 5.3.2 p. 321). La loi mentionne la fortune parmi les critères d'évaluation; toutefois, comme la peine pécuniaire tend avant tout à toucher l'auteur dans ses revenus et non dans les sources de ces derniers, elle ne doit être prise en compte qu'à titre subsidiaire, lorsque la situation patrimoniale, particulière, contraste avec un revenu comparativement faible. Ainsi, elle constitue un élément pertinent dans la mesure où l'auteur en tire sa subsistance quotidienne (<ref-ruling> consid. 5.3.3 p. 321 s. et les arrêts cités). Enfin, il n'y a pas lieu de prendre en considération les obligations qui sont la conséquence directe ou indirecte des faits, tels que dommages-intérêts, tort moral, frais judiciaires, etc. (<ref-ruling> consid. 5.3.4 p. 322).
Le recourant reproche à la cour cantonale d'avoir tenu compte de sa fortune pour déterminer le montant du jour-amende. Contrairement à ce que soutient le recourant, la cour cantonale n'a pas pris sa fortune en compte pour fixer ce montant. Elle a uniquement relevé que sa capacité financière était suffisante pour qu'il puisse acquitter les frais et indemnités sur sa fortune, répondant ainsi à l'argument du recourant selon lequel il serait incohérent de prétériter le lésé dans ses chances d'obtenir le paiement des sommes qui lui ont été allouées au titre des conséquences civiles de l'infraction en donnant la priorité à l'encaissement de la peine pécuniaire. Il en va de même du fait que la peine qui lui a été infligée est assortie du sursis, évoqué par la cour cantonale dans le même contexte, à savoir les perspectives de recouvrement des lésés.
Le recourant soutient par ailleurs que le montant du jour-amende est excessif car il ne tient pas compte des frais et indemnités mis à sa charge. Contraire à la jurisprudence rappelée ci-dessus, selon laquelle de tels éléments ne sont pas à prendre en considération, cet argument est mal fondé.
2.2. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 299).
Le grief fait par le recourant à la cour cantonale de ne pas lui avoir donné l'occasion de fournir des documents permettant de constater une diminution de sa fortune est également mal fondé puisque, comme on l'a relevé, cet élément n'a pas été pris en considération pour déterminer le montant du jour-amende.
3.
Le recourant soutient que la cour cantonale aurait dû refuser toute réparation du dommage prétendument subi par la victime. Il fait valoir que cette dernière n'a pas prouvé que les consultations effectuées étaient en relation de causalité naturelle et adéquate avec les faits qui lui sont imputés.
Un comportement est la cause naturelle d'un résultat s'il en constitue l'une des conditions sine qua non, c'est-à-dire si, sans lui, le résultat ne se serait pas produit ou du moins pas de la même manière; il n'est pas nécessaire que l'événement considéré soit la cause unique ou immédiate du résultat (<ref-ruling> consid. 8.4.1 p. 189 s. et l'arrêt cité). La constatation du rapport de causalité naturelle relève du fait (<ref-ruling> consid. 4.1.3 p. 61 et les arrêts cités). Il y a toutefois violation du droit fédéral si l'autorité cantonale méconnaît le concept même de causalité naturelle (<ref-ruling> consid. 2c/aa p. 23).
Le rapport de causalité est qualifié d'adéquat lorsque, d'après le cours ordinaire des choses et l'expérience de la vie, le comportement était propre à entraîner un résultat du genre de celui qui s'est produit (<ref-ruling> consid. 4.1.3 p. 61 et l'arrêt cité). La causalité adéquate sera admise même si le comportement de l'auteur n'est pas la cause directe ou unique du résultat. Peu importe que le résultat soit dû à d'autres causes, notamment à l'état de la victime, à son comportement ou à celui de tiers (<ref-ruling> consid. 5.2 p. 148). La causalité adéquate peut toutefois être exclue si une autre cause concomitante, par exemple une force naturelle, le comportement de la victime ou d'un tiers, constitue une circonstance tout à fait exceptionnelle ou apparaît si extraordinaire que l'on ne pouvait s'y attendre. L'imprévisibilité d'un acte concurrent ne suffit pas en soi à interrompre le rapport de causalité adéquate. Il faut encore que cet acte ait une importance telle qu'il s'impose comme la cause la plus probable et la plus immédiate de l'événement considéré, reléguant à l'arrière-plan tous les autres facteurs qui ont contribué à l'amener et notamment le comportement de l'auteur (<ref-ruling> consid. 4.4.2 p. 265 s. et les arrêts cités). Il s'agit d'une question de droit que le Tribunal fédéral revoit librement (<ref-ruling> consid. 4.1.3 p. 61 et l'arrêt cité).
En l'espèce, il n'apparaît pas, et le recourant lui-même ne le prétend pas, que la cour cantonale aurait méconnu la notion de causalité naturelle. Sa constatation selon laquelle les troubles qui ont nécessité l'intervention de thérapeutes ont été au moins favorisés par les actes commis par le recourant lie le Tribunal fédéral. Par ailleurs, c'est à juste titre que la cour cantonale a admis qu'il est dans la nature des choses et conforme à l'expérience générale de la vie que les enfants victimes d'abus sexuels subissent un choc tel qu'il entraîne des conséquences psychiques. Même si la séparation de ses parents a beaucoup affecté la victime, il n'apparaît pas que cette séparation s'imposerait comme la cause la plus probable et la plus immédiate des troubles dont elle a souffert, au point de reléguer à l'arrière-plan les actes commis par le recourant. Il y a au contraire lieu de penser que si la victime n'avait pas déjà été fragilisée sur le plan psychique par ces événements elle aurait sans doute été mieux à même de faire face au traumatisme causé par la situation familiale.
Le recourant reproche enfin à la cour cantonale de s'être contentée des factures produites pour établir le montant du dommage. Il soutient que des attestations de paiement étaient nécessaires.
C'est avec raison que la cour cantonale a admis que le dommage était suffisamment documenté par les factures produites, même en l'absence de preuve du paiement. Selon la jurisprudence constante, le dommage se définit comme la diminution involontaire de la fortune nette; il correspond à la différence entre le montant actuel du patrimoine du lésé et le montant que ce même patrimoine atteindrait si l'événement dommageable ne s'était pas produit. Il peut se présenter sous la forme d'une diminution de l'actif, d'une augmentation du passif, d'une non-augmentation de l'actif ou d'une non-diminution du passif (<ref-ruling> consid. 1.3.1 p. 239 s. et les références citées). Le recourant ne prétend pas que les sommes afférentes aux traitements ne seraient pas dues par la victime, de sorte que même dans l'hypothèse où elles n'auraient pas été réglées, elles n'en constitueraient pas moins un dommage, sous la forme d'une augmentation du passif.
4.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable et le recourant qui succombe supportera les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal neuchâtelois.
Lausanne, le 18 avril 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Paquier-Boinay