Faits:
A. Par jugement du 4 décembre 2008, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné A.X._ pour actes d'ordre sexuel avec une enfant et actes d'ordre sexuel sur une personne incapable de discernement ou de résistance à une peine privative de liberté de 15 mois, a suspendu l'exécution de la peine et fixé au condamné un délai d'épreuve de trois ans et a dit que l'accusé était débiteur de sa fille B.X._ de la somme de 6'000 fr. à titre d'indemnité pour tort moral.
Par arrêt du 18 mars 2009, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de A.X._ et confirmé le jugement de première instance.
Les faits à la base de la condamnation sont en résumé les suivants:
Au courant de l'année 2006, le recourant a commis à tout le moins à deux reprises des attouchements sur le sexe de sa fille, alors âgée de six ans, la première fois au début 2006 et la seconde dans les jours précédant le 19 septembre 2006. Il a été admis que ces actes avaient eu lieu probablement au domicile conjugal, sans toutefois exclure qu'ils aient pu être perpétrés durant les promenades dominicales dans la région.
L'accusé a toujours contesté les accusations portées contre lui, disant qu'il s'agissait d'un malentendu.
B. A.X._ forme un recours en matière pénale. Il conclut à l'annulation des jugements prononcés et à son acquittement, ainsi qu'au rejet des conclusions civiles, subsidiairement au renvoi de l'affaire pour nouveau jugement. Il invoque l'arbitraire dans la constatation des faits et l'appréciation des preuves, ainsi qu'une violation du principe de la présomption d'innocence et du droit à un procès équitable.

Considérant en droit:
1. 1.1 Le juge peut nommer des experts. A l'instar des autres moyens de preuve, il apprécie librement la force probante de l'expertise. Cette liberté trouve sa limite dans l'interdiction de l'arbitraire. Si le juge n'est en principe pas lié par les conclusions de l'expert, il ne peut s'en défaire, à peine de violer l'art. 9 Cst., qu'en exposant les motifs déterminants et les circonstances bien établies qui lui commandent d'agir de la sorte. En se fondant sur une expertise non concluante, le juge pourrait violer l'art. 9 Cst. Tel serait le cas si des motifs suffisants ou de sérieux indices lui faisaient douter de l'exactitude d'une expertise (<ref-ruling> consid. 4 p. 57/58; <ref-ruling> consid. 1c p. 146).
1.2 Le recourant reproche aux autorités de jugement d'avoir fait preuve d'arbitraire en s'écartant des conclusions de l'expertise de crédibilité. Selon lui, le fait que l'expert considère que plusieurs éléments autour des déclarations de la victime sont compatibles avec sa crédibilité, ne signifie pas qu'il considère que les propos tenus par l'enfant sont crédibles. L'expertise aurait abouti en réalité à un résultat négatif.
1.3 A la question de savoir si l'expert pouvait affirmer que la victime avait subi des abus sexuels, l'expert a répondu non, car les éléments relatifs à la déclaration de la fillette, à sa situation familiale, ses propos et les observations cliniques ne lui permettaient pas d'affirmer que l'enfant avait été victime d'abus sexuels. Cependant, plusieurs éléments autour de ces déclarations sont, selon l'expert, compatibles avec sa crédibilité, en particulier la spontanéité à en parler, la brève discussion avec le père rapportée à la psychologue scolaire, ainsi que le vécu subjectif douloureux.
Les premiers juges ont exposé le contenu de cette expertise et se sont ralliés aux conclusions de l'expert. Ce faisant, ils n'ont pas ignoré la réponse négative de l'expert à la question de savoir si l'enfant avait été l'objet d'abus sexuels et ont rappelé que l'expert avait dit aux débats qu'il ne lui appartenait pas de se prononcer sur les faits, mais se sont référés, s'agissant de la crédibilité de la victime, à la seconde partie de la réponse de l'expert. A la lecture de l'expertise, cette appréciation n'a pas été jugée arbitraire par la cour cantonale et elle ne l'est pas.
Contrairement à ce qu'affirme le recourant, les juges cantonaux n'ont pas admis que cette expertise concluait à la crédibilité ou à la réalité des déclarations de la fillette, mais, sans l'exclure non plus, qu'elle mettait en évidence des éléments compatibles avec la crédibilité de l'enfant dans la seconde partie à la réponse à la question 1. En s'appuyant sur ces éléments dans leur examen de la crédibilité de la victime, les premiers juges ne se sont ni écartés de l'expertise, ni n'en ont fait une appréciation insoutenable, ce que l'arrêt cantonal admet à juste titre. Le recourant se contente pour l'essentiel de contester cette appréciation et d'y opposer la sienne. Selon lui, l'expert aurait au moins nié implicitement la crédibilité des déclarations de l'enfant et considéré que celles-ci ne correspondaient pas à la réalité. Il n'y a pas lieu d'examiner plus avant ce grief au vu de sa motivation essentiellement appellatoire (<ref-law>).
1.4 Le recourant conteste que les premiers juges ne se soient pas basés sur la seule expertise pour condamner le recourant, mais sur un faisceau d'indices concordants. Il prétend que tous les autres éléments retenus reposent sur les déclarations de la fillette, que l'examen de ces dernières étaient du ressort de l'expert et que l'autorité de jugement ne pouvait pas, comme elle l'a fait, s'écarter de ses conclusions.
Cependant, comme relevé ci-dessus, faute pour le recourant de démontrer le contraire d'une manière répondant aux exigences accrues de motivation de l'<ref-law>, l'appréciation par les premiers juges des conclusions de l'expertise ne peut être qualifiée d'insoutenable. Au surplus, il ressort effectivement de l'arrêt attaqué que l'autorité de jugement s'est appuyée sur différents autres éléments que l'expertise pour asseoir sa conviction. Une telle manière de faire n'est en rien arbitraire et le recourant ne le démontre à nouveau pas. Enfin, les premiers juges ont entendu l'expert aux débats. On ne discerne pas pour quelles raisons l'autorité de jugement aurait fait preuve d'arbitraire en n'ordonnant pas un complément d'expertise et le recourant, qui n'en a jamais réclamé, ne l'établit pas non plus,
2. 2.1 Seul peut être l'objet du recours l'arrêt de dernière instance cantonale. S'agissant du grief d'arbitraire dans la constatation des faits et l'appréciation des preuves, il est nécessaire que le recourant ait déjà soulevé ce grief dans les formes voulues par la procédure cantonale pour qu'il soit examiné par le TF. Si tel est le cas, le recourant ne peut pas simplement reprendre devant le TF le grief soulevé en instance cantonale. Il doit non seulement démontrer l'arbitraire du premier jugement, mais encore critiquer l'arrêt attaqué et démontrer en quoi son grief a été rejeté à tort par l'autorité de dernière instance cantonale, faute de quoi, son recours est irrecevable (art. 42 al. 2, 80 al. 1 et 106 al. 2 LTF).
2.2 S'agissant des éléments autres que l'expertise exposés à la base de la condamnation, le recourant conteste qu'ils permettent d'emporter l'intime conviction, prétend qu'un doute devait subsister quant aux faits retenus à sa charge, qui devait lui profiter et que le jugement viole la présomption d'innocence. Il argumente ainsi sur l'appréciation portée par les autorités cantonales, soit sur l'appréciation des preuves. Ce grief se confond avec celui déduit de la prohibition de l'arbitraire (<ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2e p. 38).
2.3 Il est vrai que, dans la partie en fait, l'arrêt attaqué précise que l'autorité de jugement s'est fondée sur les déclarations de la fillette à la police, le manque d'objectivité des affirmations de sa mère, les témoignages de la maman de jour et de la psychologue scolaire, le résultat de l'expertise de crédibilité et les constatations d'ordre médical faites par le Dr. Y._. Mais lorsqu'il s'est agi de préciser sur quels autres éléments que l'expertise les premiers juges se sont basés pour se forger une conviction, l'arrêt cantonal a clairement renvoyé aux p. 22 et suivantes du jugement de première instance. Or, il ne ressort pas de celui-ci qu'une importance décisive aurait été donnée à l'audition de la victime par la police ou que l'autorité de jugement se serait écartée des considérations de l'expert sur cette audition. Le recourant, qui se contente de l'affirmer de manière appellatoire, ne le démontre pas d'une manière conforme aux exigences de motivation posées pour l'examen d'un tel grief (art. 42 al. 2 et 106 al. 2 LTF), de telle sorte qu'il n'y a pas lieu d'examiner cette partie de son recours.
2.4 Il en est de même lorsque le recourant reproche à l'arrêt attaqué de ne pas expliquer ce qu'il entend par manque d'objectivité de la mère et en quoi cet élément peut constituer un indice de culpabilité. Ce sont les premiers juges qui sont arrivés à la conclusion que les déclarations de la mère manquaient d'objectivité. La cour cantonale n'a pas eu à se prononcer sur cette appréciation qui n'était pas contestée devant elle et le recourant, outre qu'il ne motive pas son grief d'une manière répondant aux exigences rappelées ci-dessus, ne peut plus la faire examiner par la cour de céans.
2.5 S'agissant de l'appréciation, par les premiers juges, des déclarations de la psychologue scolaire, le recourant ne l'a pas remise en question devant la cour cantonale. Il ne dirige d'ailleurs pas son grief contre l'arrêt attaqué, de telle sorte qu'il ne peut être examiné par la cour de céans (<ref-law>).
2.6 Quant à l'appréciation du témoignage de la maman de jour, le recourant ne fait que reprendre le moyen soulevé dans son recours cantonal sans critiquer l'arrêt attaqué et oppose sa propre appréciation de ce témoignage à celle de l'autorité de jugement, sans exposer en quoi l'autorité cantonale aurait rejeté à tort son grief, ce qui n'est pas recevable (art. 81 al. 2 et 106 al. 2 LTF).
2.7 Le recourant conteste que le rapport du pédiatre, qui a été consulté pour des symptômes d'infection urinaire et des rougeurs vulvaires, puisse confirmer la thèse de l'abus sexuel. A nouveau, le recourant n'a pas combattu l'appréciation du rapport du pédiatre devant la cour cantonale, qui ne l'a pas examinée, et s'en prend en réalité uniquement au premier jugement, ce qui n'est pas recevable (<ref-law>).
2.8 Le recourant a reproché en instance inférieure à l'autorité de jugement d'avoir ignoré le rapport d'une gynécologue du CHUV, ce qui constituerait une lacune, selon le droit cantonal, justifiant l'annulation du jugement attaqué. La cour cantonale a rejeté le grief, en considérant que les difficultés de langage et les problèmes comportementaux de la victime avaient été suffisamment examinés par les premiers juges et que le seul rapport de la gynécologue ne permettait pas de remettre en cause cette appréciation. Enfin, on ne pouvait attribuer à ce rapport une valeur probante particulière, de sorte que le recourant invoquait en vain les éléments qu'il contenait.
Devant la cour de céans, on ne trouve trace, de la part du recourant, d'une démonstration de l'arbitraire de l'arrêt attaqué. Cela n'est notamment pas le cas lorsque le recourant prétend qu'un tel raisonnement est erroné ou qu'il se contente de contester l'appréciation cantonale et d'affirmer que le rapport a pleine valeur probante et qu'il ne pouvait être écarté sans arbitraire, de telle sorte qu'il n'y a pas lieu d'examiner le grief, faute de motivation suffisante (<ref-law>).
2.9 Le recourant reproche aux premiers juges, suivis par la cour cantonale, d'avoir retenu l'absence d'intérêt de l'enfant de nuire à son père. Il estime que les juges ne sont pas qualifiés pour procéder à ce genre d'appréciation et que, de surcroît, un tel élément ne constitue pas un indice de commission d'attouchements sexuels.
En réalité, les autorités cantonales ont considéré qu'il ne ressortait pas des preuves administrées, y compris du rapport de l'expert, que l'enfant avait une quelconque raison d'en vouloir à son père - même si elle souffrait de ses absences - et d'accuser à tort celui-ci. Les suppositions émises par le recourant sur les raisons qui auraient poussé l'enfant à accuser son père ne constituent pas une motivation suffisante de l'arbitraire de l'arrêt attaqué, ni de celui du jugement confirmé par la cour cantonale.
2.10 Lorsque le recourant conteste que la répétition des allégations de l'enfant à deux personnes sans lien l'une avec l'autre, alors que la victime n'était animée d'aucun intérêt à faire des déclarations mensongères, parle en faveur de la réalité de ces déclarations, il ne fait une nouvelle fois qu'opposer son appréciation à celle des premiers juges, suivis par la cour cantonale, sans en motiver l'arbitraire d'une manière conforme aux exigences légales rappelées ci-dessus. En particulier, il n'expose par exemple pas en quoi elle se heurte aux pièces du dossier. Cela ne suffit pas pour permettre de qualifier cette appréciation d'insoutenable.
Au demeurant, lorsque le recourant dénie que chaque indice retenu par les premiers juges puisse permettre à lui seul de fonder sa culpabilité, il perd de vue que c'est un faisceau d'indices concordants qui a conduit ces mêmes juges à être convaincus de sa culpabilité et on ne voit pas en quoi ce procédé violerait la présomption d'innocence ou serait arbitraire.
2.11 La cour cantonale a retenu que le fait que les premiers juges n'aient pas précisé le lieu de commission des infractions n'était pas pertinent dans la mesure où il ressortait de l'administration des preuves que le recourant avait eu l'occasion d'agir à de multiples occasions, y compris dans le lit conjugal. Le recourant se limite à contester cette appréciation, sans en motiver le caractère arbitraire et son grief ne peut être examiné (<ref-law>). Il en est de même de la critique du recourant relative à l'appréciation des rétractations de la victime.
2.12 Le recourant prétend qu'une appréciation non arbitraire des preuves aurait dû conduire les juges à éprouver un doute sérieux et insurmontable sur sa culpabilité, notamment eu égard à l'expertise, au rapport gynécologique, au fait que les différents intervenants sociaux n'ont jamais préconisé de sortir la victime du cadre familial, considérant qu'elle n'était pas en danger, au témoignage de la mère de la victime, convaincue de l'innocence de son mari, aux déclarations de la maman de jour sûre de la non-culpabilité du recourant, à l'attachement de l'enfant à son père et à son comportement durant l'enquête.
Cependant, faute d'avoir réussi à démontrer le caractère arbitraire de l'appréciation des preuves des premiers juges, suivis par la cour cantonale, le recourant n'établit pas en quoi ceux-là, sur la base des indices retenus, auraient dû éprouver des doutes qui auraient dû les conduire à un acquittement. Son grief ne peut qu'être rejeté.
3. La cour cantonale a déclaré contraire au principe de la bonne foi et irrecevable pour cette raison et pour des motifs de procédure cantonale le reproche du recourant aux premiers juges de ne pas avoir entendu la marraine de l'enfant et une voisine. Le recourant prétend, sans autre motivation, que la décision cantonale relève du formalisme excessif. A l'évidence, son grief ne remplit pas les exigences de motivation et ne peut être examiné (<ref-law>). Il en est de même lorsque le recourant se plaint de ce que la cour cantonale a considéré que les déclarations de la mère de l'enfant à la police le 6 octobre 2006 ne constituaient pas, pour des raisons de procédure cantonale, des pièces pouvant fonder son moyen de nullité.
4. Le recourant se plaint encore d'une violation de l'art 6 CEDH, qui garantit le droit à un procès équitable, du fait que les déclarations des différents témoins n'ont pas été protocolées. Les témoins ayant pu être interrogés, on ne discerne aucune violation du droit à un procès équitable. Le recourant se plaint en réalité de l'absence au procès-verbal du contenu des déclarations des témoins. Or, le TF a eu l'occasion de préciser que les droits fondamentaux et plus particulièrement le droit d'être entendu sont respectés si la partie qui le souhaite a la possibilité de requérir en tout temps, par voie incidente, la retranscription de déclarations importantes et de recourir contre un éventuel refus, comme le prévoit le droit de procédure pénale vaudois (<ref-ruling> consid. 2b/aa et bb non publiés). Le recourant, qui était assisté lors des débats par un mandataire, ne prétend pas avoir été privé de cette possibilité et tel n'est à l'évidence pas le cas. Peu importe que le nouveau mandataire du recourant, constitué après les débats, ne l'ait pas eue.
5. Le recours doit donc être rejeté dans la mesure où il est recevable. Les frais judiciaires doivent être mis à la charge du recourant qui succombe. Il n'y a pas lieu d'allouer d'indemnité à la partie intimée qui n'a pas participé à la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 27 novembre 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Paquier-Boinay