Faits: A. Par jugement du 4 décembre 2008, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné A.X._ pour actes d'ordre sexuel avec une enfant et actes d'ordre sexuel sur une personne incapable de discernement ou de résistance à une peine privative de liberté de 15 mois, a suspendu l'exécution de la peine et fixé au condamné un délai d'épreuve de trois ans et a dit que l'accusé était débiteur de sa fille B.X._ de la somme de 6'000 fr. à titre d'indemnité pour tort moral. Par arrêt du 18 mars 2009, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de A.X._ et confirmé le jugement de première instance. Les faits à la base de la condamnation sont en résumé les suivants: Au courant de l'année 2006, le recourant a commis à tout le moins à deux reprises des attouchements sur le sexe de sa fille, alors âgée de six ans, la première fois au début 2006 et la seconde dans les jours précédant le 19 septembre 2006. Il a été admis que ces actes avaient eu lieu probablement au domicile conjugal, sans toutefois exclure qu'ils aient pu être perpétrés durant les promenades dominicales dans la région. L'accusé a toujours contesté les accusations portées contre lui, disant qu'il s'agissait d'un malentendu. B. A.X._ forme un recours en matière pénale. Il conclut à l'annulation des jugements prononcés et à son acquittement, ainsi qu'au rejet des conclusions civiles, subsidiairement au renvoi de l'affaire pour nouveau jugement. Il invoque l'arbitraire dans la constatation des faits et l'appréciation des preuves, ainsi qu'une violation du principe de la présomption d'innocence et du droit à un procès équitable.