Faits:
A. Par jugement du 28 juin 2007, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment condamné X._ pour actes d'ordre sexuels avec des enfants à huit mois de peine privative de liberté avec sursis pendant deux ans et alloué 7'000 fr. de tort moral à A._.
Les faits à l'origine de cette condamnation sont les suivants. Dans le courant de l'année 2001, puis à nouveau entre les mois de février et mai 2002, X._ a commis des attouchements sur le sexe de A._, née le 4 février 1999. Il profitait de la sieste de sa femme chargée de garder l'enfant trois fois par semaine à son domicile comme maman de jour. X._ a contesté les faits et exclu avoir eu un quelconque contact corporel avec l'enfant.
La mère de cette dernière a déclaré que peu après ses deux ans, sa fille, qui appelait X._ «tonton», avait dit «tonton....bobo....là» en désignant son entrejambe. L'enfant a réitéré ses déclarations en mai 2002 et depuis lors n'est plus retournée chez les époux X._. L'enfant n'a pas été entendue lors de l'enquête, en raison de l'éloignement des faits et pour éviter de la perturber.
Il est apparu en cours d'enquête que X._ avait déjà été soupçonné d'abus sexuels en 1998, sur déclaration de B._, née en 1971. Alors que les faits la concernant étaient prescrits, cette dernière avait fait part à la police de ses inquiétudes quant au comportement de X._, second époux de sa grand-mère paternelle, à l'encontre des enfants qui étaient confiés au couple X._. Elle avait expliqué que X._ avait abusé d'elle. Après l'audition d'une fillette gardée par le couple X._, qui ne s'était plainte d'aucun abus, il avait été renoncé à ouvrir une enquête pénale. La police a repris contact avec B._ dans le cadre de la présente affaire et celle-ci a accepté de parler des faits la concernant, qu'elle savait prescrits, pour autant qu'elle ne soit pas confrontée à l'accusé. Elle a répété que X._ lui avait fait subir des caresses sexuelles, des cunnilingus puis des actes de masturbation alors qu'elle avait entre trois et huit ou neuf ans, sans qu'elle puisse situer les faits exactement dans le temps. X._ avait ensuite tenté d'obtenir des fellations. A une reprise, B._ avait menacé de crier, car sa grand-mère était à côté et l'accusé avait alors cessé ses agissements.
X._ a contesté ces faits, mais a notamment confirmé les indications de temps et de lieu données par B._. Selon lui, cette dernière a cherché à le salir en raison de son intervention auprès de son épouse pour qu'elle cesse de donner de l'argent à sa petite-fille.
B. Par arrêt du 15 août 2007, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours interjeté par X._ contre ce jugement.
C. X._ forme un recours en matière pénale contre cette dernière décision. Soutenant que celle-ci viole la présomption d'innocence et repose sur une appréciation arbitraire des faits et des preuves, il conclut, avec suite de frais et dépens, à son annulation et à son acquittement, subsidiairement au renvoi de la cause à l'autorité cantonale.

Considérant en droit:
1. 1.1 Rendue en matière pénale (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), la décision attaquée, qui met fin à la procédure (<ref-law>), peut faire l'objet d'un recours en matière pénale (<ref-law>). L'accusé, qui a succombé dans ses conclusions (<ref-law>), a qualité pour recourir.
1.2 Le recours peut notamment être formé pour violation du droit fédéral (<ref-law>), qui englobe les droits constitutionnels. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135), ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments du recourant ni par la motivation de l'autorité précédente. Toutefois, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, dont la sanction est l'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués et n'est dès lors pas tenu de traiter des questions qui ne sont plus discutées devant lui. Il ne peut aller au-delà des conclusions des parties (<ref-law>).
2. Le recourant reproche aux autorités cantonales d'avoir violé la présomption d'innocence et apprécié les faits et les preuves de manière arbitraire.
2.1 La présomption d'innocence, garantie par les art. 32 al. 1 Cst. et 6 par. 2 CEDH qui ont la même portée, a pour corollaire le principe "in dubio pro reo", qui concerne tant le fardeau de la preuve que l'appréciation des preuves. En tant que règle de l'appréciation des preuves, seule remise en question ici, elle signifie que le juge ne peut se déclarer convaincu d'un état de fait défavorable à l'accusé lorsqu'une appréciation objective de l'ensemble des éléments de preuve laisse subsister un doute sérieux et insurmontable quant à l'existence de cet état de fait (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2c p. 37). Le Tribunal fédéral ne revoit les constatations de fait et l'appréciation des preuves que sous l'angle restreint de l'arbitraire (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 4 p. 211; <ref-ruling> consid. 2d p. 37s.). Il examine en revanche librement la question de savoir si, sur la base du résultat d'une appréciation non arbitraire des preuves, le juge aurait dû éprouver un doute sérieux et insurmontable quant à la culpabilité de l'accusé. Dans cet examen, il s'impose toutefois une certaine retenue, le juge du fait, en vertu du principe de l'immédiateté, étant mieux à même de résoudre la question.
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable. Le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable, encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 5.1 p. 17; <ref-ruling> consid. 2.1 p. 219, 57 consid. 2 p. 61).
L'appréciation des preuves est en particulier arbitraire lorsque le juge de répression n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1 p. 9). Il en va de même lorsqu'il retient unilatéralement certaines preuves ou lorsqu'il rejette des conclusions pour défaut de preuves, alors même que l'existence du fait à prouver résulte des allégations et du comportement des parties (<ref-ruling> consid. 1b p. 30). Il ne suffit pas qu'une interprétation différente des preuves et des faits qui en découlent paraisse également concevable pour que le Tribunal fédéral substitue sa propre appréciation des preuves à celle effectuée par l'autorité de condamnation, qui dispose en cette matière d'une grande latitude. En serait-il autrement, que le principe de la libre appréciation des preuves par le juge du fond serait violé (ATF <ref-ruling> consid. 2d p. 37 s.).
Lorsque, comme en l'espèce, l'autorité cantonale de recours avait, sur les questions soulevées dans le recours, une cognition limitée à l'arbitraire, le Tribunal fédéral porte concrètement son examen sur l'arbitraire du jugement de l'autorité inférieure, à la lumière des griefs soulevés dans l'acte de recours. Cependant, pour se conformer aux exigences de motivation rappelées au considérant 1.2 ci-dessus, le recourant ne peut pas simplement reprendre les critiques qu'il a formulées en instance cantonale devant l'autorité de cassation, mais il doit exposer pourquoi cette dernière aurait refusé à tort de qualifier d'arbitraire l'appréciation des preuves faite par l'autorité de première instance (<ref-ruling> consid. 1a/cc et 1b p. 495 et les arrêts cités).
3. S'agissant du témoignage de B._, le recourant soutient que les circonstances retenues par les autorités cantonales pour fonder leur conviction ne sont pas déterminantes et il énumère divers éléments de fait, dont une bonne partie ne ressortent pas de l'arrêt attaqué, se limitant à donner ainsi sa propre appréciation des faits sans indiquer pourquoi celle des autorités cantonales serait manifestement insoutenable ni en quoi ces dernières auraient procédé à une appréciation arbitraire de ce témoignage. Dès lors, force est de constater que le recours ne satisfait pas aux exigences de motivation rappelées au consid. 1.2 et l'autorité de céans ne saurait entrer en matière sur ce point.
Il en va de même dans la mesure où le recourant relève que le témoin n'a pas été entendu en séance contradictoire et a refusé toute confrontation. En effet, bien que l'arrêt attaqué se limite à affirmer (considérant 1.4, p. 8) que le témoin pouvait légitimement refuser de témoigner au procès et que sa déposition ne constitue pas un moyen de preuve unique et prépondérant, le recourant ne se prévaut pas d'une violation de son droit à un procès équitable, de sorte que l'autorité de céans ne peut pas non plus examiner la question sous cet angle faute d'une motivation suffisante.
4. Les premiers juges ont encore fondé leur conviction sur les déclarations de la fillette, qu'ils ont estimées crédibles. Ils ont relevé la simplicité des déclarations de l'enfant à sa mère concernant les faits, qui ne laisse pas de place à la suspicion d'influence parentale, et le fait que l'enfant avait précisé que le recourant lui avait demandé de se taire lors d'un deuxième complexe de faits, ce qui était logique, étant donné que ce dernier avait remarqué une réaction parentale après ses premiers attouchements. Enfin les premiers juges ont encore assis leur conviction sur le fait que le recourant faisait l'objet de deux mises en cause indépendantes l'une de l'autre. Ils ont en revanche écarté d'autres faits qui auraient pu être retenus à décharge, tels le comportement des parents, l'absence de constat médical au moment des faits et le peu de révélation des constats médicaux opérés ultérieurement.
Le recourant reproche aux premiers juges d'avoir laissé de côté certains éléments des rapports médicaux. Ainsi, selon le recourant, le Dr C._, qui a vu l'enfant en mai 2002 et le pédopsychiatre D._, dans une lettre de janvier 2003, n'ont fait aucune constatation dénotant un problème de nature physique ou psychique et ont attesté que l'enfant déployait une activité ludique avec aisance ainsi qu'une bonne distance relationnelle, que son développement psycho-affectif semblait de bonne qualité et que l'on pouvait dresser un tableau clinique rassurant de l'enfant. La psychologue E._ indique dans un rapport du 21 mai 2007 avoir vu l'enfant en 2005, constate quelques difficultés d'apprentissage et conclut qu'il est bien difficile de faire le lien entre les difficultés d'apprentissage et les faits qui auraient traumatisé la fillette.
Les premiers juges n'ont pas ignoré ces différentes expertises et ont noté que les rapports des Drs C._ et D._ n'avaient rien révélé de particulier. Ils ont cependant admis que différentes difficultés présentées par l'enfant (problèmes respiratoires, timidité), associées à la séparation des parents et aux antécédents d'éventuels abus sexuels avaient poussé le Dr C._ à recommander à la mère une prise en charge pédopsychiatrique qui s'est déroulée auprès de la psychologue E._. Dans une attestation du 21 mai 2007, cette thérapeute décrit les difficultés rencontrées par l'enfant, d'abord à l'école enfantine, puis pendant les deux années d'école primaire, et la prise en charge dont a bénéficié l'enfant. Le tribunal n'a pas perdu de vue que, selon cette dernière spécialiste, il est difficile de faire un lien entre les difficultés d'apprentissage actuelles de l'enfant et les faits qui l'auraient traumatisée petite, mais a retenu qu'il y avait dans les difficultés de l'enfant une pluralité de facteurs somatiques (maladie respiratoire) d'apprentissage (retards scolaires) et psychologiques (timidité, manque d'ouverture aux autres à l'école enfantine) et il a considéré ce tableau comme parfaitement compatible avec les attouchements qu'il a retenus et qui ont eu lieu en 2001 et 2002, considérant que l'enfant avait ensuite évolué favorablement en raison d'un soutien thérapeutique. Les premiers juges ont de plus considéré que les abus sexuels n'avaient pas été en s'aggravant, ce qui pouvait également expliquer que les répercussions étaient somme toute plus limitées que ce qui est parfois constaté dans des cas d'abus concernant de très jeunes enfants et ont estimé qu'il était compréhensible dans ces conditions que les actes illicites n'aient pas été documentés médicalement.
Le recourant se contente d'alléguer qu'il est insoutenable de considérer que l'enfant a évolué favorablement en raison du soutien thérapeutique dont elle a fait l'objet, puisqu'elle allait bien et ne présentait pas de signes de perturbation au moment des prétendus faits. Il se contente ainsi d'opposer une nouvelle fois sa propre appréciation à celle des juges cantonaux sans montrer en quoi celle-ci serait insoutenable ni exposer pourquoi il était arbitraire d'admettre dans le cas particulier, malgré le peu de répercussions constaté sur la victime, que les attouchements avaient eu lieu. Or, le fait que ces derniers n'aient pas été en s'aggravant peut expliquer que les répercussions aient été somme toute limitées. Le recourant se contente notamment de reprocher aux juges cantonaux d'avoir ignoré que la séparation des parents pouvait avoir eu des répercussions sur l'enfant, ce qui, contrairement à ce qu'il prétend, a été pris en considération par le Dr C._ dans sa lettre du 22 mai 2007 et repris dans le jugement de première instance. Partant, retenir des attouchements en l'espèce malgré les différents constats de spécialistes n'apparaît pas insoutenable et le recourant ne démontre pas que tel serait le cas.
S'agissant du comportement particulier des parents et de l'absence de constat médical au moment des faits, ils ont été analysés par les juges cantonaux, qui ont expliqué pourquoi ces deux éléments n'ébranlaient pas leur conviction. Le recourant se limite à critiquer cette appréciation de manière purement appellatoire et il n'y a pas lieu d'examiner son grief, qui ne répond pas aux exigences de motivation rappelées ci-dessus.
Finalement, le recourant reproche aux premiers juges d'avoir ignoré le témoignage de F._, qui a aussi été gardée par les époux X._ et qui aurait dit ne pas avoir vu le moindre comportement anormal ou déviant chez le recourant.
La cour cantonale a estimé que le fait que F._ a dit n'avoir subi aucun abus n'excluait pas que la victime ait, elle, subi de tels attouchements dans le cas d'espèce, d'autant plus qu'il est établi qu'un autre enfant au moins, B._, a subi également des abus. Cette appréciation n'apparaît pas insoutenable au vu des différents éléments mentionnés qui ont conduit à retenir des attouchements dans le cas particulier et le recourant ne démontre une nouvelle fois pas le contraire. Partant, le recours ne peut qu'être rejeté dans la mesure où il est recevable.
5. Vu l'issue de la procédure, les frais judiciaires doivent être mis à la charge du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 11 août 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay