Faits:
A. Par jugement du 22 juin 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné X._, pour actes d'ordre sexuel avec des enfants et pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, à une peine privative de liberté de 12 mois, sous déduction de 90 jours de détention avant jugement. Il a suspendu cette peine et a imparti au condamné un délai d'épreuve de 2 ans.
Les faits à la base de la condamnation d'X._ sont les suivants:
En 2004, X._, né en 1957, père de deux enfants, vivait seul mais entretenait une relation intime avec B._, mère de A._, née en 1992. Une nuit, alors que cette enfant était endormie au salon et que sa mère et sa soeur dormaient dans leur chambre, X._ a touché A._ sur toutes les parties du corps, sous le pyjama, et l'a embrassée sur la bouche.
X._ a admis - à plusieurs reprises et y compris après avoir consulté un avocat - avoir eu des gestes incorrects envers A._ alors qu'elle avait environ 12 ans. Il a ainsi déclaré lui avoir probablement caressé le vagin à même la peau.
A._ a été soumise à une expertise de crédibilité auprès du Service de psychiatrie de l'enfant et de l'adolescent du Centre hospitalier universitaire vaudois (CHUV). Selon le rapport du 17 juin 2008, complété par un avis du 19 mars 2009, tous les éléments recueillis iraient dans le sens de la crédibilité de l'enfant.
B. Ce jugement a été confirmé le 14 septembre 2010 par la Cour de Cassation pénale du Tribunal cantonal vaudois.
C. Contre cet arrêt, X._ forme un recours en matière pénale au Tribunal fédéral. Invoquant une violation du droit à un procès équitable (art. 29 Cst. et 6 § 3 CEDH), de l'interdiction de l'arbitraire ( art. 9 Cst) et du principe « in dubio pro reo » (art. 32 al. 1 Cst. et 6 § 2 CEDH), il conclut, avec suite de dépens, principalement à la réforme du jugement attaqué et à sa libération de tous les chefs d'accusation retenus à son encontre, subsidiairement à ce qu'il soit libéré du chef d'accusation d'acte d'ordre sexuel commis sur un enfant incapable de résistance et à ce que la peine prononcée à son encontre soit sensiblement réduite. Très subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.

Considérant en droit:
1. Le recourant soutient que son droit à un procès équitable consacré par l'art. 6 CEDH a été violé, dès lors que l'autorité de jugement se serait fondée pour le condamner sur les aveux prononcés lorsqu'il n'était pas assisté par un avocat. A l'appui de ce grief, il invoque un arrêt de la Cour européenne des droits de l'homme rendu le 27 novembre 2008 (arrêt SALDUZ c.Turquie, requête n° 36.391/02).
1.1 En vertu de l'art. 6 § 3 let. c CEDH, tout accusé a notamment droit à se défendre lui-même ou à avoir l'assistance d'un défenseur de son choix. Cette garantie constitue un aspect particulier du droit au procès équitable au sens de l'art. 6 § 1 CEDH. Cette disposition confère à l'accusé le droit de bénéficier de l'assistance d'un avocat dès les premiers stades des interrogatoires de police, sauf à démontrer, à la lumière des circonstances particulières de l'espèce, qu'il existe des raisons impérieuses de restreindre ce droit. Même dans ce dernier cas, pareille restriction - quelle que soit sa justification - ne doit pas indûment porter atteinte aux droits de l'accusé découlant de l'art. 6 CEDH (arrêt de la Cour européenne des droits de l'homme Salduz c. Turquie du 27 novembre 2008, par. 50 ss).
Dans le cas Salduz contre Turquie, cité par le recourant, le prévenu, encore mineur, avait été arrêté par la police et toute l'instruction s'était faite à charge lors de sa détention sans qu'il ait la moindre possibilité de consulter un avocat. L'Etat avait fait de la déposition livrée à la police par l'intéressé la preuve essentielle justifiant sa condamnation, les déclarations faites par ses coaccusés à sa charge n'ayant pas été maintenues au procès. La Cour européenne des droits de l'homme a jugé dans ce cas que les droits de la défense avaient été irrémédiablement restreints, car l'Etat avait fait de l'aveu de l'intéressé devant la police la preuve essentielle justifiant sa condamnation.
1.2 En l'espèce, ce n'est qu'aux débats, soit plus de trois ans après les auditions incriminées que le recourant s'est plaint de l'absence d'un avocat lors de ces auditions. Or, le principe de la bonne foi - qui constitue un principe général du droit également applicable dans le domaine de la procédure - oblige celui qui constate un prétendu vice de procédure à le signaler immédiatement à un moment où il pourrait encore être corrigé et lui interdit d'attendre en restant passif afin de pouvoir s'en prévaloir ultérieurement devant l'autorité de recours (cf <ref-ruling> consid. 5a p. 228 s.). Le grief soulevé par le recourant, qui était pourtant assisté d'un avocat en cours de procédure, a été écarté pour cause de tardiveté par l'arrêt attaqué qui, dans une motivation complémentaire, rejette toute violation du droit à un procès équitable. Dans ces conditions, il appartenait au recourant, pour se conformer à l'exigence de recevabilité posée par la jurisprudence (<ref-ruling> consid. 6.3 p. 120 s.), d'attaquer chacune de ces motivations, ce qu'il ne fait pas, puisqu'il ne s'en prend à aucun moment au rejet de son moyen pour cause de tardiveté. Son grief, qui ne répond pas aux exigences de motivation, n'a pas à être examiné.
Au demeurant, il ressort des faits constatés par l'autorité cantonale, dont le recourant ne démontre pas l'arbitraire, que celui-ci, même après avoir été assisté d'un conseil, a renouvelé ses aveux à plusieurs reprises et les a aussi répétés à son amie, à l'expert et dans une lettre de son mandataire au juge d'instruction, aveux qui sont également confirmés par les déclarations de la victime et de différents tiers-intervenants. Selon l'arrêt attaqué, l'autorité de jugement a dû apprécier les déclarations contradictoires des parties pour déterminer qui avait pris l'initiative des contacts intimes et elle ne s'est point basée sur d'éventuels aveux du recourant. Il en est de même quant au lieu où s'est déroulé le premier attouchement, qui n'est pas établi et a été jugé non pertinent. Par conséquent, la condamnation du recourant ne se base pas sur des déclarations faites alors que celui-ci n'était pas encore assisté d'un avocat, ce qui exclut qu'il ait été privé d'un procès équitable.
2. Le recourant se prévaut d'une violation de la présomption d'innocence et de l'adage « in dubio pro reo » qui en est le corollaire. En tant que règles sur le fardeau de la preuve, ces principes signifient, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute profite à l'accusé, ce que le TF revoit librement.
Au cas particulier, l'autorité de jugement n'a pas, comme le soutient le recourant, renversé le fardeau de la preuve et mis à la charge de l'accusé la preuve de l'initiative des faits incriminés, mais a apprécié les différents éléments figurant au dossier, notamment les déclarations contradictoires des protagonistes, pour arriver à la conclusion que la victime n'était pas l'initiatrice des contacts intimes, comme le prétendait le recourant. Ce dernier ne soutient pas (<ref-law>), et il ne ressort pas de l'arrêt attaqué, qu'un doute subsisterait après cette appréciation, lequel aurait dû profiter à l'accusé et conduire l'autorité de jugement à retenir sa version des faits. Par conséquent, faute d'éprouver un doute, cette autorité n'a pas non plus violé le principe in dubio pro reo en ne retenant pas la version du recourant. Ce dernier s'en prend en réalité à l'appréciation des preuves, qui, si elle avait été exempte d'arbitraire, aurait conduit les premiers juges à éprouver un doute qui aurait dû lui profiter. Son grief revient donc à se plaindre d'une appréciation arbitraire des preuves, ce qui sera examiné ci-après (consid. 3).
3. 3.1 Le recourant invoque l'arbitraire dans l'appréciation des preuves (art. 9 Cst.) et la présomption d'innocence, respectivement le principe in dubio pro reo (art. 9 et 32 Cst.; art. 6 CEDH). Il tente de démontrer que les autorités cantonales auraient dû éprouver un doute en appréciant les preuves sans arbitraire (sur cette notion voir <ref-ruling> consid. 1.3, p. 4 s.). Ces griefs se confondent et le recourant oppose, dans une large mesure, sa propre appréciation des preuves à celle des autorités cantonales. On se limitera, dans la suite, à l'examen des arguments qui n'apparaissent pas d'emblée irrecevables pour ce motif (<ref-ruling> consid. 1.4 p. 287).
3.2 Le recourant soutient qu'en se basant sur l'expertise de crédibilité pour asseoir la conviction de culpabilité et en confirmant ce point de vue en seconde instance, les autorités cantonales sont tombées dans l'arbitraire. L'expertise ne pourrait pas être un élément d'appréciation des faits dénoncés, dès lors qu'elle ne respecte pas les critères méthodologiques définis par la jurisprudence. En particulier, l'expert n'aurait pas précisé la méthodologie suivie et n'aurait pas appliqué les critères de Yuille; il n'aurait pas fait la distinction entre la crédibilité de la personne et la véracité des déclarations, n'aurait pas examiné si l'enfant avait pu faire ses déclarations sans contexte expérientiel, n'aurait analysé ni la genèse ni les motifs de dévoilement ni les contradictions du dossier et ne se serait notamment pas prononcé sur la pauvreté des déclarations de l'expertisée.
3.2.1 Une expertise de crédibilité doit permettre au juge d'apprécier la valeur des déclarations de l'enfant, en s'assurant que ce dernier n'est pas suggestible, que son comportement trouve son origine dans un abus sexuel et n'a pas une autre cause, qu'il n'a pas subi l'influence de l'un de ses parents et qu'il ne relève pas de la pure fantaisie de l'enfant. Pour qu'une telle expertise ait une valeur probante, elle doit répondre aux standards professionnels reconnus par la doctrine et la jurisprudence récente (<ref-ruling> consid. 6 p. 59 ss; <ref-ruling> consid. 2 p. 85). Si l'expert judiciaire est en principe libre d'utiliser les méthodes qui lui paraissent judicieuses, sa méthode doit toutefois être fondée, suivre les critères scientifiques établis, séparer soigneusement les constatations de fait du diagnostic et exposer clairement et logiquement les conclusions. En cas de suspicion d'abus sexuel sur des enfants, il existe des critères spécifiques pour apprécier si leurs déclarations correspondent à la réalité. L'expert doit examiner si la personne interrogée, compte tenu des circonstances, de ses capacités intellectuelles et des motifs du dévoilement, était capable de faire une telle déposition, même sans un véritable contexte expérientiel. Dans ce cadre, il analyse le contenu et la genèse des déclarations et du comportement, les caractéristiques du témoin, de son vécu et de son histoire personnelle, ainsi que divers éléments extérieurs. Lors de l'expertise de la validité d'un témoignage, il faut toujours avoir à l'esprit que la déclaration peut ne pas être fondée sur la réalité (ATF <ref-ruling> consid. 2 p. 85 s.).
Concernant plus particulièrement l'appréciation du résultat d'une expertise, le juge n'est en principe pas lié par ce dernier. Mais s'il entend s'en écarter, il doit motiver sa décision et ne saurait, sans motifs déterminants, substituer son appréciation à celle de l'expert, sous peine de verser dans l'arbitraire. En d'autres termes, le juge qui ne suit pas les conclusions de l'expert n'enfreint pas l'art. 9 Cst. lorsque des circonstances bien établies viennent en ébranler sérieusement la crédibilité (<ref-ruling> consid. 4 p. 57 s.; <ref-ruling> consid. 2 p. 86). Tel est notamment le cas lorsque l'expertise contient des contradictions et qu'une détermination ultérieure de son auteur vient la contredire sur des points importants, ou lorsqu'elle se fonde sur des pièces et des témoignages dont le juge apprécie autrement la valeur probante ou la portée (<ref-ruling> consid. 3a in fine p. 130). Si, en revanche, les conclusions d'une expertise judiciaire apparaissent douteuses sur des points essentiels, celui-ci doit recueillir des preuves complémentaires pour tenter de dissiper ses doutes. A défaut, en se fondant sur une expertise non concluante, il pourrait commettre une appréciation arbitraire des preuves et violer l'art. 9 Cst. (<ref-ruling> consid. 1c p. 146).
3.2.2 Au cas particulier, l'expertise a été faite par le Service universitaire de psychiatrie de l'enfant et de l'adolescent du CHUV. Elle a encore été complétée et la Dresse C._ a été entendue en instruction. L'expertise a été établie sur la base de trois entretiens avec l'intimée, d'un bilan psychologique, des différents documents contenus dans le rapport judiciaire et du visionnement du DVD de l'audition de l'intimée, des renseignements fournis par une psychologue qui a suivi l'intimée pendant plus d'une année ainsi que par une assistante sociale du SPJ, sans entendre les parents de l'intimée.
Après un rappel des faits, les experts ont établi l'anamnèse personnelle et familiale de l'intimée, son statut psychiatrique, le résumé de son examen psychologique, puis procédé à une analyse de différents éléments et répondu aux questions posées par le juge d'instruction. L'examen et les réponses apportées par les experts ont trait à la crédibilité des déclarations de l'intimée eu égard aux circonstances, aux motifs de dévoilement, à l'existence d'influence éventuelle, au déroulement de l'audition par la police, à l'attitude de l'intimée durant l'expertise, aux traits de la personnalité et au développement mental de l'expertisée, à la présence de signes cliniques chez l'intimée compatibles avec une atteinte à son intégrité sexuelle et à l'existence d'éléments invoquant un traumatisme ou un choc émotionnel. Comme ils l'ont admis eux-mêmes, les experts se sont essentiellement, voire exclusivement, concentrés sur la question de la crédibilité de l'intimée. Ils n'ont pas distingué l'examen de la crédibilité du témoin de celle de la validité du témoignage. S'agissant de cette dernière, les experts ne se sont référés à aucune méthodologie ni à aucun critère de validation de la déclaration, tels ceux de Yuille, invoqués par le recourant. Bien que les experts écartent toute tendance à l'affabulation de l'expertisée, il ne ressort pas clairement de leurs rapports qu'ils aient examiné si les déclarations de l'intimée avaient pu être faites sans véritable contexte expérientiel, ni qu'ils aient procédé à une analyse des déclarations de l'expertisée - notamment des mots employés - ou de l'évolution de ces déclarations en cours de procédure, si ce n'est qu'ils ont attribué à la douleur ressentie par l'intimée lorsqu'elle évoque le comportement du recourant et au besoin de l'intimée de se protéger le fait que son récit ne soit pas détaillé. En revanche, ils ont analysé les circonstances et les motifs du dévoilement ainsi que l'audition par la police et l'attitude de l'intimée durant l'expertise. Ils n'ont pas non plus ignoré les contradictions soulevées par le recourant mais ont conclu, succinctement il est vrai, qu'elles n'influençaient pas leurs conclusions. Enfin, ils ont établi que l'expertisée ne souffrait d'aucun trouble psychique ni tendance à l'affabulation, qu'elle n'était pas sous l'influence d'un tiers si ce n'est qu'elle éprouvait un sentiment de culpabilité vis-à-vis de sa mère.
Point n'est cependant besoin d'examiner plus avant l'expertise dans la mesure où, dans le cas particulier, elle n'a joué qu'un rôle très secondaire s'agissant des premiers et seuls attouchements dont le recourant a été déclaré coupable. En effet, ceux-ci ont été admis sur la base de la conformité des aveux du recourant avec les déclarations de la victime et les témoignages de tiers-intervenants revêtant une fonction officielle. Le recourant a été, malgré l'expertise, libéré de toute prévention s'agissant d'éventuels autres attouchements ou pénétrations. Il s'en prend en réalité à l'appréciation des modalités des premiers attouchements qui a conduit les juges cantonaux à nier que la victime ait pu en être l'initiatrice, motifs pris qu'aucun élément au dossier n'allait dans ce sens et qu'il serait assurément insolite qu'une jeune adolescente psychologiquement équilibrée à dire d'expert, puisse prendre l'initiative de tels contacts intimes. Or, s'agissant de l'état mental de la victime, l'expertise ne prête pas flanc à la critique et le recourant n'en émet d'ailleurs aucune. Partant, l'appréciation qui a conduit l'autorité de jugement à nier qu'une enfant de 12 ans puisse être l'initiatrice de contacts intimes avec le recourant ne peut être qualifiée d'arbitraire et le recourant ne démontre pas le contraire d'une manière conforme aux exigences de motivation de l'<ref-law>. Par conséquent, quand bien même certains doutes peuvent être émis sur la méthodologie de l'expertise de crédibilité quant à l'examen de la véracité des dires de la victime, dans le cas particulier et au vu du rôle très minime joué par cette dernière, l'arrêt attaqué n'est pas arbitraire dans son résultat.
4. Tout en réclamant son acquittement, le recourant ne motive à aucun moment en quoi sa condamnation, prononcée sur la base des faits établis dans l'arrêt attaqué, dont l'arbitraire a été nié, serait contraire au droit fédéral, de telle sorte que cette question, faute d'être au moins succinctement motivée (<ref-law>), ne saurait être examinée.
5. Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Il n'est pas alloué d'indemnité à l'intimée qui n'est pas intervenue dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 10 février 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Paquier-Boinay