Faits: A. Par jugement du 22 juin 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a notamment condamné X._, pour actes d'ordre sexuel avec des enfants et pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, à une peine privative de liberté de 12 mois, sous déduction de 90 jours de détention avant jugement. Il a suspendu cette peine et a imparti au condamné un délai d'épreuve de 2 ans. Les faits à la base de la condamnation d'X._ sont les suivants: En 2004, X._, né en 1957, père de deux enfants, vivait seul mais entretenait une relation intime avec B._, mère de A._, née en 1992. Une nuit, alors que cette enfant était endormie au salon et que sa mère et sa soeur dormaient dans leur chambre, X._ a touché A._ sur toutes les parties du corps, sous le pyjama, et l'a embrassée sur la bouche. X._ a admis - à plusieurs reprises et y compris après avoir consulté un avocat - avoir eu des gestes incorrects envers A._ alors qu'elle avait environ 12 ans. Il a ainsi déclaré lui avoir probablement caressé le vagin à même la peau. A._ a été soumise à une expertise de crédibilité auprès du Service de psychiatrie de l'enfant et de l'adolescent du Centre hospitalier universitaire vaudois (CHUV). Selon le rapport du 17 juin 2008, complété par un avis du 19 mars 2009, tous les éléments recueillis iraient dans le sens de la crédibilité de l'enfant. B. Ce jugement a été confirmé le 14 septembre 2010 par la Cour de Cassation pénale du Tribunal cantonal vaudois. C. Contre cet arrêt, X._ forme un recours en matière pénale au Tribunal fédéral. Invoquant une violation du droit à un procès équitable (art. 29 Cst. et 6 § 3 CEDH), de l'interdiction de l'arbitraire ( art. 9 Cst) et du principe « in dubio pro reo » (art. 32 al. 1 Cst. et 6 § 2 CEDH), il conclut, avec suite de dépens, principalement à la réforme du jugement attaqué et à sa libération de tous les chefs d'accusation retenus à son encontre, subsidiairement à ce qu'il soit libéré du chef d'accusation d'acte d'ordre sexuel commis sur un enfant incapable de résistance et à ce que la peine prononcée à son encontre soit sensiblement réduite. Très subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.