Faits:
A. Par jugement du 23 septembre 2010, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants (art. 187 ch. 1 CP) et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) à une peine privative de liberté de quatre ans, il l'a astreint à un traitement institutionnel en milieu carcéral, en application de l'art. 59 al. 1 et 3 CP, et l'a condamné au paiement de diverses sommes à titre d'indemnité pour tort moral à A._, Y._ et Z._, leur donnant acte, pour le surplus, de leurs réserves civiles.
Le Tribunal correctionnel a retenu, pour fonder cette condamnation, qu'en 2005 et 2006 à tout le moins, X._, né en 1945, avait régulièrement abusé du petit-fils de sa compagne, A._, né le 6 novembre 2002, par des pénétrations anales et en touchant son sexe, alors qu'il était en visite chez sa grand-mère.
B. La Cour de cassation du Tribunal cantonal vaudois a rejeté le recours dont le condamné l'avait saisie par arrêt du 14 janvier 2011.
C. X._ interjette un recours en matière pénale devant le Tribunal fédéral. Il conclut à la réforme de l'arrêt entrepris dans le sens de son acquittement.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. La cour cantonale a considéré que l'appréciation des preuves opérée par le Tribunal correctionnel pour fonder la culpabilité du recourant était exempte d'arbitraire. Il en allait ainsi notamment de l'appréciation des premières déclarations de l'enfant, lors de son audition le 21 octobre 2006, des constatations faites après la dénonciation par les pédiatres de l'enfant, des examens médicaux des Drs B._ et C._ ainsi que des témoignages de D._ et de E._.
Le recourant reproche en premier lieu à l'autorité cantonale de n'avoir fait qu'admettre que les éléments retenus à sa charge l'avaient été sans arbitraire par les premiers juges, sans procéder à sa propre analyse en fait et en droit et sans examiner l'ensemble des éléments figurant à la procédure.
Il n'invoque toutefois la violation d'aucune norme constitutionnelle, en particulier un défaut de motivation (art. 29 al. 2 Cst.) ou encore une application arbitraire (art. 9 Cst.) de l'ancien Code de procédure pénale vaudois du 12 septembre 1967 (aCPP/VD; RS/VD 312.01). Il perd en outre de vue que la décision attaquée a été rendue par la Cour de cassation pénale du Tribunal cantonal vaudois statuant sur recours en nullité au sens des art. 411 let. h. et i aCPP/VD, dans le cadre strictement limité duquel elle ne revoit pas l'ensemble du litige, mais n'examine que les moyens soulevés (art. 439 al. 1 aCPP/VD), à la différence d'une autorité d'appel disposant d'un plein pouvoir d'examen. Le grief est irrecevable.
2. Contestant avoir commis le moindre acte d'ordre sexuel sur l'enfant, le recourant invoque la violation de l'interdiction de l'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.) et la violation de la présomption d'innocence, respectivement le principe in dubio pro reo (art. 32 al. 1 Cst. et 6 par. 2 CEDH). Il ne soutient pas qu'un doute subsisterait après l'examen des preuves. Il tente de démontrer que les autorités cantonales auraient dû en éprouver un en les appréciant sans arbitraire. Ces griefs se confondent sous cet angle (cf. ATF 124 IV 86 consid. 2a p. 88).
2.1 Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (art. 105 al. 1 LTF), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. ATF 137 I 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (cf. ATF 137 I 1 consid. 2.4 p. 5). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 136 III 552 consid. 4.2 p. 560).
Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_992/2008 du 5 mars 2009 consid. 1.2).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (ATF 134 I 83 consid. 3.2). Les critiques de nature appellatoire sont irrecevables (ATF 137 II 353 c. 5.1 p. 365 et réf. citées).
2.2 Dans un «bref rappel des faits essentiels», le recourant présente, à titre liminaire, sa propre vision des circonstances et de la procédure qui ont conduit à sa condamnation. Dans la mesure où certains des faits allégués ne ressortent pas de l'arrêt entrepris ou s'écartent de ceux constatés, ils ne seront examinés que si, dans la suite, le recourant formule sur ces mêmes points des griefs répondant aux exigences légales de motivation (cf. ATF 134 II 349 consid. 3 p. 351; également ATF 136 II 489 consid. 2.8 p. 494).
2.3 Le recourant fait valoir, en premier lieu, que l'autorité cantonale ne pouvait se fonder sur les déclarations de l'enfant du 21 octobre 2006 pour établir les faits, faute d'expertise de crédibilité qui avait été écartée du dossier. Il se plaint d'une appréciation arbitraire des propos de l'enfant dont les déclarations avaient été de surcroît suggérées par la mère. Enfin, il n'avait pas été tenu compte des conflits au sein de la famille.
2.3.1 La jurisprudence considère que les déclarations de jeunes enfants peuvent être retenues par le juge en application du principe de la libre appréciation des preuves, sans expertise de crédibilité, même si elles contiennent quelques imprécisions ou des contradictions mineures ou encore manquent de clarté sur des points secondaires (cf. arrêts 6B_936/2010 du 28 juin 2011 consid. 4.3.2; 6B_929/2008 du 5 mars 2009 consid. 2.1). En tant que telles, les déclarations d'un enfant sont donc susceptibles de constituer un élément sur lequel le juge peut, notamment, se fonder dans le cadre de son appréciation des preuves. Pour le surplus, autant que le recourant se plaint d'une absence d'expertise de crédibilité, il est rappelé qu'il en avait été ordonné une. Le Tribunal d'accusation du Tribunal cantonal vaudois a cependant considéré, par arrêt du 17 mars 2009, qu'elle ne respectait pas les exigences en la matière mais qu'il ne se justifiait pas d'en ordonner une seconde, décision que le recourant n'a pas contestée.
2.3.2 La mère de A._ a avisé la police, le 20 octobre 2006, de ses soupçons à l'endroit du recourant, selon lesquels celui-ci se serait livré à des attouchements sur son fils. En effet, au cours d'une discussion, son enfant avait indiqué que le précité l'avait "touché au derrière" et il lui avait montré son sexe, précisant que les faits s'étaient déroulés chez sa grand-mère. Le lendemain, A._, accompagné de sa mère, avait été entendu par la police dans le cadre d'une audition LAVI. Il n'avait pas fait beaucoup de déclaration si ce n'est que le recourant lui avait touché le "cucul".
Selon la Cour de cassation, les premiers juges étaient fondés à retenir comme crédible la déclaration de A._, laquelle en dépit de son caractère fragmentaire, restait constante et suffisamment précise quant à l'auteur et à la nature de l'acte commis qui révélait un contact corporel entre l'enfant et le recourant dans une zone érogène. Le contenu du témoignage de l'enfant et l'approximation du langage étaient caractéristiques d'un enfant de cet âge. L'audition de l'enfant était en outre intervenue rapidement après qu'il avait révélé les faits à sa mère, de sorte qu'il n'avait pas pu être influencé par les questionnements de ses parents. Enfin, les déclarations de l'enfant ne constituaient qu'un élément parmi l'ensemble de ceux dont les premiers juges avaient tenus compte pour fonder leur conviction.
Le recourant invoque le caractère contradictoire et fragmentaire des déclarations de l'enfant. Il n'expose toutefois pas en quoi les extraits qu'il cite (l'enfant aimait aller chez sa grand-mère, il ne se souvenait plus de ce qu'il avait dit à sa maman, le recourant ne lui avait rien fait de particulier, il était méchant et devait être puni, il n'avait pas de gros souci avec quiconque) sont propres à rendre insoutenable la constatation selon laquelle, lors de cette même audition, l'enfant l'a désigné nommément comme étant celui qui l'avait touché au derrière. On ne décèle aucun élément sur ces points, dans les autres propos de l'enfant, susceptible de remettre en cause l'appréciation des preuves de l'autorité précédente. Nonobstant leur caractère fragmentaire, les déclarations de l'enfant ne contiennent en outre aucune contradiction sur les actes incriminés qu'il a décrits de manière identique tant lors de sa première déclaration à sa mère qu'au cours de son audition LAVI. Elles sont en outre claires quant à la nature de l'acte et ne sont pas sujettes à interprétation sur leur auteur qui désignent le recourant.
2.3.3 Quand le recourant soutient que les premières déclarations de l'enfant ont été suggérées par sa mère, il procède par pure affirmation sans avancer le moindre élément de nature à étayer son allégation et à remettre en cause l'appréciation de l'autorité cantonale qui exclut toute suggestibilité de l'enfant. Il ne saurait sur ce point se fonder sur des déclarations de l'enfant, postérieures à l'audition LAVI, celles-ci ayant été écartées du dossier, ou sur la suspicion de la mère, née postérieurement à la dénonciation, quant à une éventuelle participation de la grand-mère, participation exclue par les autorités cantonales par le prononcé d'un non-lieu. L'autorité cantonale a écarté toute suggestibilité de l'enfant au moment du processus de dévoilement. Elle a motivé son opinion en exposant que l'audition recueillie le 21 octobre 2006 avait été effectuée rapidement après la révélation à la mère et que le rapport mère-enfant était sain selon l'avis de plusieurs pédiatres, la mère étant pleine de bonne volonté et à l'écoute de son enfant. Il ne ressort en effet pas des explications données par l'intéressée à la police sur la manière dont l'enfant avait été amené à parler - que le recourant ne remet pas en cause - qu'elle aurait poussé son fils à lui faire des révélations sur le recourant (cf. procès-verbal n° 1 du 21 octobre 2006, p. 2). Elle ne l'a notamment pas spontanément incité à s'exprimer à son sujet, ni interrogé pour savoir ce qu'il en pensait, mais c'est au contraire l'enfant qui, à la suite d'une remarque de sa mère selon laquelle sa grand-mère et le recourant étaient gentils, a déclaré que ce dernier était "gentil, mais pas trop". La mère a alors, mais dans un deuxième temps uniquement, posé des questions, lesquelles étaient suffisamment ouvertes pour ne pas influencer l'enfant. La conversation a été brève et elle s'est limitée à quelques questions seulement. L'autorité cantonale a encore écarté toute suspicion de suggestibilité en soulignant que la mère avait toute confiance dans l'entourage familial. En effet, au printemps 2005, soit plus d'une année avant la dénonciation, alors qu'elle avait constaté des rougeurs à l'anus de son fils et consulté le pédiatre de l'enfant à ce sujet, elle avait rejeté la possibilité d'un abus sexuel évoqué par celui-ci (cf. infra consid. 2.4.1). C'est ainsi sans arbitraire que l'autorité cantonale a considéré qu'il ne pouvait être retenu que les déclarations de l'enfant eussent été suggérées.
Enfin, le recourant soutient à tort que la situation familiale n'a pas été prise en compte lors de l'appréciation des preuves. Le tribunal cantonal a relevé que les conflits au sein de la famille (procédure de divorce des grands-parents) étaient distincts des révélations de l'enfant. Or, le recourant ne critique pas ces constatations conformément aux exigences de l'art. 106 al. 2 LTF.
Aucun autre élément, tel le degré de développement de l'enfant ou son état de santé psychique, ne permet, pour le surplus, de mettre en doute la crédibilité des déclarations de l'enfant sur les points retenus par l'autorité cantonale. Il n'était dès lors pas arbitraire d'en tenir compte dans le cadre de l'appréciation de l'ensemble des preuves pour fonder la culpabilité du recourant. Le grief est rejeté dans la mesure de sa recevabilité.
2.4 Le recourant conteste que les constatations médicales résultant des examens des Drs C._ et B._ puissent constituer un élément à charge.
2.4.1 Il ressort des constatations cantonales que la mère de l'enfant, qui avait remarqué en mai 2005 que son fils présentait des rougeurs à l'anus, l'avait fait examiner par son pédiatre, le Dr C._. Ce dernier avait évoqué la possibilité d'un abus sexuel, qu'elle avait toutefois aussitôt rejetée, l'enfant n'étant gardé que dans le cercle familial. Le Dr C._ avait adressé l'enfant au Dr F._. L'inspection de la marge anale avait montré une anite importante avec enflure de la muqueuse et de la sous-muqueuse. Après les révélations, l'enfant avait été soumis à une anuscopie réalisée sous anesthésie générale le 30 octobre 2006 à l'Hôpital de l'enfance, qui avait mis en évidence une souffrance du canal anal s'étendant sur une période d'environ une année. Selon le protocole opératoire du Dr B._, l'enfant présentait un anus plutôt béant qui révélait une dilatation hémorroïdaire externe très modérée de trois heures à neuf heures. Le canal était irrité et rouge longitudinalement à six heures, ce qui pouvait correspondre à une ancienne fissure en voie de guérison. L'ensemble de ces constats pouvait correspondre à une souffrance du canal anal d'âge différent, une lésion étant survenue quelques semaines avant, alors que l'autre pouvait être mise en rapport avec l'anite constatée en 2005. Au vu de l'ensemble de ces éléments, l'autorité cantonale a considéré que les premiers juges étaient fondés à retenir sans arbitraire que les lésions détectées par les médecins étaient compatibles avec des pénétrations anales.
Le recourant ne remet pas en cause la réalité des lésions décelées chez l'enfant et les infections durables dont il a souffert. Il se borne à faire valoir que le premier médecin n'avait pas insisté lorsque la mère avait rejeté l'hypothèse d'un abus sexuel, ce qui démontrait qu'il envisageait d'autres causes aux symptômes présentés par l'enfant. Ce faisant, faute de toute constatation de cette nature dans les propos du médecin, le recourant s'écarte de manière inadmissible de l'état de fait (art. 105 al. 1 LTF) et procède par affirmation. L'évocation d'un abus sexuel par le pédiatre révèle au contraire que cette hypothèse lui semblait la plus évidente pour expliquer l'infection dont souffrait l'enfant. Le recourant ne peut en outre rien tirer de l'absence de constat du médecin ayant procédé à l'anuscopie quant à des abus sexuels, ce médecin n'ayant été mis en ?uvre que pour procéder à un examen du canal anal de l'enfant. Que les juges aient à tort déduit de cette anuscopie que la souffrance du canal anal se soit étendue sur une année plutôt que sur une durée inférieure, n'interfère en rien sur leur appréciation que cette lésion était compatible avec des abus sexuels. Le recourant s'écarte encore des constatations cantonales lorsqu'il affirme que l'enfant se touchait fréquemment le sexe et se mettait le doigt dans l'anus, ce qui pourrait expliquer l'origine des faits constatés médicalement sans démontrer en quoi il pourrait y avoir, sur ce point, une lacune procédant d'une constatation manifestement inexacte au sens des art. 97 al. 1 LTF.
Aucun des moyens avancés par le recourant n'est ainsi propre à établir que l'autorité cantonale a arbitrairement retenu que les lésions décelées sur le canal anal étaient compatibles avec les faits dénoncés. Ces lésions constituent ainsi un indice matériel concret, corroborant les dires de l'enfant, même si, en tant que telles, elles ne désignent pas le recourant comme en étant l'auteur comme il le soutient.
2.5 Le recourant conteste que les déclarations des témoins D._ et E._ puissent être retenues.
2.5.1 D._, née en 1972, fille de G._, ancienne compagne du recourant, a déclaré que, lorsqu'elle avait entre six et huit ans, elle avait fait l'objet d'attouchements de la part de ce dernier, qui profitait de l'absence de sa mère. Ces faits avaient été révélés par son frère, qui avait confirmé avoir recueilli les déclarations de sa s?ur à l'époque de leur survenance. G._ a expliqué que ces agissements n'avaient alors pas été dénoncés, faute d'un soutien suffisant. E._, née en 1971, a également déclaré qu'elle avait fait l'objet d'attouchements de la part du recourant, qui était son parrain. Lorsqu'il l'avait appris, son père avait fortement réagi en rompant tout contact avec lui, mais il n'y avait eu aucune dénonciation.
La cour cantonale a considéré que les premiers juges étaient fondés à retenir comme indice probant d'un comportement sexuel déviant du recourant les déclarations de D._ et de E._, étant donné que ces personnes ne se connaissaient pas.
Le fait que des personnes, qui n'ont pas pu s'entendre préalablement, puisqu'elles ne se connaissent pas, fassent état d'événements de même nature subis par le comportement du recourant, constitue effectivement un élément pertinent pour retenir que ces témoins sont crédibles. On ne comprendrait d'ailleurs pas pourquoi des témoins, qui ne connaissent par ailleurs ni l'enfant ni sa famille, auraient fait de fausses déclarations sur des événements qui se sont produits plus de vingt ans auparavant, déclarations dont ils ne tirent aucun bénéfice et qui concernent une personne, à savoir le recourant, avec laquelle ils n'ont plus de contact. Le recourant, qui conteste en bloc tous ces témoignages, affirme que ces personnes avaient de nombreuses raisons de lui en vouloir sans toutefois l'établir. Il se borne, pour le surplus, à prétendre que les événements relatés datent d'une trentaine d'année, qu'ils ne sont corroborés par aucune preuve et qu'il était difficilement explicable, s'il avait véritablement des pulsions pédophiles, qu'il ait pu les réfréner toutes ces années alors qu'il était en contact constant avec des enfants en raison de sa profession. Ce faisant, il procède de manière purement appellatoire, partant irrecevable (art. 106 al. 2 LTF) en contestant la validité des témoignages sur la base de sa seule argumentation qui n'est étayée par aucun élément figurant au dossier. Il en ressort que l'intéressé présente un intérêt sexuel non maîtrisé pour les jeunes et il n'était dès lors pas insoutenable de considérer que les déclarations en cause constituaient un élément supplémentaire permettant de corroborer les faits dénoncés par l'enfant.
2.6 Le recourant fait valoir que la décision attaquée est arbitraire au motif qu'elle ne tient pas compte du fait qu'il a toujours clamé son innocence, alors qu'il avait soulevé cet argument dans son recours. Il avait en particulier toujours contesté s'être trouvé seul avec l'enfant et s'en être occupé, ce qui avait été confirmé par H._.
Autant qu'il invoque de la sorte une violation de son droit à une décision motivée découlant du droit d'être entendu (art. 29 al. 2 Cst.), le recours est irrecevable, faute de motivation suffisante (art. 106 al. 2 LTF). Au demeurant, le juge n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF 136 I 229 consid. 5.2 p. 236; 136 V 351 consid. 4.2 p. 355 et les arrêts cités) et il suffit qu'il expose les motifs qui fondent sa décision de manière à ce que le destinataire de celle-ci puisse en saisir la portée et exercer ses droits de recours à bon escient. Or, en l'espèce, l'autorité cantonale n'a pas ignoré les dénégations du recourant (arrêt attaqué consid. 2 p. 3), mais elle a estimé que les éléments sur lesquels les premiers juges avaient fondé leur verdict de culpabilité étaient pertinents et suffisants (arrêt attaqué consid. 6.3 p. 12), ce qui permettait au recourant de comprendre la décision et de l'attaquer utilement. Son droit d'être entendu n'a donc pas été violé.
Pour le surplus, le recourant n'explique pas en quoi ses dénégations, bien que constantes, étaient de nature à remettre en cause l'appréciation des preuves du Tribunal correctionnel, jugée exempte d'arbitraire par la Cour de cassation. Les contestations du recourant, comme celles de sa compagne, n'ont pas été jugées crédibles par le Tribunal correctionnel qui a, en particulier, rejeté l'affirmation des intéressés selon laquelle il ne s'était jamais trouvé seul avec l'enfant. Il s'est fondé sur le témoignage de la femme de ménage qui a indiqué que l'enfant passait de longs moments à l'étage hors la vue de sa grand-mère. L'intéressé ne conteste pas ces déclarations et ne soutient pas qu'elles ne pouvaient pas être prises en compte. Il ne peut rien tirer en sa faveur du non-lieu dont a bénéficié H._ ou du fait qu'il aurait été accusé à tort d'avoir observé l'enfant à travers les buissons. Ses dénégations ne sont ainsi pas aptes à qualifier d'arbitraire l'appréciation des preuves opérée par l'autorité précédente.
2.7 Ainsi, en définitive, au vu de l'ensemble des éléments pris en compte, soit les déclarations suffisamment précises de l'enfant qui désignent le recourant comme l'auteur des actes dénoncés, des constatations médicales qui sont compatibles avec les dires de l'enfant et constituent ainsi un indice matériel des faits reprochés au recourant, l'attirance sexuelle de celui-ci pour les enfants, attestée par les déclarations de deux témoins, et enfin le manque de crédibilité de ses dénégations, la cour cantonale n'est pas tombée dans l'arbitraire en retenant que le recourant a commis les actes qui lui sont reprochés.
2.8 Pour le surplus, le recourant ne conteste pas que eu égard aux faits retenus, les conditions objectives et subjectives de l'infraction aux art. 187 ch. 1 CP et 191 CP sont réunies, pas plus que les peines et mesures prononcées à son encontre. Le recours est rejeté dans la mesure où il est recevable.
3. Le recourant, qui succombe, supportera les frais de justice (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens aux intimés, qui n'ont pas été amenés à se déterminer, ni au Ministère public (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 14 décembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben