Faits:
A. Depuis l'été 2008 jusqu'à son arrestation en mars 2010, X._, né en 1943, a abusé sexuellement de la petite-fille de sa compagne, A._, née en 2004. Celle-ci rendait souvent visite à sa grand-mère et à X._, qui habitaient la maison voisine, et elle dormait chez eux une fois par semaine. X._ a embrassé A._ sur la bouche, il l'a masturbée en imprimant des mouvements circulaires sur son sexe, vêtu ou non, et il lui a fait subir une pénétration vaginale digitale, puis pénienne en 2009. La fillette a également été amenée à saisir le sexe de X._ de manière suffisamment intense pour qu'il éjacule, après s'être isolé.
B. Par jugement du 20 décembre 2011, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec un enfant et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance à la peine privative de liberté de cinq ans, sous déduction de la détention avant jugement, il a ordonné que X._ soit soumis à un traitement psychothérapeutique ambulatoire à exécuter en milieu carcéral et a dit qu'il était débiteur, à titre de réparation du tort moral, à hauteur de 20'000 francs en faveur de A._ et de 10'000 francs en faveur de chacun des deux parents de la fillette.
C. Saisie d'un appel du condamné, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a confirmé cette décision par jugement du 2 avril 2012.
D. X._ interjette un recours en matière pénale au Tribunal fédéral. Il conclut principalement à sa condamnation à une peine privative de liberté compatible avec le sursis ou le sursis partiel et à ce qu'il soit dit qu'il devra se soumettre à un traitement thérapeutique ambulatoire; subsidiairement, il conclut à ce qu'il soit condamné à une peine privative de liberté d'une durée inférieure à cinq ans et à ce que celle-ci soit suspendue au profit d'un traitement ambulatoire et plus subsidiairement encore, au renvoi de la cause à l'autorité cantonale. Il sollicite en outre l'octroi de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant conteste la quotité de la peine prononcée à son encontre.
1.1 Selon l'art. 47 CP, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
La culpabilité de l'auteur doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution (objektive Tatkomponente). Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur (subjektive Tatkomponente). A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même (Täterkomponente), à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (ATF 134 IV 17 consid. 2.1 p. 19 s.; 129 IV 6 consid. 6.1 p. 20; arrêt 6B_759/2011 du 19 avril 2012 consid. 1.1).
L'art. 47 CP confère un large pouvoir d'appréciation au juge. Par conséquent, celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'art. 47 CP, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (ATF 136 IV 55 consid. 5.6 p. 61; 134 IV 17 consid. 2.1 p. 19 s.; 129 IV 6 consid. 6.1, p. 21 et les références citées).
1.2 La cour cantonale a considéré que la culpabilité du recourant était très lourde. Elle a relevé, à la charge de celui-ci, qu'il avait exploité la confiance d'une très jeune enfant pour l'initier prématurément à des actes incompréhensibles pour elle. En l'invitant au silence, il avait confiné sa victime dans un secret étouffant. Il avait ignoré les besoins réels de la fillette et avait piétiné durablement son existence pour satisfaire ses pulsions. Il y avait également lieu de tenir compte de la nature et du caractère régulier des actes infligés à l'enfant, de la durée durant laquelle ils avaient été perpétués et de la responsabilité que le rôle de grand-père imposait à l'appelant. Il n'avait en outre pas pleinement pris conscience de ses actes et persistait à nier les plus graves et à affirmer que la fillette avait parfois pris l'initiative de gestes à caractère sexuel. L'appelant avait en outre déjà eu un comportement similaire dans le passé au préjudice de sa propre fille, née d'une précédente union.
A décharge, il devait être tenu compte de la légère diminution de responsabilité de l'appelant, les experts considérant qu'aucun des troubles retenus ne l'empêchait d'apprécier le caractère illicite de ses actes, mais que sa faculté de se déterminer d'après cette appréciation était légèrement diminuée. En outre, le recourant avait finalement réussi à établir une alliance thérapeutique, étant toutefois relevé que sa motivation à s'investir était tardive et reposait manifestement, vu la chronologie, sur l'espoir de modifier la peine privative de liberté infligée en première instance.
1.3 Le recourant invoque que la cour cantonale a retenu comme élément à charge dans le cadre de la fixation de la peine qu'il a déjà eu, au préjudice de sa propre fille, un comportement similaire à celui qui lui est reproché. Or, ces faits ne sont pas clairement établis et ils sont en tout état prescrits.
1.3.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente, sauf si ceux-ci ont été retenus de façon manifestement inexacte, c'est-à-dire arbitraire (sur cette notion, voir par exemple ATF 138 V 74 consid. 7 p. 82; 137 I 1 consid. 2.4 p. 5; 136 III 552 consid. 4.2 p. 560) - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 1 et 2 LTF). Conformément à l'art. 106 al. 2 LTF, le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été expressément soulevés et exposés de manière claire et détaillée (ATF 138 V 67 consid. 2.2 p. 69; 134 I 83 consid. 3.2 p. 88). Les critiques de nature appellatoire sont irrecevables (ATF 137 IV 1 consid. 4.2.3 p. 5).
En se bornant à affirmer que les actes qu'il a commis sur sa fille ne sont pas établis, le recourant, qui n'invoque aucun arbitraire dans la constatation des faits, conteste ceux-ci de manière purement appellatoire et il ne démontre pas de manière conforme à l'art. 106 al. 2 LTF en quoi il pourrait y avoir, sur ce point, une constatation manifestement inexacte au sens de l'art. 97 al. 1 LTF. Sa démarche est irrecevable. Au demeurant, à la suite des déclarations de sa fille dans le cadre de la présente procédure, il a admis devant le Juge d'instruction avoir eu à l'encontre de celle-ci, lorsque elle était enfant, un comportement similaire à celui qui lui est reproché (cf. procès-verbal n° 7 du 5 mars 2010, question et réponse n° 5) et il a déclaré devant la cour cantonale qu'il confirmait ses précédentes déclarations. Il ressort également de l'expertise judiciaire du 5 janvier 2011 que le recourant a commencé à faire des attouchements sexuels à sa fille lorsqu'elle avait environ huit ans (cf. expertise, p. 3).
1.3.2 Des antécédents peuvent jouer un rôle aggravant dans le cadre de la fixation de la peine. Leur importance diminue cependant avec le temps, surtout s'ils concernent une autre période de vie de l'auteur et des infractions d'une autre nature (cf. ATF 123 IV 49 consid. 2d p. 52; arrêt 6S.199/2004 du 27 avril 2005 consid. 3.3). Le juge peut prendre en compte à titre d'antécédents des actes punissables qui n'ont pas été punis, pour autant que les faits soient établis, y compris des infractions prescrites (Nicolas Queloz/Valérie Humbert, in: Commentaire romand Code pénal I, 2009, n. 58 ad art. 47 CP; Hans Wiprächtiger, in: Basler Kommentar, Strafrecht I, 2ème éd., 2007, n. 104 ad art. 47 CP).
Les actes commis par le recourant au préjudice de sa fille aujourd'hui majeure sont certes anciens. La répétition d'actes similaires par le recourant démontre cependant qu'il persiste dans un même comportement illicite et que l'absence de sanction ne l'a pas freiné dans sa volonté délictuelle. Malgré l'écoulement du temps depuis la commission des premiers actes, la prise en compte de ceux-ci ne constituait ainsi pas un critère absolument étranger à l'art. 47 CP. Leur rôle ne pouvait être toutefois que limité. Ils n'ont cependant constitué en l'espèce qu'un élément parmi d'autres, mentionné en dernier lieu après plusieurs autres retenus à charge, et il n'apparaît pas que le tribunal cantonal lui aurait accordé une importance particulière. Le grief selon lequel l'autorité cantonale aurait violé l'art. 47 CP en mentionnant qu'il avait déjà commis des actes similaires doit être rejeté.
1.4 Le recourant soutient que la cour cantonale n'a pas tenu compte, à décharge, de son bon comportement depuis sa libération de détention provisoire intervenue en juillet 2010. Depuis cette date, il s'était soumis avec rigueur aux conditions posées par l'autorité d'instruction et n'avait plus eu le moindre écart de comportement. Si l'alliance thérapeutique avait été tardive, comme l'a retenu la cour cantonale, elle était néanmoins intervenue avant le jugement entrepris.
1.4.1 La cour cantonale a constaté qu'à sa libération, le recourant avait été adressé à la consultation ambulatoire de la clinique B._ où il avait bénéficié d'une psychothérapie individuelle une fois par mois et avait suivi des séances de groupe tous les quinze jours. Réservé et inhibé, le recourant s'était difficilement engagé dans le traitement. Depuis le jugement du 20 décembre 2011, il suivait des séances de psychothérapie individuelles hebdomadaires et en groupe tous les quinze jours. Dans son rapport du 16 février 2012, le psychiatre traitant du recourant relevait que ce dernier participait activement au travail psychothérapeutique le concernant et qu'il s'était engagé, qu'il réfléchissait aux interventions de ses thérapeutes et se montrait de plus en plus capable de se remettre en question et d'interroger son fonctionnement psychique. Ainsi, une alliance thérapeutique sérieuse s'installait. La cour cantonale a cependant considéré que même s'il avait commencé à s'investir dans son traitement, sa prise de conscience était tardive et encore incomplète. Une partie de cette motivation reposait manifestement, vu la chronologie, sur l'espoir de modifier la peine prononcée par les premiers juges.
1.4.2 Le comportement de l'auteur postérieurement à l'acte constitue un élément à prendre en compte lors de la fixation de la peine, pour autant qu'il permette d'en tirer des déductions sur l'intéressé et son attitude par rapport à ses actes (arrêt 6B_203/2010 du 27 mai 2010 consid. 5.3.4). Une prise de conscience, par l'auteur, du caractère illicite de ses actes et le repentir sont considérés comme des éléments autorisant une diminution de la peine (ATF 121 IV 202 consid. 2d/cc p. 205; arrêt 6B_203/2010 du 27 mai 2010 consid. 5.3.4).
La décision du recourant de suivre sérieusement son traitement psychothérapeutique est louable. Une prise de conscience particulière ou un repentir ne peuvent cependant pas encore en être déduits dans la mesure où la cour cantonale a constaté que la motivation du recourant à suivre son traitement résultait de son espoir de voir sa peine réduite - constatation de fait que le recourant ne critique pas et qui lie le Tribunal fédéral (art. 105 al. 1 LTF) - et que le recourant a encore nié devant la cour cantonale une partie des actes qui lui étaient reprochés. Il peut par ailleurs être attendu de tout citoyen qu'il ne commette pas d'infraction et le recourant ne peut dès lors se prévaloir du fait qu'il n'a plus eu d'écart de comportement depuis sa mise en liberté pour réclamer une réduction de sa peine. La cour cantonale n'a dès lors pas violé le droit fédéral en relativisant le caractère positif de l'investissement du recourant dans son traitement et en ne tenant pas compte, à titre d'élément à décharge, du fait qu'il s'était bien comporté depuis sa libération de détention provisoire.
1.5 Le recourant soutient que le prononcé d'une peine ferme mettrait à néant tous les efforts qu'il a consentis pour se réinsérer et que la menace de la révocation d'un sursis à une peine privative de liberté était apte à prévenir toute récidive, ce qui aurait dû amener la cour cantonale à prononcer une peine de détention compatible avec le sursis, voire le sursis partiel.
1.5.1 Selon la jurisprudence, lorsque la peine entrant en considération se situe dans un intervalle dont les bornes comprennent la limite supérieure à l'octroi du sursis (deux ans; art. 42 al. 1 CP), du sursis partiel (trois ans; art. 43 al. 1 CP) ou de la semi-détention (1 an; art. 77b CP), le juge doit se demander si une peine inférieure à cette limite apparaît encore soutenable et, dans cette hypothèse, la prononcer. Dans le cas inverse, il est libre de prononcer une peine, pour peu qu'elle soit adéquate et justifiable, même si elle n'excède que de peu la limite en cause (ATF 134 IV 17 consid. 3.5 p. 24).
1.5.2 En l'espèce, le recourant a été condamné à cinq ans de privation de liberté. Il n'est pas soutenable de prétendre que la fourchette des sanctions entrant en considération engloberait aussi la limite supérieure au sursis partiel, soit trois ans. Le recourant ne peut prétendre, pour le motif qu'il invoque, à une réduction de deux années de la privation de liberté qui lui a été infligée et revendiquer l'octroi du sursis partiel.
1.6 En définitive, les motifs invoqués par l'autorité pour fixer la quotité de la peine privative de liberté (cf. supra consid. 1.2) sont pertinents et ne procèdent ni d'un abus ni d'un excès du large pouvoir d'appréciation que l'art. 47 CP confère au juge. Le grief tendant à la réduction de la peine du recourant doit être rejeté.
2. Le recourant invoque une violation de l'art. 63 CP. Selon lui, la cour cantonale a considéré à tort qu'un traitement psychothérapeutique était possible en milieu carcéral.
2.1 Selon l'art. 63 al. 2 CP, si la peine n'est pas compatible avec le traitement, le juge peut suspendre, au profit d'un traitement ambulatoire, l'exécution d'une peine privative de liberté ferme prononcée en même temps que le traitement. Il peut ordonner une assistance de probation et imposer des règles de conduite pendant la durée du traitement.
Le principe est que la peine est exécutée et que le traitement ambulatoire est suivi en même temps. La suspension de la peine est l'exception (arrêt 6B_807/2010 du 7 juillet 2011 consid. 4.1; 6B_717/2010 du 13 décembre 2010 consid. 3.2; 6B_141/2009 du 24 septembre 2009 consid. 4). Celle-ci doit se justifier suffisamment par des motifs thérapeutiques. Une suspension doit être ordonnée si la perspective du succès du traitement est considérablement compromise par l'exécution de la peine privative de liberté prononcée. La thérapie doit être privilégiée lorsqu'un traitement immédiat offre de bonnes chances de réinsertion, lesquelles seraient clairement entravées ou réduites par l'exécution de la peine (ATF 129 IV 161 consid. 4.3 p. 165; arrêt 6B_107/2011 du 23 mai 2011 consid. 5.2; 6B_581/2009 du 15 décembre 2009 consid. 3.2). En outre, il faut tenir compte, d'une part, des effets de l'exécution de la peine, des perspectives de succès du traitement ambulatoire et des efforts thérapeutiques déjà consentis mais également, d'autre part, de l'exigence de politique criminelle de réprimer les infractions proportionnellement à la faute, respectivement d'exécuter en principe les peines qui ont force de chose jugée. Sous l'angle du principe de l'égalité de traitement, le besoin de traitement doit être d'autant plus marqué que la peine suspendue est d'une longue durée. Un traitement ambulatoire ne saurait être ordonné pour éviter l'exécution d'une peine ou la différer indéfiniment (ATF 129 IV 161 consid. 4.1 p. 163; arrêt 6B_947/2009 du 6 janvier 2010 consid. 3.3).
Pour se prononcer sur la suspension de l'exécution d'une peine privative de liberté ferme, le juge doit se fonder sur une expertise psychiatrique (art. 56 al. 3 let. c CP en relation avec l'art. 63 CP; arrêt 6B_581/2009 du 15 décembre 2009 consid. 3.3). Le juge peut se fonder sur une expertise qui figure déjà au dossier si celle-ci est encore suffisamment actuelle. L'élément déterminant n'est pas le temps qui s'est écoulé depuis le moment où l'expertise a été établie, mais plutôt l'évolution qui s'est produite dans l'intervalle. Il est parfaitement concevable de se fonder sur une expertise relativement ancienne si la situation ne s'est pas modifiée entre-temps (ATF 134 IV 246 consid. 4.3 p. 254, 128 IV 241 consid. 3.4 p. 247 s.).
Le juge dispose d'un large pouvoir d'appréciation pour décider de l'éventuelle suspension de l'exécution de la peine et le Tribunal fédéral n'intervient qu'en cas d'excès ou d'abus de celui-ci (ATF 129 IV 161 consid. 4.4 p. 165; 6B_947/2009 du 6 janvier 2010 consid. 3.3; arrêt 6B_724/2008 du 19 mars 2009 consid. 3.2.3).
2.2 La cour cantonale indique que selon le rapport d'expertise du 5 janvier 2011, un traitement de nature psychothérapeutique était possible en milieu carcéral. Il n'y avait dès lors pas d'incompatibilité entre le traitement ambulatoire et l'exécution de la peine au sens de l'art. 63 al. 2 CP. L'éventuelle difficulté du recourant à établir un lien de confiance en milieu carcéral relevée par l'expert résultait du fait qu'il avait fait une tentative de suicide au début de sa détention préventive. Il n'en restait pas moins que si le recourant était réceptif au traitement, comme il le prétendait, celui-ci pourrait avoir lieu en prison. Il pourrait être suivi par les mêmes thérapeutes, de sorte que l'alliance thérapeutique créée pourrait perdurer durant l'exécution de la peine privative de liberté. Il n'existait dès lors pas de motif suffisant pour suspendre celle-ci, d'autant plus qu'elle visait également à prévenir le risque de récidive retenu par les experts.
2.3 Le recourant relève que le rapport d'expertise indique que le "vécu persécutoire" pourrait être accentué par la situation carcérale et empêcher l'établissement d'un lien de confiance suffisant et nécessaire à son investissement dans une psychothérapie. La cour cantonale avait cependant considéré que cette incompatibilité entre sa détention et le traitement ambulatoire trouvait sa source uniquement dans la tentative de suicide qu'il avait faite au début de son incarcération. Ce n'était pas parce qu'il était parvenu à nouer une alliance thérapeutique sérieuse que celle-ci résisterait à une nouvelle période d'incarcération. L'expertise avait clairement relevé qu'il pourrait ne pas s'investir dans une psychothérapie. Rien n'indiquait que la situation avait changé et la cour cantonale s'était écartée de manière arbitraire de l'expertise.
2.4 Aux termes de son rapport du 5 janvier 2011, l'expert relève une possible difficulté du recourant à s'investir dans son traitement en milieu carcéral. Il ne mentionne en revanche aucune incompatibilité entre la mesure ambulatoire et une incarcération, contrairement à ce que le recourant soutient. Bien que l'expert ait eu connaissance de la tentative de suicide du recourant, il n'a pas exclu que celui-ci puisse suivre son traitement en détention. Le recourant relève en outre que le courrier du 16 février 2012 du médecin qui le suit actuellement mentionne qu'il présente une problématique de risque suicidaire évident. Il apparaît ainsi que cette problématique est indépendante d'une éventuelle incarcération de l'intéressé. Le rapport d'expertise n'indique pas, pour le surplus, que le trouble présenté par le recourant se soignerait mieux en dehors du milieu carcéral ou que les chances de réinsertion du recourant seraient réduites si le traitement était suivi simultanément à l'exécution de la peine, et l'intéressé ne fait pas valoir que le rapport serait contradictoire, lacunaire ou plus actuel à cet égard. Une peine privative de liberté de cinq ans a en outre été prononcée, ce qui implique que le besoin de suspension de l'exécution de la peine doit d'autant plus s'imposer de manière évidente, ce qui n'est pas le cas en l'espèce. Il convient enfin de relever que le rapport mentionne un risque de récidive dans des situations où le recourant s'est trouvé au moment des actes qui lui sont reprochés. En définitive, aucun élément ne permet de retenir que la perspective du succès du traitement ambulatoire serait considérablement compromise par l'exécution de la peine privative de liberté prononcée. La cour cantonale ne s'est ainsi pas arbitrairement écartée du rapport d'expertise et elle n'a pas abusé de son pouvoir d'appréciation en considérant que ce traitement pouvait être effectué en milieu carcéral.
Le recourant soutient que le lien établi par la cour cantonale entre sa tentative de suicide au début de sa détention et sa difficulté à établir un lien de confiance avec un thérapeute en prison est sans pertinence. Il n'apparaît toutefois pas que cet élément est de nature à remettre en cause l'appréciation de la cour selon laquelle les chances de succès du traitement ne sont pas clairement compromises par l'exécution de la peine et le recourant n'explique d'ailleurs pas pourquoi tel serait le cas. Il ne se justifie dès lors pas de compléter le rapport d'expertise sur cette question, contrairement à ce que le recourant réclame.
Enfin, le recourant relève à nouveau qu'il a scrupuleusement suivi les règles qui lui avaient été imposées lors de sa mise en liberté. Cet élément ne constitue cependant pas une circonstance particulière qui permettrait d'exclure l'efficacité d'un traitement suivi en même temps que l'exécution de sa peine. Le fait que les chances de succès d'un traitement suivi à l'extérieur de la prison soient bonnes, comme le recourant le soutient, ne signifie pas encore qu'elles seraient compromises si ledit traitement était suivi en milieu carcéral.
En définitive, le grief selon lequel la cour cantonale aurait dû suspendre l'exécution de la peine au profit du traitement ambulatoire doit être rejeté.
3. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme ses conclusions étaient manifestement dénuées de chance de succès, le recourant doit être débouté de sa demande d'assistance judiciaire (art. 64 al. 1 LTF a contrario) et supporter les frais de justice, qui seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 août 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben