Faits: A. Depuis l'été 2008 jusqu'à son arrestation en mars 2010, X._, né en 1943, a abusé sexuellement de la petite-fille de sa compagne, A._, née en 2004. Celle-ci rendait souvent visite à sa grand-mère et à X._, qui habitaient la maison voisine, et elle dormait chez eux une fois par semaine. X._ a embrassé A._ sur la bouche, il l'a masturbée en imprimant des mouvements circulaires sur son sexe, vêtu ou non, et il lui a fait subir une pénétration vaginale digitale, puis pénienne en 2009. La fillette a également été amenée à saisir le sexe de X._ de manière suffisamment intense pour qu'il éjacule, après s'être isolé. B. Par jugement du 20 décembre 2011, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec un enfant et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance à la peine privative de liberté de cinq ans, sous déduction de la détention avant jugement, il a ordonné que X._ soit soumis à un traitement psychothérapeutique ambulatoire à exécuter en milieu carcéral et a dit qu'il était débiteur, à titre de réparation du tort moral, à hauteur de 20'000 francs en faveur de A._ et de 10'000 francs en faveur de chacun des deux parents de la fillette. C. Saisie d'un appel du condamné, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a confirmé cette décision par jugement du 2 avril 2012. D. X._ interjette un recours en matière pénale au Tribunal fédéral. Il conclut principalement à sa condamnation à une peine privative de liberté compatible avec le sursis ou le sursis partiel et à ce qu'il soit dit qu'il devra se soumettre à un traitement thérapeutique ambulatoire; subsidiairement, il conclut à ce qu'il soit condamné à une peine privative de liberté d'une durée inférieure à cinq ans et à ce que celle-ci soit suspendue au profit d'un traitement ambulatoire et plus subsidiairement encore, au renvoi de la cause à l'autorité cantonale. Il sollicite en outre l'octroi de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.