Faits:
A. Par jugement du 21 novembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, avec suite de frais et dépens, à une peine privative de liberté de dix-huit mois assortie du sursis pendant deux ans et à une amende de 500 francs, pour contrainte sexuelle ainsi que diverses violations des règles de la LCR. Le Tribunal a en outre statué sur le volet civil de la cause. Ce jugement repose en résumé sur l'état de fait suivant, en ce qui concerne l'infraction de contrainte sexuelle.
Au mois de juin 2004, X._ a demandé à A.Y._ - jeune homme souffrant d'un grave retard mental - de lui toucher le sexe sous la menace de ne pas lui fournir de cannabis. Après avoir placé la main de la victime sur son sexe en érection par dessus son pantalon pendant une dizaine de secondes, X._ s'est dénudé, s'est masturbé, a enfilé un préservatif et a sodomisé A.Y._, malgré le refus opposé oralement à plusieurs reprises par ce dernier, qui était incapable de résister parce qu'il avait fumé du cannabis et désirait en recevoir par la suite, mais aussi en raison de son état mental. X._ s'est arrêté lorsque quelqu'un a sonné à la porte. Le Tribunal correctionnel a considéré les faits dénoncés par A.Y._ comme vrais en se fondant notamment sur les conclusions d'un rapport établi par l'Unité d'expertise du Centre hospitalier universitaire vaudois. La victime n'avait pas les capacités intellectuelles suffisantes pour établir un scénario de vengeance qui expliquait, selon le prévenu, les accusations portées contre lui. Les déclarations de la victime avaient, en outre, été constantes tout au long de l'instruction et encore lors des débats.
B. Saisie d'un recours en nullité du condamné, la Cour de cassation pénale du Tribunal cantonal vaudois l'a rejeté par arrêt du 24 janvier 2008. En bref, la cour cantonale a considéré que l'état de fait du jugement entrepris devait être complété par la relation du contenu de l'expertise, ce qui permettait d'éviter l'annulation de ce jugement malgré les lacunes dont il était entaché. L'expertise sur laquelle s'étaient fondés les premiers juges répondait aux exigences posées par la jurisprudence. Il n'y avait pas de raison de s'en écarter. Le Tribunal correctionnel n'avait pas apprécié arbitrairement les preuves ni violé le principe in dubio pro reo en se fondant sur cette expertise, sur le témoignage allant dans le même sens de l'infirmier en psychiatrie qui suivait la victime à l'époque des faits ainsi que sur l'ensemble des éléments à sa disposition.
C. X._ forme un recours, qu'il intitule « recours en matière pénale et constitutionnel subsidiaire » contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité de première instance pour nouveau jugement. A titre subsidiaire, il conclut au renvoi de la cause à la cour cantonale. Il requiert en outre le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le jugement attaqué a été rendu, en dernière instance cantonale, dans une cause de droit pénal. Il peut donc faire l'objet d'un recours en matière pénale au sens des art. 78 ss LTF, de sorte que le recours constitutionnel subsidiaire est exclu (art. 113 LTF). Il convient d'examiner l'ensemble des griefs soulevés par le recourant dans la procédure du recours en matière pénale, l'intitulé erroné d'un recours ne nuisant pas à son auteur, si les conditions d'une conversion en la voie de droit adéquate sont réunies (ATF 131 I 291 consid. 1.3 p. 296; 126 II 506 consid. 1b p. 509 et les arrêts cités).
Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui. Il ne peut pas entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
2. Le recourant invoque principalement la violation de la présomption d'innocence en relation avec l'appréciation portée par les autorités cantonales sur l'expertise. Il reproche également aux autorités cantonales, en invoquant son droit à la motivation de la décision, de n'avoir pas exposé pourquoi elles se seraient écartées de certaines conclusions des experts.
2.1 Le premier grief se confond avec celui d'arbitraire dans l'appréciation des preuves (ATF 124 IV 86 consid. 2a p. 88; 120 Ia 31 consid. 2e p. 38). La notion d'arbitraire a été rappelée dans divers arrêts récents, auxquels on peut se référer. En bref, il ne suffit pas, pour qu'il y ait arbitraire, que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (ATF 134 I 140 consid. 5.4 p. 148 et les arrêts cités).
2.2 Le juge peut nommer des experts. A l'instar des autres moyens de preuve, il apprécie librement la force probante de l'expertise. Cette liberté trouve sa limite dans l'interdiction de l'arbitraire. Si le juge n'est en principe pas lié par les conclusions de l'expert, il ne peut s'en écarter, sous peine de violer l'art. 9 Cst., qu'en exposant les motifs déterminants et les circonstances bien établies qui lui commandent d'agir de la sorte. En se fondant sur une expertise non concluante, le juge pourrait violer l'art. 9 Cst. Tel serait le cas si des motifs suffisants ou de sérieux indices lui faisaient douter de l'exactitude d'une expertise (ATF 129 I 49 consid. 4 p. 57 s.; 118 Ia 144 consid. 1c p. 146).
Il s'ensuit que le second grief invoqué se confond également avec celui déduit de l'interdiction de l'arbitraire.
2.2.1 Selon la jurisprudence, le juge est notamment fondé à recourir à l'expertise pour apprécier la capacité de témoigner ou la valeur des déclarations d'un témoin qui présente des particularités dans sa personne ou son développement (ATF 128 I 81 consid. 2, p. 84). Le Tribunal fédéral a, dans ce même arrêt, rappelé un certain nombre d'exigences méthodologiques auxquelles doit répondre une telle expertise lorsqu'il s'agit d'examiner la crédibilité des déclarations d'un enfant se disant victime d'atteintes à son intégrité sexuelle. Il a jugé, dans un arrêt plus récent, que les mêmes exigences s'imposaient en principe pour apprécier la véracité des témoignages d'adultes (ATF 129 I 49 consid. 5 p. 58). Ainsi, pour examiner la validité d'un témoignage, la méthode dite de l'analyse du témoignage s'est imposée. Suivant cette méthode, développée à l'origine par Undeutsch (cf. ATF 128 I 81 consid. 2, p. 85), on sait que les témoignages relatant des événements factuels réellement vécus sont qualitativement différents de déclarations qui ne sont pas fondées sur l'expérience vécue. Dans un premier temps on examinera si la personne interrogée, compte tenu des circonstances, de ses capacités intellectuelles et des motifs de dévoilement, était capable de faire une telle déposition même en l'absence d'un vécu réel. Cette procédure complexe est une sorte de mise à l'épreuve d'hypothèses dans le cadre de l'analyse de contenu (critères d'analyse appelés aussi axes d'orientation), de l'évaluation de la genèse de la déclaration et du comportement, complétée par l'analyse des caractéristiques du témoin, de son vécu, de son histoire personnelle notamment ainsi que de divers éléments extérieurs. Lors de l'expertise de la validité d'un témoignage, il faut toujours avoir à l'esprit que la déclaration peut ne pas être fondée sur la réalité. Lorsqu'on arrive à la conclusion que l'hypothèse que les allégations sont fausses (hypothèse nulle) ne correspond pas aux faits constatés, on la rejette. On accepte alors l'autre membre de l'alternative, soit l'hypothèse selon laquelle la déclaration est vraie. Dans ce contexte, on procédera aussi à l'analyse de l'origine et du développement du témoignage (genèse du témoignage). On séparera strictement la crédibilité qui concerne la personne et la validité qui se rapporte aux déclarations proprement dites et qui est en soi l'objet de l'expertise psychologique du témoignage (ATF 129 I 49 consid. 5; 128 I 81 consid. 2 et les références citées).
2.2.2 En l'espèce, la réalisation de l'expertise a été confiée à l'Unité d'expertise du Centre hospitalier universitaire vaudois. Un rapport a été établi le 21 juin 2006 par le docteur A._, professeur associé, et le docteur B._, médecin hospitalier. Il s'agissait, en précisant la méthodologie appliquée, de se prononcer sur la crédibilité des déclarations de A.Y._ quant aux faits et à la personne désignée en qualité d'auteur, en tenant compte de l'ensemble des circonstances connues de l'expert, soit notamment:
-les circonstances du dévoilement;
-le déroulement de l'audition par la police;
-l'attitude de l'expertisé durant l'expertise et, éventuellement des déclarations qu'il pourrait faire à l'expert quant aux faits et à la personne désignée en qualité d'auteur;
-de l'examen clinique de l'expertisé (notamment des traits de la personnalité du développement mental, du développement du langage, y compris l'adéquation du langage avec les actes évoqués);
-de la présence chez l'expertisé de signes cliniques compatibles avec une atteinte à son intégrité sexuelle, qui devait, le cas échéant, être précisée;
-de l'existence d'éléments évoquant un traumatisme émotionnel ou/et un choc émotionnel, en précisant le cas échéant lequel et son intensité;
-de l'existence d'un éventuel conflit impliquant l'expertisé et son entourage (familial ou institutionnel);
-de l'influence éventuelle d'un tiers sur les déclarations de l'expertisé, en précisant le cas échéant si cette influence était consciente ou inconsciente;
-de l'influence éventuelle de la crainte de l'auteur ou des conséquences du dévoilement;
-d'un éventuel sentiment de culpabilité.
Les experts étaient, enfin, invités à se déterminer sur les conséquences d'une éventuelle atteinte à l'intégrité sexuelle sur le développement et la santé psychique de l'expertisé en précisant si ce dernier avait besoin d'aide ou de soins et à formuler d'autres remarques éventuelles.
2.2.3 Les experts indiquent s'être fondés sur trois entretiens avec l'expertisé, un rapport d'examen psychologique établi par une psychologue, un entretien avec les parents de l'expertisé, un entretien avec le dénommé C._, infirmier en psychiatrie, un entretien téléphonique avec le docteur D._, psychiatre-psychothérapeute, divers entretiens téléphoniques avec la mère de l'expertisé, un entretien téléphonique avec le dénommé E._, cuisinier dans une institution accueillant des handicapés, le dossier pénal, le dossier médical du Service universitaire de psychiatrie de l'enfant et de l'adolescent ainsi que le dossier médical du Département de psychiatrie. Après un rappel des faits détaillé, l'expertise transcrit la relation des faits donnée par l'expertisé, avec les mots de ce derniers, lors des entretiens. Les experts fournissent ensuite de nombreux éléments anamnestiques, ainsi que leurs observations cliniques, les résultats de l'examen psychologique et les diagnostics. Il ressort ce qui suit de la discussion du cas:
« Nous sommes en présence d'un expertisé qui se trouve être plaignant dans le cadre d'une enquête instruite pour contrainte sexuelle, subsidiairement actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Le prévenu conteste formellement les faits qui lui sont reprochés.
Il nous paraît tout d'abord important de préciser que nous ne sommes ni mandatés, ni capables de déterminer laquelle des deux versions est véridique. Par ailleurs, en ce qui concerne l'évaluation de la crédibilité de la déclaration, il n'y a à notre connaissance pas de méthodologie spécifique aux adultes présentant de graves troubles psychiques. Nous avons donc utilisé, par analogie, une méthode réservée aux enfants, avec toutes les limitations inhérentes, réduisant par là même le degré de fiabilité. Cette procédure s'appuie sur l'hypothèse de Undeutsch (1989) voulant que la description de vrais souvenirs diffère qualitativement de celle de souvenirs fictifs ou suggérés par une tierce personne. Cette procédure d'évaluation définit un ensemble de critères permettant de distinguer les souvenirs réels de souvenirs fictifs. Dénommée « Analyse de la validité des déclarations (AVD), cette procédure est issue de l'« Analyse de la réalité des déclarations » (ARD). A cela s'ajoute la méthodologie classique appliquée dans le cadre expertal, basée sur une analyse psychopathologique, en tenant compte des éléments anamnestiques, de l'observation clinique afin de poser un diagnostic, de même qu'une méthodologie spécifique aux tests psychologiques.
Sur le plan diagnostique, nos investigations ne mettent pas en évidence d'éléments nous permettant de retenir d'autres diagnostics que ceux déjà posés par nos collègues, à savoir des séquelles de troubles envahissants du développement, un retard mental et un syndrome de dépendance au cannabis, actuellement abstinent. Nous tenons à préciser que lorsque nous voyons l'expertisé, celui-ci est privé de sortie par ses parents, ce qui l'empêche de consommer du cannabis depuis plusieurs semaines. Une fois cette punition levée, M. A.Y._ nous paraît à haut risque de reprendre cette consommation. Par ailleurs, nous ne mettons pas en évidence d'épisode psychotique floride de type délirant ou hallucinatoire.
Durant les entretiens, M. A.Y._ décrit les faits qui nous occupent de manière cohérente, adéquate, logique par rapport à son âge mental. Nous relevons une constance dans son récit, qu'il paraît habiter, et ne mettant pas en évidence d'éléments disparates pouvant provenir d'un récit qui ne serait pas le sien. Il n'y a pas d'éléments contradictoires et l'expertisé fournit des détails, en soi pas nécessaires, mais qui s'inscrivent logiquement dans son récit. Lorsqu'il n'a pas de réponse aux précisions demandées par les experts, il ne cherche pas à en inventer. Etant donné ce qui précède, nous n'avons pas d'argument allant dans le sens d'un récit qui ne serait pas crédible. Nous ne pouvons certes pas exclure formellement l'hypothèse d'une vengeance. Cependant, celle-ci impliquerait l'élaboration d'un scénario, à notre avis, beaucoup trop compliqué par rapport à l'âge mental de l'expertisé. Par conséquent, une telle hypothèse est peu probable [...]. »
Le rapport se conclut par les réponses données aux questions posées, dans lesquelles sont repris les différents éléments de la discussion.
2.2.4 A ce stade, on peut déjà constater que les experts ont répondu aux questions posées, à l'issue d'une analyse détaillée de la situation, prenant en considération l'ensemble des éléments dont ils disposaient. Le recourant ne conteste du reste pas l'appréciation de cette expertise sous cet angle, si bien qu'il n'y a pas lieu d'examiner plus avant cette question (art. 106 al. 2 LTF). Il remet, par contre, en question la méthodologie adoptée en soulignant que, de l'aveu des experts eux-mêmes, le recours par analogie à une méthode destinée à l'évaluation de la crédibilité des déclarations d'enfants comportait des limitations inhérentes, qui en réduisaient le degré de fiabilité. Le recourant en déduit que les experts auraient ainsi indiqué ne pas savoir eux-mêmes si la méthode adoptée fonctionnait. Il en conclut que les autorités cantonales sont tombées dans l'arbitraire en se fondant sur les conclusions des experts, d'une part, et, d'autre part, qu'ils ont admis à tort, sans motivation suffisante, que la méthodologie adoptée était fiable, alors que les experts indiquaient le contraire.
2.2.5 En ce qui concerne la méthodologie choisie, les experts précisent s'être fondés sur la méthode élaborée par Undeutsch, en partant de l'hypothèse que la description de vrais souvenirs diffère qualitativement de celle de souvenirs fictifs ou suggérés par une tierce personne. Ils ont clairement indiqué qu'il ne leur incombait pas de se déterminer sur la véracité des déclarations, mais uniquement sur la crédibilité de celles-ci. Les experts ont, par ailleurs, circonscrit soigneusement les aspects psychopathologiques, en tenant compte des éléments anamnestiques et de l'observation clinique. Cette démarche est, dans son principe, conforme aux exigences de la jurisprudence, qui l'admet aussi lorsqu'il s'agit d'évaluer la validité des déclarations d'un témoin adulte présentant certaines particularités dans sa personne ou son développement (v. supra consid. 2.2.1).
2.2.6 La discussion porte, dans un premier temps, sur l'analyse des déclarations de l'expertisé, qui sont appréciées pour elles-mêmes, sur le plan de la cohérence, de l'adéquation et de la logique en tenant compte de l'âge mental de l'expertisé, ainsi que dans une perspective temporelle, de la genèse des déclarations, les experts soulignant la constance du récit. Les experts relèvent également l'absence d'éléments disparates pouvant provenir d'un récit qui ne serait pas celui de l'expertisé et l'absence d'éléments contradictoires, l'expertisé fournissant au contraire des détails s'inscrivant logiquement dans son récit, même s'ils ne sont pas forcément nécessaires. Les experts en ont conclu que le récit était en lui-même crédible et ont ensuite encore confronté cette hypothèse à celle d'un récit imaginé en vue d'une vengeance, en écartant toutefois cette dernière hypothèse comme peu probable, parce qu'elle aurait impliqué l'élaboration d'un scénario beaucoup trop compliqué par rapport à l'âge mental de l'expertisé.
Ce faisant, les experts ont clairement fait porter leur appréciation sur la validité - mais non la véracité - des déclarations de l'expertisé, tout en tenant compte, sous l'angle de la crédibilité du déclarant, des aspects spécifiques relatifs à sa personnalité. Les experts ont, par ailleurs, conformément aux principes rappelés ci-dessus, gardé à l'esprit que les déclarations de l'expertisé pouvaient ne pas être fondées sur la réalité, en procédant encore à la réfutation de l'hypothèse de la vengeance.
La démarche adoptée en l'espèce n'est pas critiquable à l'aune des exigences posées par la jurisprudence.
2.2.7 Les experts ont certes souligné l'existence de limitations inhérentes à l'utilisation par analogie d'une méthode réservée aux enfants et leur conséquence sur le degré de fiabilité. Cette remarque, qui procède d'une rigueur scientifique louable, ne permet cependant pas, comme le voudrait le recourant, de dénier toute valeur aux conclusions des experts. On doit en effet constater que ces derniers n'ont pas conclu à l'impossibilité pure et simple de procéder à l'expertise demandée ou de tirer des conclusions des résultats obtenus. Ils ont au contraire procédé à l'expertise et motivé leurs conclusions, ce qui permet déjà de comprendre qu'ils n'estimaient pas que la méthodologie appliquée était dénuée de toute fiabilité dans le cas d'espèce, mais qu'ils entendaient permettre au juge d'apprécier en connaissance de cause leurs conclusions. On ne saurait, dans ces conditions, faire grief aux autorités cantonales d'avoir apprécié cette remarque des experts comme de simples réserves méthodologiques - ce qui constituait par ailleurs une motivation suffisante sur ce point - et d'avoir jugé, dans le cadre de la libre appréciation des preuves, que ce seul élément ne justifiait pas de s'écarter des conclusions des experts. Le grief est infondé.
2.3 Le recourant reproche également aux autorités cantonales de s'être fondées sur les déclarations du témoin C._ pour établir les faits retenus à sa charge. Son argumentation sur ce point consiste à soutenir qu'il n'était pas possible de déduire des déclarations de ce témoin, infirmier en psychiatrie en charge de la victime au moment des faits, que les déclarations de la victime étaient crédibles, dès lors que les experts admettaient clairement, selon le recourant, qu'aucune méthode scientifique ne permettait de l'établir.
On peut renvoyer en ce qui concerne les réserves émises par les experts à ce qui vient d'être exposé (v. supra consid. 2.2.7). Par ailleurs, on ne saurait faire grief aux autorités cantonales, d'avoir retenu, en se fondant sur les déclarations du frère du plaignant, corroborées par celles du témoin C._, que A.Y._ était incapable de mentir très longtemps et se révélait particulièrement maladroit lorsqu'il essayait de dissimuler la vérité (arrêt cantonal, consid. 1, p. 3). Contrairement à l'avis du recourant, ces déclarations ne constituent pas, à leur manière, une expertise de crédibilité, mais un témoignage fondé sur l'expérience de ces deux proches de la victime, dont les autorités cantonales pouvaient, sans arbitraire, conclure qu'ils constituaient des indices supplémentaires confortant les conclusions des experts, fondées sur une approche différente.
Pour le surplus, le recourant reproche à la cour cantonale d'avoir « complété » le jugement de première instance en se référant aux déclarations du témoin C._, alors que ces dernières n'auraient pas fait l'objet d'un procès-verbal. On peut se limiter, sur ce point, à relever que les déclarations du témoin C._, comme celles du frère de la victime, auxquelles la cour cantonale s'est référée ressortent du jugement de première instance (jugement de première instance, consid. 2.1.3, p. 8 s.), auquel renvoie l'arrêt cantonal (arrêt entrepris, consid. B, p. 2).
2.4 Il résulte de ce qui précède que le recourant ne parvient pas à démontrer en quoi l'état de fait sur lequel repose sa condamnation procéderait d'une appréciation arbitraire des preuves.
3. Le recours est rejeté. Il était d'emblée dénué de chances de succès, si bien que l'assistance judiciaire doit être refusée (art. 64 al. 1 LTF). Le recourant supporte les frais de la cause, qui peuvent être réduits pour tenir compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 800 francs, sont à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 8 octobre 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Schneider Vallat