Faits: A. Par jugement du 21 novembre 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, avec suite de frais et dépens, à une peine privative de liberté de dix-huit mois assortie du sursis pendant deux ans et à une amende de 500 francs, pour contrainte sexuelle ainsi que diverses violations des règles de la LCR. Le Tribunal a en outre statué sur le volet civil de la cause. Ce jugement repose en résumé sur l'état de fait suivant, en ce qui concerne l'infraction de contrainte sexuelle. Au mois de juin 2004, X._ a demandé à A.Y._ - jeune homme souffrant d'un grave retard mental - de lui toucher le sexe sous la menace de ne pas lui fournir de cannabis. Après avoir placé la main de la victime sur son sexe en érection par dessus son pantalon pendant une dizaine de secondes, X._ s'est dénudé, s'est masturbé, a enfilé un préservatif et a sodomisé A.Y._, malgré le refus opposé oralement à plusieurs reprises par ce dernier, qui était incapable de résister parce qu'il avait fumé du cannabis et désirait en recevoir par la suite, mais aussi en raison de son état mental. X._ s'est arrêté lorsque quelqu'un a sonné à la porte. Le Tribunal correctionnel a considéré les faits dénoncés par A.Y._ comme vrais en se fondant notamment sur les conclusions d'un rapport établi par l'Unité d'expertise du Centre hospitalier universitaire vaudois. La victime n'avait pas les capacités intellectuelles suffisantes pour établir un scénario de vengeance qui expliquait, selon le prévenu, les accusations portées contre lui. Les déclarations de la victime avaient, en outre, été constantes tout au long de l'instruction et encore lors des débats. B. Saisie d'un recours en nullité du condamné, la Cour de cassation pénale du Tribunal cantonal vaudois l'a rejeté par arrêt du 24 janvier 2008. En bref, la cour cantonale a considéré que l'état de fait du jugement entrepris devait être complété par la relation du contenu de l'expertise, ce qui permettait d'éviter l'annulation de ce jugement malgré les lacunes dont il était entaché. L'expertise sur laquelle s'étaient fondés les premiers juges répondait aux exigences posées par la jurisprudence. Il n'y avait pas de raison de s'en écarter. Le Tribunal correctionnel n'avait pas apprécié arbitrairement les preuves ni violé le principe in dubio pro reo en se fondant sur cette expertise, sur le témoignage allant dans le même sens de l'infirmier en psychiatrie qui suivait la victime à l'époque des faits ainsi que sur l'ensemble des éléments à sa disposition. C. X._ forme un recours, qu'il intitule « recours en matière pénale et constitutionnel subsidiaire » contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité de première instance pour nouveau jugement. A titre subsidiaire, il conclut au renvoi de la cause à la cour cantonale. Il requiert en outre le bénéfice de l'assistance judiciaire. Il n'a pas été ordonné d'échange d'écritures.