Faits:
A. Par jugement du 2 mars 2007, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a notamment condamné X._ pour vol, vol en bande, tentative de vol en bande, brigandage, tentative de contrainte, contrainte sexuelle, dommages à la propriété, violation de domicile, recel, violence ou menace contre les autorités et les fonctionnaires, vol d'usage d'un bateau, infraction et contravention à la LStup à une peine privative de liberté de trois ans.
B. Le recours de X._ contre ce jugement a été partiellement admis par la Cour de cassation pénale du Tribunal cantonal vaudois le 22 octobre 2007. Cette autorité a libéré X._ du chef d'accusation de violation de domicile dans trois cas concernant des bateaux. Elle a par ailleurs admis que s'agissant de l'infraction à l'<ref-law>, savoir violence ou menace contre les autorités et les fonctionnaires, seule la tentative pouvait être retenue. Partant, elle a fixé la durée de la peine privative de liberté à trente-quatre mois.
C. X._ forme un recours en matière pénale contre ce dernier arrêt. Il conclut à sa réforme en ce sens qu'il est libéré de la prévention de contrainte sexuelle, subsidiairement condamné pour contravention contre l'intégrité sexuelle au sens de l'<ref-law>, que la peine privative de liberté est fixée à deux ans au plus assortie du sursis, subsidiairement à moins de trois ans assortie du sursis partiel.
Il sollicite également l'assistance judiciaire et demande que l'effet suspensif dont bénéficie son recours ne soit pas supprimé.
D. Invité à se déterminer sur le recours, le Ministère public a renoncé à déposer une réponse. Pour sa part, la cour cantonale a déclaré n'avoir pas d'observations à formuler. Tous deux se sont référés aux considérants de l'arrêt attaqué.

Considérant en droit:
1. Rendue en matière pénale (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), la décision attaquée, qui met fin à la procédure (<ref-law>), peut faire l'objet d'un recours en matière pénale (<ref-law>). L'accusé, qui a succombé dans ses conclusions (<ref-law>), a qualité pour recourir.
Le recours peut notamment être formé pour violation du droit fédéral (<ref-law>), qui englobe les droits constitutionnels. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins que le recourant ne démontre que ces faits ont été établis de façon manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst. (FF 2001 p. 4135), ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le Tribunal fédéral ne sanctionne une violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>). Les exigences de motivation de l'acte de recours correspondent à celles de l'art. 90 al. 1 let. b OJ (FF 2001 p. 4142).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments du recourant ni par la motivation de l'autorité précédente. Toutefois, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, dont la sanction est l'irrecevabilité (<ref-law>), il n'examine en principe que les griefs invoqués et n'est dès lors pas tenu de traiter des questions qui ne sont plus discutées devant lui. Il ne peut aller au-delà des conclusions des parties (<ref-law>).
2. Les premiers juges ont admis que le 25 janvier 2006 le recourant et deux comparses s'étaient rendus dans le studio où A._, exerçait la prostitution. Un des comparses, muni d'un pistolet à plomb vide de munitions, a demandé à entrer, s'est glissé dans l'appartement et a réclamé de l'argent à la victime. Il a ensuite fait pénétrer ses acolytes et la victime leur a remis 700 francs. Le recourant s'est également emparé d'un appareil cellulaire et a profité du climat de menace pour caresser la poitrine de la victime.
Le recourant prétend que la victime a fait, tant en instruction qu'en audience, des déclarations contradictoires qui auraient dû amener la cour cantonale à éprouver des doutes sur le fait qu'il lui ait touché les seins. Selon lui, la victime, qui avait parlé lors de sa première audition d'un individu à chemise blanche qui lui aurait touché les seins, a déjà modifié ses déclarations lors de sa seconde audition en instruction en disant que deux complices auraient profité de lui toucher les seins. Elle a encore varié dans ses déclarations aux débats en précisant que deux de ses agresseurs avaient le visage masqué d'un t-shirt.
La cour cantonale a admis la contradiction relevée par le recourant entre les déclarations de la victime en instruction et en audience. Elle a cependant considéré qu'elle ne permettait pas de tenir pour arbitraire l'appréciation faite par les premiers juges dans la mesure où la victime avait parlé de façon constante en instruction de celui qui se dissimulait sous la chemise blanche et qu'interrogé sur ce point, le recourant lui-même avait admis avoir mis un t-shirt sur sa tête, sans prétendre qu'un de ses comparses aurait fait de même. De surcroît, le rapport de police mentionnait que le recourant portait bien un pull blanc. Dans ces conditions, la cour cantonale a estimé que les premiers juges pouvaient ne pas tenir compte de la version complètement nouvelle de la victime en audience. Ce raisonnement n'est pas insoutenable au vu des éléments cités par la cour cantonale et le recourant ne le démontre pas. Il pouvait dès lors être tenu pour établi, ce qui est seul pertinent en l'espèce, qu'au moins le recourant avait touché les seins de la victime. Le premier grief ne peut dès lors qu'être rejeté.
3. Etant établi sans arbitraire que le recourant a touché les seins de la victime, celui-ci conteste que cet attouchement constitue une contrainte sexuelle au sens de l'<ref-law> et prétend qu'il s'agit tout au plus d'une contravention au sens de l'<ref-law>. Il ne conteste pas que l'acte qui lui est reproché ait un caractère sexuel, mais il soutient n'avoir commis qu'un attouchement et pas un acte d'ordre sexuel.
Le caractère d'acte d'ordre sexuel de l'attouchement sur les seins n'ayant pas été selon les juges cantonaux contesté en recours, ce que le recourant ne remet pas en question devant la cour de céans, l'autorité cantonale s'est limitée à examiner s'il y avait eu contrainte et a admis que l'attouchement sur les seins était un acte d'ordre sexuel commis dans un climat de contrainte, ce qui justifiait l'application de l'<ref-law>.
Comme mentionné au considérant 1 ci-dessus, le recours en matière pénale peut être interjeté pour violation du droit, tel qu'il est circonscrit par les art. 95 et 96 LTF, soit en particulier pour violation du droit fédéral (<ref-law>). Dans ce cadre, le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est pas lié par l'argumentation des parties et il apprécie librement la portée juridique des faits. Il ne peut cependant examiner l'argumentation juridique des parties que dans la mesure où elle porte sur un point qui constitue encore l'objet du litige en instance fédérale (art. 99 al. 2 et 107 al. 1 LTF) et pour autant qu'elle repose sur des constatations de fait de la décision attaquée (<ref-ruling> consid. 1.3. in fine). Il s'en tient par ailleurs, en général, aux questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2).
Suivant le principe de l'épuisement préalable des instances cantonales qui découle de l'<ref-law>, il n'examine, dans la règle, que les griefs constitutionnels qui, pouvant l'être, ont été présentés à l'autorité cantonale de dernière instance et aux questions qui constituaient l'objet du litige devant l'autorité inférieure. Il s'ensuit que le grief invoqué pour la première fois devant le Tribunal fédéral ne doit pas se confondre avec l'arbitraire. Par ailleurs, le comportement du recourant ne doit pas être contraire à la règle de la bonne foi en vertu de laquelle celui qui ne soulève pas devant l'autorité de dernière instance cantonale un grief lié à la conduite de la procédure ne peut plus en principe le soulever devant le Tribunal fédéral. Cette juridiction ne contrôle pas non plus d'office le respect des droits fondamentaux (<ref-law>).
En l'espèce, en soutenant que c'est de manière arbitraire que les premiers juges ont retenu qu'il avait caressé et non seulement touché la poitrine de la victime, le recourant s'en prend aux faits constatés par les premiers juges, qu'il ne peut plus remettre en question devant le Tribunal fédéral, faute d'avoir fait examiner ce grief par l'autorité cantonale, qui sur cette question, était liée par les moyens soulevés (<ref-law>/VD). En revanche, il peut, même s'il n'a pas fait examiner cette question par la cour cantonale, contester que son comportement puisse être considéré comme un acte d'ordre sexuel et prétendre qu'il n'a commis qu'un attouchement, la cour cantonale ayant le pouvoir d'examiner librement les questions de droit sans être limitée aux moyens que les parties invoquent (<ref-law> VD).
Conformément à l'<ref-law>, est passible d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire celui qui, notamment en usant de menace ou de violence envers une personne, l'aura contrainte à subir un acte d'ordre sexuel.
Constitue un acte d'ordre sexuel au sens de cette disposition une activité corporelle sur soi-même ou sur autrui qui tend à l'excitation ou à la jouissance sexuelle de l'un des participants au moins (CORBOZ, Les infractions en droit suisse, vol. I, 2002, n. 6 ad <ref-law>; DONATSCH, Strafrecht III, 9e éd. 2008, p. 459). Selon la jurisprudence, il faut d'abord distinguer les actes n'ayant aucune apparence sexuelle, qui ne tombent pas sous le coup de la loi, des actes clairement connotés sexuellement du point de vue de l'observateur neutre, qui remplissent toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur. Dans les cas équivoques, il convient de tenir compte de l'ensemble des éléments d'espèce (<ref-ruling> consid. 3b p. 63 et les références citées). Selon la doctrine, une caresse insistante du sexe, des fesses ou des seins, même par-dessus les habits constitue un acte d'ordre sexuel (CORBOZ, op. cit. n. 11 ad <ref-law>; MAIER, in Basler Kommentar, Strafrecht, 2e éd. 2007, n° 31 ad <ref-law>; STRATENWERTH/JENNY, Schweizerisches Strafrecht, Bes. Teil I, 6e éd. 2003, § 7 n. 14).
Se rend coupable de la contravention réprimée par l'<ref-law> notamment celui qui importune une personne par des attouchements d'ordre sexuel. La notion d'attouchement d'ordre sexuel est subsidiaire par rapport à celle d'acte d'ordre sexuel. La loi vise dans ce cas un comportement moins grave, savoir un contact rapide, par surprise, avec le corps d'autrui. L'acte doit toutefois avoir objectivement une connotation sexuelle et l'auteur doit avoir agi sans le consentement de la victime. Sont ainsi visées en particulier les «mains baladeuses». L'auteur touche par surprise les organes sexuels d'une autre personne, notamment les seins ou les fesses d'une femme, même par-dessus ses habits, ou se frotte à elle pour lui faire sentir son sexe en érection (Corboz, op. cit., n. 10 ss ad <ref-law>; Meng/Schwaibold, in Basler Kommentar, op. cit., n° 17 ad <ref-law>; Stratenwerth/Jenny; op. cit., § 10 n. 36; Donatsch, op. cit., p. 521, Kathrin Kummer, Sexuelle Belästigung, 2001, p. 71 ss).
Si l'auteur ne se limite pas à un attouchement, par nature fugace, mais accomplit un acte d'ordre sexuel, l'<ref-law> est seul applicable (Corboz, op. cit., n. 22 ad <ref-law>, voir aussi Stratenwerth/Jenny, op. cit,, § 10 n° 40; Maier, Die Nötigungsdelikte im neuen Sexualstrafrecht, 1994 p. 283 ss).
Pour décider si c'est bien l'<ref-law> qui devait être appliqué ou si, comme le prétend le recourant, seul entre en considération l'<ref-law>, est dès lors déterminante l'intensité de l'attouchement, savoir s'il s'agissait d'un geste furtif ou d'une caresse insistante. L'état de fait de l'arrêt attaqué est toutefois lacunaire sur ce point, de sorte que l'autorité de céans n'est pas en mesure de contrôler si la loi a été correctement appliquée. Or, un jugement prononcé sans que les faits nécessaires à l'application de la loi soient constatés est contraire au droit fédéral (<ref-ruling> consid. 3.4 p. 296). Par conséquent, l'arrêt attaqué doit être annulé et la cause retournée à l'autorité cantonale pour qu'elle examine ou fasse examiner cette question et détermine si les faits imputés au recourant doivent être qualifiés de contrainte sexuelle au sens de l'<ref-law> ou constituent une contravention contre l'intégrité sexuelle au sens de l'<ref-law>.
4. Il n'est pas perçu de frais et le canton de Vaud versera au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF).
La requête d'assistance judiciaire est dès lors sans objet. Il en est de même de la requête d'effet suspensif.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2. Il n'est pas perçu de frais.
3. Le canton de Vaud versera au recourant une indemnité de 2'000 fr. pour ses dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal vaudois.
Lausanne, le 22 janvier 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Schneider Paquier-Boinay