Faits : A. Par ordonnance du 1 er mai 2014, le Ministère public vaudois a ordonné le classement de la procédure pénale dirigée contre A._ pour viol et contrainte sexuelle, subsidiairement acte d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et a mis les frais de procédure, arrêtés à 26'093 fr. 55, à la charge de X._. B. Par arrêt du 18 août 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a partiellement admis le recours formé par X._ en confirmant l'ordonnance de classement et en renvoyant la cause pour nouvelle décision dans le sens des considérants s'agissant de la condamnation aux frais. En bref, la cour cantonale a retenu les faits suivants. Le samedi 14 avril 2012 vers 22h30, après avoir bu cinq chopes de bière à l'Etablissement D._, X._ s'est rendue au restaurant " E._ " où elle a bu deux autres chopes de bière. Vers minuit, à la fermeture du restaurant, elle est restée en compagnie du personnel. A partir de ce moment-là, ses souvenirs sont flous. Elle se rappelle qu'un homme l'avait conduite dans la cuisine, en la poussant par les épaules, alors que les autres étaient dans la salle du restaurant. Elle n'a plus aucune mémoire des événements qui ont suivi mis à part le souvenir de quelqu'un la pénétrant vaginalement alors qu'elle était appuyée contre une table métallique ou une cuisinière. Elle se souvient s'être opposée et avoir tenté de repousser l'agresseur avec sa main. Elle se rappelle ensuite être allée à son domicile, en compagnie de A._ et de B._, d'avoir vu ces deux personnes fumer sur son balcon puis d'avoir entendu B._ dire qu'il partait, sans toutefois pouvoir indiquer l'heure. Elle s'était dès lors retrouvée seule avec A._. Elle n'a ensuite plus aucun souvenir des événements si ce n'est qu'elle s'était réveillée à 11h00 du matin nue avec des douleurs à l'anus et des tiraillements à l'intérieur du vagin. Elle en avait conclu avoir été abusée sexuellement. Sur le conseil d'un ami, C._, elle avait décidé de déposer plainte pénale auprès de la police. L'examen gynécologique pratiqué aux urgences du CHUV le 16 avril 2012 à 01h00 du matin n'a pas montré de lésion. Quant au rapport établi le 29 mai 2012 par le Centre Universitaire Romand de Médecine Légale, il indique que le tableau lésionnel ne permet pas de confirmer ni d'infirmer les déclarations de l'intéressée. Il ressort du rapport établi le 5 février 2014 par le Centre psychiatrique « F._ » que X._ est suivie par le centre depuis le 14 juin 2011. Elle bénéficie d'un traitement psychothérapeutique hebdomadaire et d'un suivi médical et médicamenteux régulier car elle souffre depuis de nombreuses années de troubles mentaux et du comportement, liés à l'alcool. Elle utilise l'alcool pour atténuer son anxiété et ses angoisses. Elle ne parvient toutefois pas à gérer et à contrôler sa consommation, ce qui entraîne une désinhibition au niveau comportemental et peut l'amener dans des situations potentiellement dangereuses pour son intégrité. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Elle conclut principalement à l'annulation de l'ordonnance de classement et au renvoi de la cause au Ministère public en vue d'un renvoi en jugement et subsidiairement à l'annulation du jugement de la Chambre des recours pénale du canton de Vaud et renvoi de la cause pour jugement dans le sens des considérants. Le Tribunal cantonal a été invité à produire son dossier sans échange d'écriture (art. 102 al. 2 LTF). X._ sollicite l'assistance judiciaire.