Faits :
A.
Par ordonnance du 1 er mai 2014, le Ministère public vaudois a ordonné le classement de la procédure pénale dirigée contre A._ pour viol et contrainte sexuelle, subsidiairement acte d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et a mis les frais de procédure, arrêtés à 26'093 fr. 55, à la charge de X._.
B.
Par arrêt du 18 août 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a partiellement admis le recours formé par X._ en confirmant l'ordonnance de classement et en renvoyant la cause pour nouvelle décision dans le sens des considérants s'agissant de la condamnation aux frais.
En bref, la cour cantonale a retenu les faits suivants.
Le samedi 14 avril 2012 vers 22h30, après avoir bu cinq chopes de bière à l'Etablissement D._, X._ s'est rendue au restaurant " E._ " où elle a bu deux autres chopes de bière. Vers minuit, à la fermeture du restaurant, elle est restée en compagnie du personnel. A partir de ce moment-là, ses souvenirs sont flous. Elle se rappelle qu'un homme l'avait conduite dans la cuisine, en la poussant par les épaules, alors que les autres étaient dans la salle du restaurant. Elle n'a plus aucune mémoire des événements qui ont suivi mis à part le souvenir de quelqu'un la pénétrant vaginalement alors qu'elle était appuyée contre une table métallique ou une cuisinière. Elle se souvient s'être opposée et avoir tenté de repousser l'agresseur avec sa main. Elle se rappelle ensuite être allée à son domicile, en compagnie de A._ et de B._, d'avoir vu ces deux personnes fumer sur son balcon puis d'avoir entendu B._ dire qu'il partait, sans toutefois pouvoir indiquer l'heure. Elle s'était dès lors retrouvée seule avec A._. Elle n'a ensuite plus aucun souvenir des événements si ce n'est qu'elle s'était réveillée à 11h00 du matin nue avec des douleurs à l'anus et des tiraillements à l'intérieur du vagin. Elle en avait conclu avoir été abusée sexuellement. Sur le conseil d'un ami, C._, elle avait décidé de déposer plainte pénale auprès de la police.
L'examen gynécologique pratiqué aux urgences du CHUV le 16 avril 2012 à 01h00 du matin n'a pas montré de lésion. Quant au rapport établi le 29 mai 2012 par le Centre Universitaire Romand de Médecine Légale, il indique que le tableau lésionnel ne permet pas de confirmer ni d'infirmer les déclarations de l'intéressée.
Il ressort du rapport établi le 5 février 2014 par le Centre psychiatrique « F._ » que X._ est suivie par le centre depuis le 14 juin 2011. Elle bénéficie d'un traitement psychothérapeutique hebdomadaire et d'un suivi médical et médicamenteux régulier car elle souffre depuis de nombreuses années de troubles mentaux et du comportement, liés à l'alcool. Elle utilise l'alcool pour atténuer son anxiété et ses angoisses. Elle ne parvient toutefois pas à gérer et à contrôler sa consommation, ce qui entraîne une désinhibition au niveau comportemental et peut l'amener dans des situations potentiellement dangereuses pour son intégrité.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Elle conclut principalement à l'annulation de l'ordonnance de classement et au renvoi de la cause au Ministère public en vue d'un renvoi en jugement et subsidiairement à l'annulation du jugement de la Chambre des recours pénale du canton de Vaud et renvoi de la cause pour jugement dans le sens des considérants. Le Tribunal cantonal a été invité à produire son dossier sans échange d'écriture (<ref-law>). X._ sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 46).
La décision, bien que renvoyant un point accessoire à l'autorité précédente, tranche définitivement la question du classement en faveur de l'intimé et il peut, à ce titre, être entré en matière sur le recours.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.).
1.2. La recourante soutient qu'elle est une victime au sens de l'<ref-law> et qu'elle s'est constituée partie civile et victime selon la LAVI pour viol, contrainte sexuelle et subsidiairement acte d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Il existe des cas où l'exigence de motivation quant aux prétentions civiles est réduite lorsque l'on peut déduire directement et sans ambiguïté quelles prétentions sont en jeu, compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.). Les infractions dénoncées dans le cas d'espèce à savoir viol, contrainte sexuelle, acte d'ordre sexuel commis sur une personne incapable de discernement ou de résistance constituent des infractions graves contre l'intégrité sexuelle qui sont susceptibles de fonder en particulier des prétentions pour tort moral. La recourante remplit ainsi les exigences jurisprudentielles permettant de lui reconnaître la qualité pour recourir en matière pénale (art. 81 al. 1 let. a et b ch. 5 LTF).
2.
La recourante se plaint en premier lieu d'une constatation inexacte des faits et d'une appréciation arbitraire des preuves.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 266) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), ce qu'il lui appartient d'exposer et de démontrer de manière claire et circonstanciée. La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 4.1.2 p. 62). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266). En matière d'appréciation des preuves et d'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266).
2.2. En substance, la recourante soutient que les faits ont été constatés de façon arbitraire et que l'autorité a passé sous silence un certain nombre de faits pourtant clairement attestés par les pièces de la procédure, en particulier qu'elle était en couple au moment des faits, que selon les experts, les ecchymoses paraissaient compatibles avec le discours de la victime, qu'elle avait une trace d'injection au coude, qu'elle avait des douleurs anales et que les déclarations du prévenu étaient contradictoires. Elle souligne également que l'autorité judiciaire n'a pas retenu que, selon le rapport médical, elle présentait un état de stress aigu, ni qu'elle avait pu être victime de sédation en raison de la prise de médicament associé à une alcoolisation massive.
En l'occurrence, la recourante oppose simplement une autre version et donne une nouvelle lecture des pièces, au demeurant, claires du dossier, sans apporter la démonstration requise de l'arbitraire dans l'appréciation des preuves. En effet, la cour cantonale a souligné que les déclarations concordantes des témoins et l'inspection locale avaient permis de confirmer qu'il était impossible que la recourante ait été violée dans la cuisine et que l'examen gynécologique n'avait montré aucune lésion, ce que la recourante omet de préciser. Quant aux ecchymoses d'âge variable des membres inférieurs, le rapport médical du Centre Universitaire Romand de Médecine Légale indique que le tableau lésionnel ne permet pas de confirmer ni d'infirmer les déclarations de l'intéressée (pièce 13, dossier cantonal; <ref-law>). S'agissant de la trace d'injection au pli du coude gauche, la recourante elle-même a indiqué qu'elle provenait du prélèvement de sang effectué au CHUV (pièce 13, dossier cantonal; <ref-law>). Quant au risque de sédation lors d'alcoolisation massive avec prise de médicaments, le rapport établi le 5 février 2014 par le Centre psychiatrique " F._ ", dans lequel la recourante est suivie depuis le 14 juin 2011, indique que les psychotropes prescrits sont sans influence avec une consommation d'alcool à l'exception de l' « Imovane », somnifère qui, par définition, est pris avant le coucher (pièce 66/2 dossier cantonal; <ref-law>). L'arrêt souligne également les problèmes psychiques, attestés par le rapport du 5 février 2014, et en particulier les difficultés de la recourante à gérer ses prises d'alcool qui la mettent dans une situation potentiellement dangereuse ce qui explique son état de stress aigu. Enfin, que la recourante soit en couple à l'époque des faits est sans pertinence sur le déroulement de la soirée.
Le grief relatif à l'établissement arbitraire des faits et à l'appréciation arbitraire des preuves doit donc être rejeté, dans la mesure où il est recevable.
3.
La recourante soutient également que l'ordonnance de classement a été rendue en violation de l'<ref-law>.
3.1. Selon l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a), lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b), lorsque des faits justificatifs empêchent de retenir une infraction contre le prévenu (let. c), lorsqu'il est établi que certaines conditions à l'ouverture de l'action pénale ne peuvent pas être remplies ou que des empêchements de procéder sont apparus (let. d) ou lorsqu'on peut renoncer à toute poursuite ou à toute sanction en vertu de dispositions légales (let. e). L'<ref-law> prévoit encore deux autres motifs de classement exceptionnels (intérêt de la victime ou consentement de celle-ci).
Le principe " in dubio pro duriore " découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91). Il signifie qu'en principe, un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid 4.1 p. 190).
3.2. L'<ref-law> tend à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, un acte d'ordre sexuel. Commet un acte de contrainte sexuelle celui qui, notamment, use " de menace ou de violence ", exerce sur la victime " des pressions d'ordre psychique " ou la met " hors d'état de résister ".
Selon l'<ref-law>, se rend coupable de viol celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel.
Les infractions de viol et de contrainte sexuelle sont des infractions intentionnelles. Agit intentionnellement quiconque commet un crime ou un délit avec conscience et volonté. L'auteur agit déjà intentionnellement lorsqu'il tient pour possible la réalisation de l'infraction et l'accepte au cas où celle-ci se produirait (<ref-law>). De jurisprudence constante, le dol éventuel est réalisé lorsque l'auteur envisage la survenance du résultat, respectivement la réalisation de l'infraction, et passe à l'action car il accepte la réalisation de l'infraction et s'en accommode, bien qu'il ne la souhaite pas (<ref-ruling> consid. 3.2.2 p. 28).
3.3. L'autorité cantonale a constaté, s'agissant des faits ayant eu lieu à l'intérieur du restaurant, que les accusations portées à l'encontre de l'intimé n'étaient étayées par aucun élément concret. En effet, les membres du personnel de l'établissement public ont tous indiqué que la recourante n'avait pas quitté la table de la salle à manger le soir en question. La cour a également souligné que selon les déclarations des témoins, même si le gérant s'était éloigné pour amener la caisse dans le bureau du patron, la recourante ne s'était jamais retrouvée seule avec l'intimé. L'inspection locale a permis d'établir qu'un viol n'aurait pu être commis sans que les membres du personnel s'en aperçoivent.
A cela vient s'ajouter l'absence de toute violence sexuelle lors de l'examen gynécologique. En confirmant le classement, faute de réalisation des conditions de l'infraction de viol, la cour cantonale n'a pas violé le droit fédéral.
S'agissant des faits qui se sont produits au domicile de la recourante, la cour cantonale souligne que l'intimé a spontanément reconnu avoir entretenu une relation sexuelle. Elle indique que la recourante a elle-même demandé à l'intimé de rester, ce qui est confirmé par le témoin B._ et de mettre un préservatif. Lors de son interrogatoire, l'intimé a précisé qu'il avait laissé le préservatif usagé sur le lit de la recourante, ce que cette dernière a confirmé. L'absence de toute contrainte sexuelle est également corroborée par le résultat de l'examen gynécologique. Comme l'a noté la cour cantonale, ces éléments vont plutôt dans le sens d'une relation sexuelle mutuellement consentie avec l'intimé et, le cas échéant, il ne saurait être reproché à ce dernier, au vu des circonstances susdécrites, de ne pas avoir compris que la recourante n'était pas consentante.
3.4. Aux termes de l'<ref-law>, est punissable celui qui sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel.
Cette disposition protège, indépendamment de leur âge et de leur sexe, les personnes incapables de discernement ou de résistance dont l'auteur, en connaissance de cause, entend profiter pour commettre avec elle un acte d'ordre sexuel (<ref-ruling> consid. 2a, p. 196). Son but est de protéger les personnes qui ne sont pas en état d'exprimer ou de manifester physiquement leur opposition à l'acte sexuel. A la différence de la contrainte sexuelle (<ref-law>) et du viol (<ref-law>), la victime est incapable de discernement ou de résistance, non en raison d'une contrainte exercée par l'auteur, mais pour d'autres causes. L'<ref-law> vise une incapacité de discernement totale, qui peut se concrétiser par l'impossibilité pour la victime de se déterminer en raison d'une incapacité psychique, durable (par exemple maladie mentale) ou passagère (par exemple perte de connaissance, alcoolisation importante, etc.) ou encore par une incapacité de résistance parce qu'entravée dans l'exercice de ses sens elle n'est pas en mesure de percevoir l'acte qui lui est imposé avant qu'il soit accompli et, partant, de porter un jugement sur celui-ci et cas échéant le refuser (<ref-ruling>, consid. 7.2 ss, p. 56). L'<ref-law> exige que l'auteur ait profité de l'incapacité de discernement ou de résistance de la victime, autrement dit qu'il ait exploité l'état ou la situation dans laquelle elle se trouvait. Cela ne signifie pas que tous les actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance soient punissables. L'infraction n'est ainsi pas réalisée si c'est la victime qui a pris l'initiative des actes sexuels ou si elle y a librement consenti (arrêts 6S.82/2003 du 17 avril 2003 consid. 2.1 et 6S.359/2002 du 7 août 2003 consid. 4.2 et les références citées). Selon la jurisprudence, il faut que la victime soit totalement incapable de se défendre. Si l'inaptitude n'est que partielle, par exemple en raison d'un état d'ivresse, la victime n'est pas incapable de résister (<ref-ruling> consid. 7.2 p. 56 et les références citées).
L'infraction est intentionnelle. Il n'y a donc pas d'infraction si l'auteur est convaincu, à tort, que la personne est capable de discernement ou de résistance au moment de l'acte.
La juridiction cantonale a établi que la recourante avait beaucoup bu durant la soirée et qu'elle manifestait des signes d'ébriété. En effet, lorsqu'elle a quitté le restaurant " E._ ", elle titubait, avait eu de la peine à introduire le code d'entrée de l'immeuble, puis à ouvrir la porte de son appartement. Toutefois, comme le souligne la cour cantonale, cela ne suffit pas à considérer qu'elle était incapable de résistance. Le témoin B._ a indiqué que lors de son départ, la recourante était certes sous l'emprise de l'alcool, mais elle lui avait dit qu'elle allait bien. Il a également précisé qu'à ce moment-là la jeune femme lui paraissait heureuse et relativement lucide. Par ailleurs, l'autorité cantonale a souligné que la recourante devait être consciente au moment des faits litigieux puisqu'elle a pu indiquer au prévenu l'endroit où se trouvaient les préservatifs. Dès lors, une incapacité de résistance au sens de l'<ref-law> apparaît exclue.
D'un point de vue subjectif, il aurait fallu que l'intimé se soit rendu compte de l'inaptitude de la recourante. Tel n'est pas le cas en l'espèce. Les témoins entendus sur ce point indiquent tous que la recourante tenait bien l'alcool et qu'il était impressionnant de la voir boire toutes ces bières sans que cela ne se voie dans son comportement. Le rapport médical du 5 février 2014 souligne également que l'alcool induit chez elle un effet désinhibant qui peut la mettre dans une situation critique (pièce 66/2 dossier cantonal; <ref-law>). Dans ces circonstances, la cour cantonale pouvait retenir qu'il n'était pas possible de considérer que la recourante était totalement incapable de résistance à tout le moins de manière reconnaissable pour l'intimé.
Il apparaît donc que les faits ne sont pas punissables. Les seules affirmations de la recourante ne sauraient suffire pour démontrer qu'une condamnation de l'intimé serait plus vraisemblable que son acquittement. Partant, l'appréciation à laquelle la cour cantonale a procédé en confirmant l'ordonnance de classement rendue par le ministère public, ne viole pas, dans son résultat, le principe " in dubio pro duriore ", pas plus que le principe de la légalité dont le premier découle.
4.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Les conclusions de la recourante étaient vouées à l'échec, de sorte que l'assistance judiciaire doit être refusée (<ref-law>). La recourante, qui succombe, supportera les frais judiciaires, qui seront toutefois réduits pour tenir compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 juillet 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Livet