Faits :
A.
Le 22 septembre 2011, A._ (née en 1987) a porté plainte contre son beau-père (second mari de sa mère), X._ (né en 1974), l'accusant d'avoir régulièrement abusé d'elle entre l'été 2003 et l'été 2004, alors qu'elle avait entre 16 ans et 17 ans et demi. Elle s'est constituée partie plaignante.
Les premiers actes auraient commencé le 11 août 2003, X._ aurait eu une relation sexuelle complète avec A._ derrière un arbre. Ensuite, pendant une période de quatre à six mois, ils auraient entretenu quotidiennement des relations sexuelles complètes au domicile familial. A._ aurait également prodigué des fellations à son beau-père, lequel l'aurait également pénétrée analement à une reprise. A une autre occasion, A._ aurait entretenu une relation sexuelle complète avec X._ dans des dortoirs situés à l'arrivée de télécabines à B._. Une autre fois, elle aurait fait l'amour avec lui dans le parking situé en dessous des télécabines. D'autres actes sexuels auraient eu lieu dans la voiture de son beau-père. Les actes auraient cessé lorsque A._ a quitté le domicile familial pour aller dans un centre d'intégration professionnelle, à une date inconnue. Alors qu'elle était âgée d'environ 17 ans et demi, son beau-père lui aurait proposé un cours de conduite automobile. Il aurait commencé à lui toucher la jambe. Il aurait cessé après que A._ lui aurait clairement dit qu'elle ne voulait plus de cette vie.
X._ a contesté les faits, auxquels aucun témoin n'a assisté.
A.a. Une expertise de crédibilité a été réalisée sous la responsabilité du Dr C._ le 2 août 2016. Il en ressort en substance que A._ ne présente pas de trouble psychiatrique mais un retard mental léger qui n'entrave pas sa capacité de distinguer le vrai du faux. Il n'existe pas d'argument permettant de mettre en doute la crédibilité de l'expertisée d'un point de vue psychiatrique. L'expertisée présente des manifestations sémiologiques qu'on trouve chez des adultes abusés durant leur enfance ou leur adolescence, éléments compatibles, d'un point de vue clinique, avec les séquelles d'une effraction de la sphère intime. Lorsqu'elle relate les faits dénoncés, l'expertisée utilise un langage cohérent et beaucoup d'émotions. Subsistent des difficultés mnésiques à intégrer certains souvenirs dans un espace-temps. Selon l'expertise, il n'est pas possible d'effectuer une analyse fiable des déclarations de la victime à la police. Le fait que l'expertisée a attendu sept ans avant de dénoncer les faits ne permet pas de statuer sur la question de la véracité des déclarations. Durant les sept ans qui ont séparé les faits allégués de sa plainte, l'expertisée s'est confiée à plusieurs personnes au sujet des agissements prêtés à son beau-père. Il est donc possible que les éléments de son discours actuel aient été contaminés par des recadrages d'autres personnes, influençant la manière dont ceux-ci on été rapportés.
A.b. Le 25 novembre 2016, le ministère public a classé la procédure dirigée contre X._ pour actes d'ordre sexuel avec des personnes dépendantes (art. 188 CP) au motif que cette infraction était prescrite au moment de la plainte. X._ a été renvoyé en jugement s'agissant de l'enquête pour viols et contraintes sexuelles (art. 189 et 190 CP).
A.c. Par jugement du 28 mars 2017, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ des chefs d'accusation de viol et de contrainte sexuelle et rejeté les conclusions civiles de A._.
B.
Statuant sur appel de A._ exclusivement, la Cour d'appel pénale du Tribunal cantonal vaudois l'a rejeté par jugement du 16 août 2017 et a confirmé le jugement de première instance.
En substance, elle a considéré qu'il subsistait des doutes quant à la réalité des actes reprochés. En tout état, l'élément de contrainte faisait défaut.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à sa réforme en ce sens que X._ est condamné pour viol et contrainte sexuelle à une peine fixée à dire de justice et qu'une indemnité de 30'000 fr. à titre de tort moral lui est allouée. Subsidiairement, elle conclut au renvoi de la cause à la cour cantonale pour nouvelle instruction et nouvelle décision. Elle sollicite en outre l'assistance judiciaire.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 142 IV 196 consid. 1 p. 197).
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles.
En l'occurrence, la recourante a participé à la procédure de dernière instance cantonale et a fait valoir des prétentions civiles déduites des infractions en cause, à hauteur de 30'000 francs. Ses conclusions civiles ont été rejetées tant par les premiers juges que par l'autorité d'appel. Elle dispose donc d'un intérêt juridique à recourir contre la décision cantonale. Elle a ainsi qualité pour recourir.
2.
La recourante invoque une appréciation arbitraire des preuves et reproche à la cour cantonale d'avoir versé dans l'arbitraire en constatant l'existence d'un doute sérieux quant à la culpabilité de l'intimé. Elle reproche également à la cour cantonale d'avoir acquitté l'intimé en violation des art. 189 et 190 CP.
2.1.
2.1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits peuvent être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elle n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (ATF 141 IV 305 consid. 1.2 p. 308 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (ATF 140 III 246 consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (ATF 142 III 364 consid. 2.4 p. 368).
Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_942/2017 du 5 mars 2018 consid. 2.1.2; 6B_614/2012 du 15 février 2013 consid. 3.2.5; 6B_716/2010 du 15 novembre 2010 consid. 1.3), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. ATF 129 IV 179 consid. 2.4 p. 184). Les cas de " déclarations contre déclarations ", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe " in dubio pro reo ", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (ATF 137 IV 122 consid. 3.3 p. 127).
La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst. et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Dans cette mesure, la présomption d'innocence se confond avec l'interdiction générale de l'arbitraire, prohibant une appréciation reposant sur des preuves inadéquates ou sans pertinence (ATF 138 V 74 consid. 7 p. 82; 124 IV 86 consid. 2a p. 87 s.; 120 Ia 31 consid. 2 p. 33 ss).
2.1.2. A teneur de l'art. 189 al. 1 CP, se rend coupable de contrainte sexuelle, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel. Se rend coupable de viol au sens de l'art. 190 al. 1 CP, celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel.
Les infractions réprimant la contrainte sexuelle interdisent toute atteinte à la liberté sexuelle. Pour qu'il y ait contrainte en matière sexuelle, il faut que la victime ne soit pas consentante, que l'auteur le sache ou accepte cette éventualité et qu'il passe outre en profitant de la situation ou en utilisant un moyen efficace (ATF 122 IV 97 consid. 2b p. 100; arrêt 6B_71/2015 du 19 novembre 2015 consid. 2.1.2). Les art. 189 et 190 CP tendent à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, l'acte sexuel ou un autre acte d'ordre sexuel. Il s'agit de délits de violence, qui doivent être considérés principalement comme des actes d'agression physique (ATF 131 IV 107 consid. 2.2 p. 109; 128 IV 97 consid. 2b p. 99; 124 IV 154 consid. 3b p. 158 s.). Il en résulte que toute pression, tout comportement conduisant à un acte sexuel non souhaité, ne saurait être qualifié de contrainte. L'art. 190 CP, comme l'art. 189 CP, ne protège des atteintes à la libre détermination en matière sexuelle que pour autant que l'auteur surmonte ou déjoue la résistance que l'on pouvait raisonnablement attendre de la victime (ATF 133 IV 49 consid. 4 p. 52; 131 IV 167 consid. 3.1 p. 170 s.). L'infraction visée par l'art. 190 CP exige donc non seulement qu'une personne subisse l'acte sexuel alors qu'elle ne le veut pas, mais également qu'elle le subisse du fait d'une contrainte exercée par l'auteur. A défaut d'une telle contrainte, de l'intensité exigée par la loi et la jurisprudence, et même si la victime ne souhaitait pas entretenir une relation sexuelle, il n'y a pas viol (arrêts 6B_710/2012 du 3 avril 2013 consid. 3.1; 6B_311/2011 du 19 juillet 2011 consid. 5.2).
Sur le plan subjectif, les art. 189 et 190 CP sanctionnent des infractions de nature intentionnelle, le dol éventuel étant suffisant dans les deux cas. L'auteur doit savoir que la victime n'est pas consentante ou en accepter l'éventualité (arrêts 6B_968/2016 du 25 septembre 2017 consid. 2.1.2; 6B_267/2016 du 15 février 2017 consid. 5.2; 6B_883/2014 du 23 juin 2015 consid. 3.3 et les références citées; cf. ATF 87 IV 66 consid. 3 p. 71).
2.2. La cour cantonale a apprécié les déclarations de la recourante, de l'intimé et des témoins, le rapport de police, l'expertise de crédibilité ainsi que les nombreux rapports et avis de psychiatres, psychologues et infirmière. Sur cette base, la cour a constaté qu'il existait des éléments troublants, à savoir, en particulier, le détail, connu de la recourante, de la courbure du sexe de l'intimé en érection. Sur ce point, la cour cantonale a toutefois estimé que la jeune fille a pu apercevoir une fois l'intimé, nu en érection ou que ce détail faisait l'objet d'une rumeur interne à la famille. Par ailleurs, le comportement de l'intimé s'était avéré à plusieurs reprises grossier (commentaire lors d'un jeu à Noël en 2010: " le strip-tease ça vient ou bien? ") ou inadéquat (questionnement sur les difficultés sexuelles de la recourante; surpris en pleine nuit, sur le canapé, la main sur le ventre de la recourante). La cour cantonale a retenu que, pris ensemble, ces éléments étaient certes troublants, mais pas suffisants toutefois pour retenir à charge de l'intimé l'ensemble des accusations formulées.
D'autres éléments justifiaient l'existence de doutes sérieux quant à la réalité des faits reprochés à l'intimé.
La cour cantonale a notamment tenu compte de fausses accusations répétées de la part de la recourante, dirigées contre différentes personnes concernant des viols, agressions sexuelles et maltraitances physiques, ainsi que ses rétractations pendant la période allant de 1996 à 2002.
Elle a relevé le caractère évolutif du discours de la recourante sur certains points concernant l'historique de ses relations avec l'intimé. En 2000, la recourante soutenait que l'intimé lui avait touché les seins lors d'une sieste en Espagne et, lors de l'expertise psychiatrique de 2016 et aux débats de première instance, elle avait déclaré qu'il lui avait ôté son maillot de bain sur une plage, lorsque cette scène de vacances a été évoquée. En outre, la cour cantonale a relevé que certains détails concernant les faits litigieux étaient contredits par des témoins. En particulier, il n'existait pas de dortoirs ni de lits dans les locaux des remontées mécaniques.
La cour cantonale a relevé les explications embrouillées de la recourante et les imprécisions de lieu et de temps, notamment quant à son âge lors des abus (15 ans et demi dans les premières déclarations, 16 ans et demi ensuite). Les déclarations de la recourante concernant l'abus subi lors d'un cours d'auto-école n'étaient pas compatibles avec les déclarations de l'intimé, corroborées par la mère de la recourante, selon lesquelles il n'avait jamais donné de cours de conduite et par le fait que la recourante soutenait avoir passé son permis vers 19-20 ans. En soi, ces exemples n'étaient pas décisifs s'agissant de faits anciens et compte tenu des traumatismes relevés par certains intervenants, néanmoins, les incohérences et imprécisions mentionnées étaient trop nombreuses pour ne pas être significatives.
Au vu de l'ensemble de ces éléments, la cour cantonale a retenu l'existence d'un doute sérieux quant à l'imputation à l'intimé des abus allégués (jugement entrepris, p. 8 à 21).
En tout état, la cour cantonale a retenu que la recourante n'avait jamais été forcée psychiquement et/ou physiquement. Elle s'est notamment fondée sur les déclarations de la recourante en procédure ( " Tu peux faire ce que tu veux de moi (...) vas-y tire ton coup et voilà ")et devant les premier juges ( " Je n'ai jamais été contrainte d'une quelconque manière (...). Je me suis donnée pour que les choses aillent mieux dans ma famille ") pour exclure toute contrainte de la part de l'intimé.
2.3. En substance, la recourante conteste que les critères retenus par la cour cantonale puissent engendrer un doute insurmontable et prétend que l'ensemble des éléments à charge constitue un faisceau d'indices suffisant pour conclure à la culpabilité de l'intimé.
On relèvera, à titre liminaire, que l'examen de la culpabilité se fait au regard des art. 189 et art. 190 CP, la prescription étant acquise pour l'infraction d'actes d'ordre sexuel avec des personnes dépendantes (art. 188 ch. 1 CP; cf. jugement entrepris consid. 6.1 p. 15). Ainsi, il appartient à la recourante de démontrer que la cour cantonale a arbitrairement éprouvé un doute insurmontable quant à la réalité des faits reprochés, en particulier quant à l'utilisation par l'intimé, d'un moyen de contrainte pour passer outre à l'absence de consentement à subir des actes d'ordre sexuel ou des rapports sexuels.
2.3.1. La recourante se méprend lorsqu'elle prétend que la cour cantonale n'aurait pas reconnu que l'expertise de crédibilité avait été effectuée par des médecins spécialistes, neutres et objectifs. Les juges cantonaux se sont expressément fondés sur cette expertise, dont ils ont détaillé, sur plusieurs pages le contenu et les conclusions (jugement entrepris consid. 4 p. 11-14). Or, selon l'expertise, il n'est pas possible de faire une analyse fiable des déclarations de la recourante à la police (s'agissant du contenu de l'expertise de validité d'un témoignage, cf. ATF 129 I 49 consid. 5 p. 58 s.; 128 I 81 consid. 2 p. 84 ss et les références citées; arrêt 6B_539/2010 du 30 mai 2011 consid. 2.2). Certes l'expert ne voit pas, du point de vue psychiatrique, d'argument mettant en doute la crédibilité de l'expertisée, toutefois, il indique qu'il est possible que les éléments de son discours aient été contaminés par des recadrages d'autres personnes, influençant la manière dont ceux-ci sont rapportés (jugement entrepris consid. 4.4 p. 13 s.). Ainsi, si d'après l'expertise, le léger retard mental que présente la recourante n'entrave pas sa capacité de distinguer le vrai du faux, ses déclarations ont tout de même pu être influencées par des tiers. Sur la base de ces conclusions ambivalentes, la cour cantonale pouvait, sans arbitraire, émettre des doutes quant à la validité absolue de l'ensemble des accusations de la recourante dirigées contre son beau-père, en particulier, sur l'utilisation d'un moyen de contrainte. Il est précisé que la cour cantonale ne met aucunement en doute l'importance des souffrances de la recourante et n'exclut pas qu'elle ait été victime d'abus sexuels dans son enfance. Dès lors que l'expertise ne permet pas, à elle seule, d'apprécier la véracité des déclarations de la recourante, la cour cantonale pouvait se fonder sur d'autres éléments d'appréciation.
2.3.2. S'agissant de ses différentes dénonciations et plaintes passées, la recourante procède de manière appellatoire, partant irrecevable en tant qu'elle formule différentes hypothèses sur les motifs de rétractation. La recourante prétend que les accusations de la présente procédure sont fondées car elles n'ont jamais été rétractées, contrairement aux précédentes. Ce faisant, elle ne parvient pas à démontrer l'arbitraire de l'appréciation faite par la cour cantonale des fausses accusations dont la recourante était l'auteur entre 1996 et 2002, ce qu'elle avait d'ailleurs admis aux débats de première instance (cf. jugement entrepris consid. 7.1 p. 15: quand elle était " petite ", elle avait " ajouté des choses " qu'elle avait vues ou entendues). Sur cette base, la cour cantonale pouvait, sans arbitraire, tenir compte de cinq fausses accusations et rétractations passées de la recourante, parmi d'autres éléments, pour apprécier la crédibilité de ses déclarations s'agissant des présentes accusations.
2.3.3. La recourante prétend que la cour cantonale serait tombée dans l'arbitraire en considérant qu'elle accusait son beau-père pour des " futiles motifs " alors qu'aucune des personnes interrogées n'aurait dit qu'elle le détestait. Or, si la cour cantonale a retenu, sur la base des seules déclarations de la recourante, que ses relations avec son beau-père s'étaient dégradées lorsqu'il a fait ménage commun avec la famille (jugement entrepris, consid. 2.1 p. 8), elle n'en tire toutefois aucune conclusion sous l'angle de l'appréciation des preuves. L'argumentation de la recourante sur ce point est donc vaine.
2.3.4. La recourante tente d'expliquer le caractère évolutif de son discours et de l'historique de ses relations avec l'intimé à l'appui de l'expertise de crédibilité du 2 août 2016, selon laquelle, en cas de traumatisme, il est fréquent que des souvenirs réapparaissent de manière variable. Or la cour cantonale a tenu compte de cet aspect (réapparition de souvenirs en cas de traumatismes; jugement entrepris, consid. 4.4 p. 13) et a tout de même retenu une incohérence du fait que, lors du même épisode de vacances évoqué, deux événements différents ont été décrits. La recourante ne tente pas de démontrer qu'un tel raisonnement serait insoutenable, ni qu'il serait arbitraire d'en déduire, notamment des différentes incohérences, un doute sérieux quant à la réalité des actes dénoncés. Elle affirme, de manière appellatoire, partant irrecevable, qu'il est normal que des éléments nouveaux soient apparus en cours d'audience, n'ayant été entendue qu'une seule fois en instruction. En tout état, la cour cantonale pouvait, sans arbitraire, considérer qu'il était incohérent de la part de la recourante, interrogée sur une même scène de vacances, de mentionner des événements différents, et en tenir compte dans l'appréciation de ses déclarations.
2.3.5. C'est en vain que la recourante rappelle que les experts n'ont pas observé d'incohérences dans son discours, ce qui est au demeurant relevé par la cour cantonale (jugement entrepris consid. 3.1 p. 18). En effet, c'est l'ensemble des déclarations de la recourante qui, d'après les juges cantonaux, comportent de nombreuses incohérences et imprécisions, non pas celles livrées exclusivement aux experts. En outre, ainsi que le relève la cour cantonale, ce n'est pas tant l'existence des imprécisions de lieu et de temps qui est décisive, s'agissant de faits anciens et compte tenu des traumatismes, mais plutôt leur nombre (jugement entrepris, consid. 3.2.2 p. 20). La recourante ne formule aucune critique contre cette motivation topique. Elle ne conteste d'aucune manière l'incohérence relevée par les juges cantonaux s'agissant de l'absence de dortoirs ou de lits, au lieu où elle avait situé certains actes reprochés (à proximité des télécabines).
2.3.6. La recourante résume les différents avis médicaux ainsi que celui de sa curatrice, lesquels ont tous été pris en compte dans la décision entreprise (cf. jugement entrepris consid. 3.2 p. 10 s.; consid. 5 p. 14 s.) et prétend que la cour cantonale aurait jugé ses propos non crédibles et les aurait mis en doute en s'écartant clairement des avis de ces professionnels. Elle mentionne également tous les confidents auxquels elle aurait parlé des faits. Toutefois, elle n'expose pas en quoi le fait d'avoir livré une présentation similaire des faits à plusieurs personnes accorderait davantage de crédit à sa version. Elle ne conteste d'ailleurs pas, sur ce point, la conclusion de l'expert selon laquelle les éléments du discours actuel auraient pu être contaminés par des recadrages d'autres personnes, influençant la manière dont ceux-ci sont rapportés (expertise du 2 août 2016, p. 20; jugement entrepris, consid. 4.4 p. 13 s.). En tout état, si certains avis et témoignages mentionnés confirment que la recourante a parlé, avec sincérité, d'abus sexuels commis par son beau-père, aucun n'évoque l'utilisation de violences, de menaces ou d'un moyen de pression physique.
C'est de manière appellatoire, partant irrecevable que la recourante prétend que l'important suivi médical dont elle bénéficie n'aurait pas été mis en place si ses accusations étaient infondées. En tout état, il est rappelé que la souffrance de la recourante, ainsi que la nécessité d'un suivi, n'est d'aucune manière exclue ou relativisée. C'est au regard de l'imputation à l'intimé de faits relevant de la contrainte sexuelle ou du viol, que la cour cantonale a fait état de ses doutes, sous l'angle de la présomption d'innocence.
2.3.7. La recourante ne saurait rien déduire en sa faveur du fait que les enquêteurs ont relevé une " zone d'ombre certaine " dans le rapport de police. Cette notion évoque précisément un doute quant à la réalité des faits reprochés, lequel doit profiter au prévenu.
2.3.8. La recourante rappelle qu'elle connaît une particularité anatomique de l'intimé, à savoir la courbure de son sexe en érection et considère que les juges cantonaux ont fait des déductions insoutenables de cet aspect. Or, contrairement à ce que suggère la recourante, la cour cantonale n'a pas retenu l'hypothèse de l'intimé, selon laquelle il aurait peut-être été surpris de manière furtive par sa belle-fille lors d'ébats sexuels avec sa femme, ni considéré que la recourante avait pu inventer cette particularité. Elle a estimé qu'il pouvait s'agir d'une rumeur interne à la famille ou que la recourante avait pu apercevoir une fois son beau-père nu en érection. La recourante n'expose d'aucune manière en quoi cette hypothèse serait insoutenable. Il ne suffit pas qu'une autre explication soit possible pour démontrer l'arbitraire de cette appréciation. En tout état, quand bien même la recourante aurait découvert cet aspect dans un autre contexte, cela ne suffit pas pour établir que d'éventuels actes d'ordre sexuel auraient eu lieu sous la contrainte.
2.3.9. La recourante décrit le contenu de la vidéo de Noël 2010, produite en première instance, et en livre une appréciation purement personnelle, selon laquelle, son attitude démontrerait que les mots de son beau-père l'avaient plongée dans la réalité de ses abus. Ce procédé est irrecevable. Au demeurant, la cour cantonale a relevé le comportement grossier de l'intimé à cette occasion (jugement entrepris, consid. 3.2.1 p. 18) et estimé qu'il ne suffisait pas, même compte tenu des autres éléments à charge, à retenir l'ensemble des accusations. La recourante ne tente pas de démontrer l'arbitraire d'une telle appréciation.
2.3.10. Contrairement à ce que prétend la recourante, la cour cantonale a expressément pris en compte le comportement de l'intimé, aperçu par sa femme en pleine nuit, sur le canapé, la main sur le ventre de sa belle-fille. Elle a qualifié ce comportement d'inadéquat, tout comme celui consistant à questionner sa belle-fille sur ses difficultés sexuelles dans son lit. La recourante livre une appréciation personnelle, partant irrecevable de cet événement, sans en déduire davantage que les juges cantonaux (comportement déplacé à connotation sexuelle). Or cela ne suffit pas pour démontrer que la cour cantonale aurait arbitrairement retenu qu'un doute subsistait quant à l'ensemble des accusations.
2.4. La recourante s'en prend à la seconde partie de la motivation cantonale et considère que l'élément constitutif de la contrainte est réalisé en l'espèce.
La recourante ne prétend ni ne démontre que la cour cantonale aurait arbitrairement retenu qu'elle n'a pas été forcée physiquement ou psychiquement à subir les actes reprochés, pour autant qu'ils soient établis. Elle rappelle, à l'appui de ses propres déclarations en procédure, qu'elle avait l'impression que sa parole ne valait rien, qu'elle n'avait pas eu le choix pour être acceptée et aimée de son beau-père, qu'elle était comme une prostituée, qu'elle ne se respectait plus et avait perdu confiance en elle et que l'intimé lui donnait régulièrement de l'argent pour des rapports sexuels complets. Or, si ces éléments confirment la vulnérabilité, la souffrance et le mal-être relevés par les juges cantonaux, ils ne permettent pas d'établir l'usage d'un moyen de contrainte physique ou psychique par l'intimé pour obtenir de la recourante, des actes d'ordre sexuel contre son consentement. Au contraire, cela va dans le sens des déclarations retenues par la cour cantonale pour nier toute pression psychique (cf. supra consid. 2.2 in fine).
La recourante affirme que l'intimé savait qu'elle n'était pas consentante, qu'elle était en manque d'affection et capable de tout pour se faire aimer et qu'il savait qu'elle ne serait pas crue en cas de révélations, de sorte qu'il avait d'autant plus pu l'exploiter. Or, déterminer ce que l'auteur savait, voulait ou l'éventualité à laquelle il consentait et donc savoir s'il a agi avec conscience et volonté relève de l'établissement des faits (ATF 141 IV 336 consid. 2.4.1 p. 342; 137 IV 1 consid. 4.2.3 p. 4). Ainsi, son procédé, consistant à affirmer la conscience et la volonté de l'intimé, est irrecevable. C'est le cas également en tant qu'elle propose une interprétation de ses propres propos en audience, lesquels signifieraient qu'elle avait renoncé à se battre dès lors qu'elle n'avait aucune chance de s'en sortir face à l'emprise. Elle précise qu'elle faisait alors référence à la contrainte physique et que ses déclarations ne pouvaient exclure la contrainte psychique. Or, interrogée sur ce point aux débats de première instance, la recourante a expressément déclaré que l'intimé ne l'avait jamais menacée ou fait du chantage (jugement de première instance, p. 9), ce qui relève davantage de la contrainte psychique. Au surplus, quand bien même les actes d'ordre sexuel et les rapports sexuels fussent avérés, la recourante échoue à démontrer que la cour cantonale aurait arbitrairement omis un fait qui pourrait relever de la contrainte.
Contrairement à ce que suggère la recourante, la cour cantonale n'a pas considéré qu'elle aurait pleinement consenti à des rapports sexuels avec son beau-père, fussent-ils avérés. Au contraire, elle a constaté que la recourante présentait des symptômes typiques d'abus grave, que sa souffrance était évidente et qu'elle apparaissait polycarencée, laissant entrevoir les traces de douleurs psychiques voire traumatiques passées. Toutefois, ces éléments ne permettent pas encore d'établir une contrainte imputable à l'intimé.
2.5. Il découle de ce qui précède que la cour cantonale a expliqué pourquoi les preuves recueillies ne permettaient pas de retenir, au-delà de tout doute raisonnable, la culpabilité de l'intimé, sans que son appréciation ne puisse être qualifiée d'insoutenable.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit également être rejetée (art. 64 al. 1 LTF). Exceptionnellement, il sera statué sans frais (art. 66 al. 1, 2ème phrase, LTF). L'intimé, qui n'a pas été invité à se déterminer, ne saurait prétendre à des dépens.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable
2.
La demande d'assistance judiciaire est rejetée.
3.
Il est statué sans frais, ni dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 mai 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke