Faits :
A.
Par jugement du 23 mai 2016, rectifié le 25 mai 2016, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel avec des enfants et viol, à une peine privative de liberté de neuf mois, avec sursis durant trois ans, a subordonné le sursis à la condition que le prénommé suive un traitement psychothérapeutique ambulatoire, a dit que X._ est le débiteur de A.A._ d'un montant de 20'000 fr. avec intérêts à 5% dès le 1er janvier 2009, à titre d'indemnité pour tort moral, et a donné acte à A.A._ et à B.A._ de leurs réserves civiles à l'encontre de X._.
B.
Par jugement, du 7 novembre 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel interjeté par X._ contre ce jugement.
En bref, la cour cantonale a retenu les faits suivants.
Entre le mois de mai 2007 et le début de l'année 2010, X._ a entretenu une relation de couple avec B.A._. Il s'est impliqué dans l'éducation de A.A._ et de C.A._, filles de sa concubine, nées respectivement en 1994 et en 1995.
Durant la période de l'été 2008 à la fin de l'année 2009, alors que B.A._ partait faire des courses avec sa fille cadette, X._ restait à la maison avec l'aînée. Il a, à plusieurs reprises, profité de s'être trouvé seul avec elle pour l'approcher, la toucher, la prendre par la main et lui enjoindre d'aller se coucher sur le lit de C._ dans la chambre commune des filles. Il n'hésitait pas à hausser le ton pour la forcer à se déshabiller et à menacer de la frapper ainsi que de faire du mal à sa soeur et à sa mère si elle ne s'exécutait pas. Une fois A.A._ déshabillée, il la tirait par les poignets pour la coucher sur le lit, lui toucher la poitrine et se coucher sur elle en lui introduisant son sexe dans le vagin avec un préservatif. Il faisait quelques allers et retours et éjaculait avant de se retirer. Alors que A.A._ pleurait durant les actes, X._ lui demandait de simuler. Lorsqu'elle se débattait, il la tenait par les poignets; cela se passait dans le noir. Après avoir terminé, il lui ordonnait de changer les draps et d'aller se doucher.
Au mois d'août 2010, alors qu'elle résidait au foyer de D._ à E._, A.A._ a confié à un éducateur qu'elle avait été abusée par l'ami de sa mère durant une année et demi à partir de ses quatorze ans.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 7 novembre 2016. Il conclut principalement à l'annulation du jugement du Tribunal correctionnel d'arrondissement de l'Est vaudois, à la libération de la condamnation pour actes d'ordre sexuel avec des enfants et viol, ainsi qu'au versement d'une indemnité en sa faveur d'un montant de 25'000 fr. pour tort moral. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant fait grief à la cour cantonale d'avoir procédé à une appréciation arbitraire des preuves en se fondant uniquement sur le rapport d'expertise de crédibilité, sans tenir compte des contradictions figurant dans les témoignages de la victime.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. La notion d'arbitraire a été rappelée récemment dans l'arrêt publié aux <ref-ruling>, auquel on peut se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 2.4 p. 368). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe "in dubio pro reo" n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Comme tous les autres moyens de preuve, les expertises sont soumises à la libre appréciation du juge. Celui-ci ne peut cependant pas s'écarter d'une expertise sans motifs pertinents. Il doit examiner, en se fondant sur les autres moyens de preuve administrés et sur les arguments des parties, si de sérieuses objections font obstacle au caractère probant des conclusions de l'expertise. En se fondant sur une expertise non concluante, le juge peut tomber dans l'arbitraire. Tel peut être le cas si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, de toute autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer (<ref-ruling> consid. 6.1 p. 373 et les références citées).
1.2. La cour cantonale a fait siens les termes du rapport d'expertise concluant que les révélations de la victime paraissaient fortement crédibles. En particulier, l'experte avait souligné que les éducateurs du foyer dans lequel séjournait l'intimée 2 avaient remarqué un changement dans son comportement et dans son habillement. Ce changement d'attitude avait également été constaté par la mère de la victime. Durant la période en question, l'experte avait mis en évidence des consommations d'alcool, des épisodes d'automutilation et une hospitalisation pour des douleurs abdominales non somatiques en 2008. Elle avait également indiqué que les éducateurs du foyer ne considéraient pas la victime comme une affabulatrice et que les circonstances qui entouraient ses révélations constituaient des éléments qui parlaient en faveur de la crédibilité du discours. En particulier, les caractéristiques spécifiques, la particularité du contenu, le contenu relatif aux motivations de la déclaration ainsi que les éléments concernant le délit appuyaient plutôt la crédibilité des déclarations de l'expertisée. Comme l'avait souligné l'experte, l'intimée 2 n'hésitait pas à dire qu'elle ne savait pas ou qu'elle ne savait plus, elle reconnaissait qu'elle avait menti par peur qu'on ne la croie pas quand elle avait parlé d'une première relation sexuelle avec un garçon. L'experte avait expliqué l'absence de douleur ressentie pendant les abus par une dissociation rencontrée chez les victimes d'abus sexuels. Elle avait conclu que la victime présentait une symptomatologie avec un état de stress post-traumatique au sens de la CIM10 et avait mis en lumière la présence des quatre vécus prévalant chez les victimes d'abus sexuels.
La cour cantonale a également signalé deux éléments, mis en évidence par l'experte, en défaveur de la crédibilité. Premièrement, l'intimée 2 avait rapporté garder une distance avec les garçons depuis les faits alors que le rapport du foyer mentionnait que tel n'était pas le cas. Secondement, dans l'analyse de la vidéo, la victime avait donné moins de détails sur les faits, contrairement aux autres éléments qui avaient été racontés, cet aspect ressortant toutefois moins durant les entretiens de l'expertise, ce qui avait permis de relativiser le caractère plus sommaire des premières déclarations. En définitive, comme l'a souligné la cour cantonale, l'experte était arrivée à la conclusion que le témoignage et les propos de l'intimée 2 paraissaient fortement crédibles.
1.3. Le recourant n'a pas relevé d'éléments permettant de mettre en doute les conclusions de l'expertise.
1.4. Le recourant reproche à l'autorité précédente de ne pas avoir tenu compte des déclarations de la mère de la victime. Cette dernière a déclaré ne pas se souvenir que sa fille lui aurait demandé à plusieurs reprises de ne pas la laisser seule avec le recourant, ni avoir constaté des changements de draps anormaux. Or, la cour cantonale a exposé qu'il n'était pas déterminant que la mère n'ait rien dit au sujet du changement régulier des draps ni ne se soit souvenue du fait que sa fille aurait manifesté sa crainte de rester seule à la maison en son absence. En effet, les abus se sont toujours déroulés en l'absence de la mère. Quant au changement plus ou moins fréquent des draps, la mère a expliqué que sa fille changeait de literie seule, déjà avant l'arrivée du recourant, de sorte qu'il n'y avait rien d'insolite à ce qu'elle n'ait rien perçu d'anormal dans ce comportement. Enfin, il résulte du dossier que l'intimée 3 était débordée par son rôle parental, qu'elle n'avait aucune autorité sur ses filles et qu'elle en avait délégué l'éducation au recourant. Il n'est donc pas surprenant non plus qu'elle n'ait pas perçu d'éventuelles traces de violence sur les poignets de sa fille. Ce d'autant que l'intimée 2 et sa soeur ne se trouvaient au domicile de leur mère que deux fois par semaine.
1.5. Le recourant soutient qu'il serait surprenant que les abus ne se soient pas produits lors des tournées nocturnes de distribution des journaux, en particulier au garage de F._, alors que l'intimée 2 l'accompagnait. Ce faisant, le recourant se contente d'opposer sa propre version des faits à celle de l'autorité précédente, sans indiquer en quoi le jugement attaqué serait arbitraire sur ce point. Par ailleurs, le recourant a lui-même indiqué qu'il y avait une quarantaine de chauffeurs dans le dépôt, ce qui explique à l'évidence l'absence d'abus dans ledit garage.
Il en va de même s'agissant de l'argument selon lequel la victime aurait feint un malaise, en première audience de jugement, en raison de son interrogatoire. Cette interprétation est contredite par les pièces du dossier puisque, le 12 mai 2016, le Dr G._, spécialiste en psychiatrie et psychothérapie, est arrivé à la conclusion, après avoir examiné l'intimée 2, qu'à la suite de l'incident de l'audience du 1er décembre 2014 la victime devait être dispensée de comparution aux audiences en raison de l'importante réactivation émotionnelle causée par la confrontation au procès.
Enfin, le recourant soutient que, contrairement aux allégations de la victime, il ne lui aurait jamais fait de cadeau, ce qu'il admet pourtant dans ses déclarations.
1.6. Le recourant soutient que la fréquence des abus alléguée par la victime ne serait pas crédible puisque, si tel avait été le cas, les changements de draps auraient été perçus par l'intimée 3. La cour cantonale est arrivée à la conclusion que les troubles dont souffrait la victime, en particulier une intelligence limitée, n'avaient pas permis d'investiguer le nombre exact d'actes subis. Elle a retenu qu'il y avait eu plusieurs rapports sexuels complets sous la menace, sans indiquer un nombre précis à cet égard. Par ailleurs, l'experte avait expliqué que l'intimée 2 peinait à situer les faits dans le temps, en partie en raison de son retard mental, car il lui était impossible de situer un événement dans le temps en l'associant à d'autres. Elle semblait avoir fusionné tous les événements en un seul et les racontait comme un événement unique, ce qui, selon l'experte, était décrit dans la littérature spécialisée. L'experte avait également souligné que la victime était aujourd'hui une adolescente dont l'immaturité et le retard mental pouvaient impliquer qu'elle réagisse comme une personne plus jeune. Dès lors, la fréquence des abus n'était pas un élément déterminant pour la crédibilité du discours de la victime.
1.7. Le recourant soutient également que la cour cantonale aurait arbitrairement indiqué que les faits s'étaient déroulés entre mai 2007 et le début de l'année 2010, alors qu'il aurait quitté le domicile de l'intimée 3 au mois de mai 2009. Cette allégation est contredite par ses propres déclarations. Le recourant a en effet indiqué être resté au domicile de l'intimée 3 de mai 2007 à début 2010. Il explique être arrivé en mai 2007, avoir quitté le domicile à la fin 2009 pour trois semaines environ, soit pour un voyage à Marseille, puis être retourné chez l'intimée 3 jusqu'au début 2010.
1.8. Le recourant prétend qu'il aurait toujours soutenu les deux filles de l'intimée 3 en essayant de les valoriser systématiquement, en tentant de leur donner un cadre éducatif et en les encourageant, et que l'autorité précédente aurait arbitrairement retenu qu'il cherchait à les rabaisser systématiquement. Une fois encore, il se contente d'opposer sa propre version des faits à celle de la cour cantonale. En outre, l'ex-épouse du recourant a indiqué que ce dernier pouvait être violent, du moins verbalement, et qu'il supportait mal la contradiction. Ce fait a été confirmé par H._, grand-mère de la victime, qui a souligné que le recourant était très dur avec les filles lorsqu'elles faisaient leurs devoirs. Cette dernière a d'ailleurs également indiqué qu'en 2009, l'intimée 2 s'était sensiblement écartée du recourant.
1.9. Le recourant reproche à la cour cantonale de ne pas avoir retenu que la victime aurait inventé cette histoire pour se venger de la relation qu'il a entretenue avec I._, une amie de la recourante 2.
Comme l'a précisé la cour cantonale, l'intimée 2 a dénoncé le recourant alors qu'il était déjà sorti de sa vie et de celle de sa mère. Elle n'a donc pas eu pour intention directe de lui faire quitter le domicile. La découverte que son amie I._ avait renoué une relation avec le recourant est survenue environ quatre à cinq mois avant que l'intimée 2 le dénonce. L'experte a cependant relevé que lorsque l'intimée 2 avait déclaré que le recourant " avait trompé ma mère avec I._ et I._ m'a trompée avec [le recourant]", elle semblait avoir ressenti la trahison et en vouloir à I._ et non au recourant. Quant au mal que ce dernier aurait pu faire à l'intimée 3, le couple avait rompu et sa mère n'aurait pas souffert de le voir avec I._. Par voie de conséquence, le recourant ne parvient pas à démontrer que la victime aurait agi dans le but de lui nuire. Enfin, le fait qu'un témoin indique que la victime serait homosexuelle et disposerait d'un caractère fort n'est pas inconciliable avec le déroulement des faits retenu par la cour cantonale. Quant aux déclarations de H._, qui ne confirment pas l'allégation de la victime selon laquelle elle lui aurait confié ne pas vouloir rester avec le recourant, la cour cantonale pouvait, sans arbitraire, ne pas retenir ce témoignage à charge. En effet, la grand-mère n'a pas été entendue directement mais a indiqué à la police que l'intimée 2 ne s'était jamais confiée à elle. Cela ne suffit pas à mettre en doute les déclarations de l'intimée 2 sur les faits de la cause.
Enfin, la cour cantonale a également mis en évidence plusieurs autres éléments en défaveur de la thèse soutenue par le recourant. Ce dernier, même s'il a confirmé ne jamais s'être engagé dans une relation intime avant l'âge adulte de ses partenaires, a précisé néanmoins qu'il préférait les jeunes femmes. L'expert chargé de son expertise a parlé d'une souffrance vis-à-vis de ses relations intimes et d'une difficulté à être épanoui et satisfait sur le plan de la sexualité. Le recourant n'a entretenu aucune relation sexuelle avec l'intimée 3 alors qu'il a partagé sa vie durant plus de deux ans. Il a adopté un comportement inadéquat envers l'une de ses ex-amies, J._. Enfin, la description de la durée des actes de pénétration, donnée par l'intimée 2, soit quelques allers et retours, correspond précisément aux troubles sexuels dont souffre le recourant et dont il indique ne pas avoir parlé avec celle-ci ou sa soeur.
La cour cantonale n'est ainsi pas tombée dans l'arbitraire en retenant que la description des actes présentée par l'intimée 2 pouvait être retenue en ce qui concerne leur nature. Quant à leur fréquence, les troubles dont souffre la victime elle-même n'ont pas permis d'investiguer le nombre exact d'actes subis, mais la cour cantonale pouvait retenir qu'il y avait eu plusieurs rapports sexuels complets sous la menace. Le grief tiré de l'établissement arbitraire des faits est donc mal fondé.
2.
Au vu de ce qui précède, la conclusion du recourant tendant à l'octroi d'une indemnité à titre de tort moral est infondée.
3.
Le recours doit être rejeté. Comme il était dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>). Les intimées, qui n'ont pas été invitées à se déterminer, ne sauraient prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 septembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Graa