Faits :
A.
Par jugement du 22 mars 2016, le Tribunal des mineurs du canton de Vaud a libéré X._ du chef de prévention de viol et d'actes d'ordre sexuel sur une personne incapable de discernement ou de résistance. Il l'a condamné pour contrainte sexuelle à une peine privative de liberté de 8 mois. Outre les frais de procédure partiellement mis à sa charge, X._ a été condamné à verser, à titre d'indemnités pour tort moral, un montant de 10'000 fr. à A.A._ et un montant de 3500 fr. à B.A._.
B.
Statuant le 3 novembre 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et a partiellement admis l'appel joint du ministère public. Elle a réformé le jugement du 22 mars 2016 en ce sens que X._ était condamné pour contrainte sexuelle et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance à une peine privative de liberté de 10 mois. Le jugement du 22 mars 2016 a été confirmé pour le surplus.
En substance, la cour cantonale a retenu les faits suivants.
B.a. Né en 1993 et ressortissant de la République de Maurice, X._ est venu s'installer en Suisse durant l'été 2010 après avoir vécu dans son pays d'origine, rejoignant alors sa mère et son beau-père à D._.
Peu après son arrivée en Suisse, X._ a passé une semaine de vacances à E._ au domicile de C.A._, qui était l'époux d'une amie de sa mère, à savoir F.A._, ressortissante mauricienne décédée en décembre 2009. Dans l'appartement familial vivaient également les filles jumelles des époux A._, soit A.A._ et B.A._, nées en 1999, ainsi que G._, née en 1988 et issue d'une précédente union de F.A._.
En août 2010, à une date indéterminée, dans l'appartement d'E._, X._ regardait la télévision, assis sur le canapé du salon, avec les jumelles A.A._ et B.A._, qui s'étaient endormies à côté de lui. Profitant du sommeil de A.A._, X._ a introduit sa main dans la culotte de l'enfant et l'a caressée au niveau du sexe, à même la peau.
Excité, il a sorti ensuite son sexe en érection de son pantalon, a pris la main de la fillette et l'a placée sur son pénis. S'étant réveillée, A.A._ a retiré sa main, en se montrant contrariée. Freiné dans son geste, X._ a fermé sa braguette et s'est retiré dans sa chambre.
B.b. Après cet épisode, à la même période, toujours dans l'appartement d'E._, X._ s'est approché de A.A._ et B.A._ qui jouaient dans le salon. Il a emmené A.A._ dans la chambre de la mère défunte des enfants et l'y a enfermée dans l'intention de commettre sur elle des actes d'ordre sexuel. Comme B.A._ essayait de libérer sa soeur, X._ l'a saisie par les cheveux, l'a menacée d'un couteau et l'a emmenée sur le balcon du logement. Il a menacé de la jeter dans le vide si elle disait quoi que ce soit, puis l'a enfermée dehors.
X._ a ensuite rejoint A.A._ dans la chambre, dont la fenêtre donnait sur le balcon, et a baissé les stores pour empêcher B.A._ de voir ce qu'il s'y passait. Dès lors que A.A._ pleurait, X._ l'a giflée à plusieurs reprises, lui disant de "fermer sa gueule" et lui demandant d'exécuter des actes à caractère sexuel, ce qu'elle a refusé. Le garçon lui a alors asséné plusieurs coups, notamment au niveau du ventre. Il a ensuite enlevé le bas de pyjama de A.A._ et s'est lui-même entièrement déshabillé. Il a alors touché le sexe de la fillette avec les doigts et l'a forcée à toucher son pénis, qu'il a frotté contre elle, au niveau de l'entre-jambes, jusqu'à ce qu'il éjacule. X._ a ensuite laissé A.A._ sortir de la chambre et a libéré B.A._ du balcon. Cette dernière a alors remarqué que sa soeur avait remis son pantalon de pyjama à l'envers.
Le 7 septembre 2012, après que A.A._ s'est confiée à une parente nommée H.A._ lors de vacances à l'île Maurice, C.A._ a déposé plainte pour ses filles A.A._ et B.A._.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement à son acquittement. Subsidiairement, il conclut à la réforme du jugement en ce sens qu'une peine de privation de liberté de 2 mois, avec sursis pendant 2 ans, lui est infligée et qu'il est débiteur de A.A._ d'une indemnité pour tort moral de 2000 fr., les conclusions civiles de B.A._ étant pour leur part rejetées. Plus subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
La cour cantonale a considéré que les premiers attouchements du recourant sur l'enfant A.A._ alors que celle-ci était endormie sur le canapé fondaient sa condamnation pour l'infraction réprimée à l'<ref-law> (actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance). Pour ce qui était de la deuxième phase des faits qui se sont déroulés sur le canapé, soit lorsque le recourant avait saisi la main de la fillette pour la placer sur son sexe en érection, il devait être condamné pour contrainte sexuelle (<ref-law>). Cette dernière infraction devait également être retenue s'agissant des faits commis à l'encontre de A.A._ qui s'étaient déroulés ultérieurement dans la chambre de la mère défunte des fillettes. Les autres infractions pouvant entrer en ligne de compte étaient en revanche prescrites en vertu de l'<ref-law>, à l'exception de la tentative de viol (<ref-law>), qui n'entrait toutefois pas en considération dès lors qu'il n'était pas établi que le recourant avait eu l'intention de faire subir l'acte sexuel à A.A._.
2.
A titre préalable, le recourant conclut à la mise en oeuvre d'une expertise de crédibilité sur les personnes de B.A._ et A.A._, en faisant valoir que de multiples incohérences émaillaient leurs déclarations, A.A._ étant de surcroît atteinte de troubles psychiques. Il requiert en outre le "visionnage" des enregistrements audio et vidéo des auditions des jeunes filles qui se sont déroulées le 1 er mai 2015.
2.1. Il n'y a pas lieu de donner suite à ces requêtes, les conditions exceptionnelles pour prononcer une mesure probatoire devant le Tribunal fédéral n'étant manifestement pas réunies (cf. <ref-ruling> consid. 2 p. 104).
2.2. Au surplus, en tant que le recourant reproche à la cour cantonale, en invoquant une violation de son droit d'être entendu (art. 29 al. 2 Cst.), de ne pas avoir ordonné ces mesures d'instruction, il n'établit pas qu'il aurait requis de telles mesures devant la cour cantonale ni que celle-ci aurait commis un déni de justice à cet égard. Dans cette mesure, le grief est ainsi irrecevable, faute d'épuisement des instances cantonales (<ref-law>).
3.
Invoquant l'<ref-law>, le recourant se plaint d'un établissement inexact des faits ainsi que d'une violation du principe in dubio pro reo.
3.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53 et 140 I 201 consid. 6.1 p. 205).
La présomption d'innocence, garantie par les art. 32 al. 1 Cst., 10 CPP, 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe in dubio pro reo, concernent tant l'appréciation des preuves que le fardeau de la preuve (<ref-ruling> consid. 2a p. 40 s.; <ref-ruling> consid. 2c p. 36 s.; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82 s.). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. C'est ainsi à l'accusation d'établir la culpabilité du prévenu, et non à celui-ci de démontrer qu'il n'est pas coupable. La présomption d'innocence est violée lorsque le juge rend un verdict de culpabilité au seul motif que le prévenu n'a pas prouvé son innocence (<ref-ruling> consid. 2a p. 40; arrêt 6B_58/2016 du 18 août 2016 consid. 2.1).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 p. 266).
3.2. Les développements du recourant s'épuisent principalement en une rediscussion des moyens de preuve pris en considération par l'autorité précédente, à laquelle il oppose sa propre appréciation. Une telle démarche, essentiellement appellatoire, ne répond pas aux exigences de motivation déduites de l'<ref-law>. La recevabilité de ces développements est douteuse et l'on se limitera, dans la suite, à répondre aux arguments du recourant qui n'apparaissent pas immédiatement irrecevables.
3.3. Le recourant reproche à la cour cantonale d'avoir retenu que A.A._ dormait au moment où il avait introduit sa main dans la culotte de la fillette, alors qu'ils se trouvaient, en présence de B.A._, assis sur le canapé en train de regarder la télévision. Cette circonstance exclurait sa condamnation à l'infraction réprimée à l'<ref-law>, A.A._ n'ayant pas été incapable de discernement ou de résistance à cet instant précis.
Le recourant perd toutefois de vue que la cour cantonale a fondé sa conviction sur la base de ses propres déclarations lors de son audition devant le tribunal des mineurs, selon lesquelles il avait expressément admis que A.A._ dormait sur le canapé lorsqu'il avait mis sa main sur les parties intimes de la fillette. Même s'il était revenu sur ces affirmations en appel, la cour cantonale a estimé qu'il fallait tenir pour conforme à la vérité la version présentée devant les premiers juges, en ayant à l'esprit que le recourant avait difficilement dévoilé les faits au cours de l'instruction, distillant toutefois toujours plus de détails au fil des auditions. En outre, s'il avait décrit un geste de rejet de A.A._ lorsque cette dernière avait touché son pénis, le recourant n'avait jamais évoqué une telle opposition lorsqu'il avait caressé le sexe de la fillette. Cette circonstance plaidait en faveur de la version selon laquelle l'enfant dormait lors des premiers attouchements. Par ailleurs, contrairement à ce que le tribunal des mineurs avait retenu, l'état d'endormissement de la fillette n'excluait pas le fait qu'elle se souvienne avoir subi des caresses sur ses parties intimes. L'enfant avait ainsi très bien pu se réveiller au moment où elle avait constaté les attouchements. Cette appréciation de la cour cantonale ne saurait être considérée comme arbitraire. Le grief doit dès lors être rejeté.
Au surplus, le recourant ne conteste pas le raisonnement de la cour cantonale selon lequel l'état d'endormissement de la victime la rendait incapable de résistance au sens de l'<ref-law>.
3.4. Le recourant conteste ensuite avoir fait usage de violence au sens de l'<ref-law> en saisissant et guidant la main de A.A._ pour la placer sur son pénis en érection.
3.4.1. L'<ref-law> punit celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel. La violence désigne, comme dans le cas du brigandage (<ref-law>), l'emploi volontaire de la force physique sur la personne de la victime dans le but de la faire céder (<ref-ruling> consid. 2b p. 100). Elle suppose une application de la force physique plus intense que ne l'exige l'accomplissement de l'acte dans les circonstances ordinaires de la vie (<ref-ruling> consid. 1 p. 68). Un emploi limité de force peut suffire (arrêt 6B_570/2012 du 26 novembre 2012 consid. 1.2).
3.4.2. La cour cantonale a retenu que le fait pour un adolescent de 17 ans de s'emparer de la main d'une enfant de 10 ans pour l'amener et la poser sur un sexe en érection relevait d'un emploi efficace de la force, l'enfant n'ayant pas une puissance musculaire suffisante pour s'y opposer. Le fait que l'enfant soit parvenu à se dégager par la suite et que l'attouchement obtenu par la force ait été bref ne constituent pas des éléments pertinents. Il suffit en effet que la violence employée soit efficace dans les circonstances d'espèce. Cela étant, la cour cantonale pouvait considérer sans violer le droit fédéral que ces faits étaient constitutifs d'un usage de la violence au sens de la disposition précitée. Le grief doit dès lors être rejeté.
3.5. Pour le surplus, le recourant soutient qu'il devait bénéficier de la présomption d'innocence s'agissant des actes qui s'étaient déroulés dans le chambre de la mère défunte des fillettes.
3.5.1. Suivant l'appréciation du tribunal des mineurs, la cour cantonale a tenu pour crédibles les dépositions des soeurs A._, qui étaient appuyées par le témoignage de H.A._, à qui A.A._ s'était confiée. Elles se recoupaient sur des éléments essentiels comme le fait que les jumelles étaient seules dans l'appartement avec le recourant le jour en question. Les jeunes filles fournissaient des détails qu'elles n'étaient guère susceptibles d'avoir inventé, comme l'abaissement des stores pour empêcher B.A._ de voir dans la chambre depuis le balcon, le fait que A.A._ ait remis son pyjama à l'envers après la scène de la chambre, comme le refus des deux soeurs de s'approcher du recourant ou de le revoir après les faits, et la compatibilité entre les déclarations des victimes et la configuration des lieux inspectés par les enquêteurs. En outre, les aveux partiels du recourant, limités à l'épisode du canapé, démontraient sa capacité de s'en prendre sexuellement à une fillette de 10 ans et ne faisaient que renforcer la crédibilité des affirmations de A.A._ s'agissant des faits qui s'étaient déroulés dans la chambre. La cour cantonale a ajouté à ces éléments de conviction le fait qu'il n'existait aucun motif qui aurait conduit les soeurs à inventer un deuxième épisode aussi violent et difficile à mettre en scène, car impliquant la neutralisation de l'une pour abuser de l'autre. Enfin, il existait une cohérence dans l'enchaînement des faits : privé d'un assouvissement que le recourant, excité, n'avait pu obtenir lors du premier épisode en raison du refus de l'enfant et de la présence d'un adulte dans l'appartement, il avait mis à profit l'occasion de l'obtenir par la force dès qu'il s'était retrouvé seul dans l'appartement avec les jumelles.
3.5.2. Le recourant rediscute librement l'appréciation des preuves de la cour cantonale en se limitant à taxer d'arbitraire son raisonnement, sans pour autant démontrer en quoi il serait insoutenable. Il reproche notamment à l'autorité précédente d'avoir tenu compte des déclarations de H.A._, qui n'avait fait que recueillir des confidences de A.A._. Il s'en prend également à la crédibilité des déclarations des fillettes, tentant de mettre en exergue leurs capacités de mensonge et d'affabulation. De tels développements, purement appellatoires, ne sont pas admissibles dans le recours en matière pénale.
Il suffit au demeurant de relever que, pour la cour cantonale, les différences entre les récits de H.A._ et ceux des fillettes consistaient avant tout en des imprécisions qui étaient dues de manière compréhensible à la réception de confidences sur des événements auxquels le témoin n'avait pas assisté et à la période de deux ans séparant les confidences de la déposition du témoin. En outre, aucun automatisme n'imposait à la victime de se confier d'abord à une parente plutôt qu'à ses thérapeutes. L'intéressée, perturbée et terrorisée par les menaces lui imposant de se taire, pouvait parfaitement se confier à une personne de confiance deux ans après les faits, mais ne rien dire à ses médecins qui, de leur côté, avaient pu attribuer à d'autres causes les troubles qu'elle présentait. Une telle appréciation n'a rien d'insoutenable.
En outre, contrairement à ce que soutient le recourant, la cour cantonale pouvait considérer sans arbitraire que les affirmations inexactes de A.A._ quant au fait qu'elle aurait subi des pénétrations vaginale et anale de la part du recourant n'enlevaient pas pour autant toute crédibilité à ses dépositions. La cour cantonale a en effet estimé que les termes de "pénétration" et de "viol" pouvaient prêter à interprétation pour une fille de son âge. Il n'était en outre pas exclu que le frottement du sexe du recourant sur son entre-jambe, suivi d'une éjaculation, avait suffi à la convaincre qu'il y avait eu pénétration.
Mal fondé, le grief est rejeté dans la mesure de sa recevabilité.
4.
Sans pour autant revenir dans ses développements sur la quotité de la peine prononcée à son encontre, le recourant soutient qu'il devait être mis au bénéfice du sursis à l'exécution de la peine privative de liberté de 10 mois prononcée par la cour cantonale.
4.1. Aux termes de l'<ref-law>, l'autorité de jugement suspend totalement l'exécution d'une amende, d'une prestation personnelle ou d'une privation de liberté de 30 mois au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner le mineur d'autres crimes ou délits. Si l'<ref-law> élargit le champ des peines susceptibles d'être assorties du sursis et si, à la différence de l'<ref-law>, seule l'absence de pronostic défavorable est requise, à l'exclusion de toute condition objective liée à des condamnations antérieures, l'octroi du sursis selon le droit pénal des mineurs répond pour le reste aux mêmes critères que ceux applicables aux adultes (arrêt 6B_695/2011 du 15 mars 2012 consid. 6.3).
Le juge doit ainsi poser, pour l'octroi du sursis, un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain (<ref-ruling> consid. 4.2.2 p. 5). En d'autres termes, la loi présume l'existence d'un pronostic favorable et cette présomption doit être renversée par le juge pour exclure le sursis.
Pour formuler un pronostic sur l'amendement de l'auteur, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Il doit tenir compte de tous les éléments propres à éclairer l'ensemble du caractère de l'accusé et ses chances d'amendement. Il ne peut accorder un poids particulier à certains critères et en négliger d'autres qui sont pertinents (<ref-ruling> consid. 2.1 p. 185 s.; <ref-ruling> consid. 4.2.1 p. 5).
Dans l'émission du pronostic, le juge dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient qu'en cas d'excès ou d'abus, notamment lorsque le juge a omis de tenir compte de critères pertinents (<ref-ruling>40 consid. 4.2 p. 143; arrêt 6B_811/2016 du 27 février 2017 consid. 2.1).
4.2. La cour cantonale a posé un pronostic défavorable quant au comportement futur de l'auteur, de sorte qu'une peine ferme devait être prononcée. Elle a ainsi constaté, d'une part, que, depuis sa majorité, le recourant avait fait l'objet de deux condamnations en 2014 et 2015 pour dommages à la propriété. Si son casier judiciaire ne comportait certes pas d'inscription relative à des infractions graves, plus particulièrement dans le domaine sexuel, la présente procédure dont il savait être l'objet depuis sa détention provisoire de 5 jours en mars 2013 avait toutefois pu avoir un effet de frein dans ce registre d'infractions. D'autre part, la facilité du passage à l'acte et son caractère abject étaient particulièrement inquiétants. Il en allait de même de l'accablement des victimes qu'il persistait à opérer en les présentant, soit comme des menteuses, soit comme des aliénées, ce qui dénotait une absence particulière de scrupules. Dans ce contexte, l'expérience éprouvée de la sanction était indispensable pour amorcer une prise de conscience, la seule perspective de devoir peut-être purger une peine ensuite de la révocation d'un sursis n'ayant pas un poids dissuasif suffisant.
4.3. Le recourant ne soutient pas expressément que l'un ou l'autre de ces éléments d'appréciation n'aurait pas été pertinent. Il ne tente pas de démontrer non plus que d'autres éléments pertinents du pronostic auraient été ignorés et il n'apparaît pas que tel aurait été le cas.
4.4. Le recourant objecte cependant que l'appréciation de la cour cantonale selon laquelle il ferait preuve d'une absence complète de prise de conscience serait en contradiction avec la circonstance relative au fait que l'enquête en cours avait pu avoir un effet de frein sur la commission d'autres infractions dans le registre sexuel.
On constate cependant que la cour cantonale n'a pas simplement fait sienne l'appréciation de l'autorité de première instance selon laquelle l'absence de prise de conscience était complète. Elle a plutôt forgé sa propre appréciation de l'ensemble des éléments dont elle a tenu compte. Dans le cadre de cette appréciation globale, il n'y a pas de contradiction intrinsèque à retenir, d'une part, que la procédure en cours a pu freiner le recourant dans la poursuite d'infractions dans le domaine sexuel et, d'autre part, que l'expérience éprouvée de la sanction serait indispensable pour amorcer une prise de conscience. En effet, la cour cantonale a souligné, sur ce dernier point, le comportement du recourant face aux victimes, qu'il persiste à présenter comme des menteuses ou des aliénées. On comprend ainsi que même si le recourant a pu concevoir qu'il était préférable pour lui, dans la perspective de l'enquête en cours, de s'abstenir de tout nouveau comportement répréhensible dans le domaine sexuel, il n'en manifestait pas pour autant une véritable prise de conscience de la gravité de ses actes et de leurs effets sur les victimes. Cette appréciation n'est pas critiquable.
4.5. Le recourant objecte aussi que son comportement à l'égard des victimes ne signerait pas une "absence particulière de scrupules", mais procéderait du simple exercice d'un juste moyen de défense. Il perd de vue qu'il a lui-même admis avoir commis certains actes et que la seule discussion des déclarations des victimes ne justifiait, à elle seule, de les taxer ni de menteuses, ni d'aliénées. De surcroît, il ne ressort pas du jugement entrepris que le recourant aurait exprimé des regrets ou des excuses aux victimes, ne serait-ce que pour les actes dont il a fait l'aveu. Dans ces conditions, le constat d'une absence de véritable prise de conscience n'apparaît pas critiquable, ce qui, en l'absence d'élément d'un certain poids en faveur d'une prise de conscience suffisait à renverser la présomption légale de pronostic favorable. Le grief est infondé.
5.
Le recourant ne conteste pas en tant que telle l'allocation d'indemnités pour tort moral à A.A._ et à B.A._, mais uniquement comme une conséquence de son acquittement. Ce moyen est dès lors irrecevable.
6.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité. Comme il était d'emblée dénué de chances de succès, l'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 31 janvier 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely