Faits :
A.
Par jugement du 21 novembre 2014, le Tribunal correctionnel de Lausanne a reconnu X._ coupable d'actes d'ordre sexuel commis en commun sur une personne incapable de discernement ou de résistance et l'a condamné à une peine privative de liberté de douze mois, assortie d'un sursis de trois ans.
Statuant le 17 juin 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et confirmé le jugement précité.
Les faits retenus par la cour cantonale sont les suivants. A Lausanne, dans la nuit du 12 au 13 juin 2009, X._ ainsi que quatre comparses se sont rendus chez A._, dans le but d'entretenir une relation sexuelle en commun avec elle. Les prévenus ont tous d'emblée constaté que A._ avait bu de l'alcool et se trouvait déjà sous l'influence de cette substance. Tous les protagonistes ont ensuite consommé de la bière, respectivement de la vodka, alors qu'ils se trouvaient dans la cuisine et que A._ consultait son ordinateur, surfant sur internet. Deux prévenus lui ont caressé le corps, notamment son sexe. Celle-ci leur a demandé d'arrêter. Après un moment, l'un des comparses l'a prise par la main et la conduite dans la chambre à coucher; les autres ont suivi. Ils ont entretenu des rapports sexuels avec A._. X._ a assisté à tous les actes commis par les autres; à un moment donné, il a caressé le visage et la poitrine de A._ et s'est couché à côté d'elle en la prenant dans ses bras et en lui touchant la poitrine. Durant tous ces événements, des attouchements et autres actes d'ordre sexuel ont également été commis sur A._, qui ne réagissait pas et ne disait rien.
B.
Agissant par la voie du recours en matière pénale au Tribunal fédéral, X._ conclut à son acquittement et à l'octroi d'une indemnité pour tort moral de 10'000 fr., avec intérêts à 5 % dès le 18 juin 2009, à charge de l'Etat de Vaud. Subsidiairement, il conclut à l'annulation du jugement du 17 juin 2015 en ce qui le concerne, le dossier étant retourné à l'autorité cantonale pour nouvelles instruction et décision dans le sens des considérants. Il requiert en outre l'assistance judiciaire.

Considérant en droit :
1.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation des droits de la défense. Il fait valoir qu'il n'a été entendu qu'une seule fois le 19 juin 2009, sans l'assistance d'un interprète. Il invoque les art. 6 par. 3 CEDH, 32 al. 2 Cst., 29 al. 2 Cst-VD et 189 al. 2 CPP/VD.
1.1. L'art. 32 al. 2 Cst. prévoit que toute personne accusée a le droit d'être informée, dans les plus brefs délais et de manière détaillée, des accusations portées contre elle; elle doit être mise en état de faire valoir les droits de la défense. Les art. 29 al. 2 Cst. et 6 par. 3 let. e CEDH garantissent au prévenu le droit d'obtenir gratuitement la traduction de toutes les pièces et déclarations qu'il lui faut comprendre pour assurer efficacement sa défense et bénéficier d'un procès équitable. L'étendue de l'assistance qu'il convient d'accorder à un prévenu dont la langue maternelle n'est pas celle de la procédure doit être appréciée non pas de manière abstraite, mais en fonction des besoins effectifs du prévenu et des circonstances concrètes du cas (arrêt 6B_190/2008 du 20 mai 2008 consid. 3.1; cf. arrêt 5A_639/2014 du 8 septembre 2015 consid. 4.2 et les arrêts cités).
L'art. 29 al. 2 Cst-VD, en vertu duquel toute personne accusée a le droit d'être informée, dans le plus bref délai et de manière détaillée, dans une langue qu'elle comprend, des accusations portées contre elle et des droits qui lui appartiennent, n'a pas de portée plus étendue que les dispositions précitées. Il en est de même de l'art. 189 CPP/VD, en vigueur au début de la présente procédure, dont le recourant ne prétend d'ailleurs pas qu'il aurait été appliqué arbitrairement. C'est donc à la lumière des principes dégagés par la jurisprudence relative aux art. 29 al. 2 Cst. et 6 par. 3 CEDH que sera examinée la violation des droits de la défense invoquée par le recourant.
1.2. En l'espèce, il ressort du dossier cantonal que le recourant a été entendu à deux reprises le 19 juin 2009, à savoir par la police puis par le juge d'instruction, sans être assisté d'un interprète. Dans le procès-verbal de la police, il apparaît qu'il a répondu de manière claire et détaillée aux questions posées, que ce soit sur sa situation personnelle ou sur le déroulement de la soirée du 12 au 13 juin 2009. A la dernière question de l'inspecteur de police "Nous venons de vous relire votre audition en langue française; avez-vous une modification ou une adjonction à apporter ?", le recourant a répondu "Non et j'ai tout compris". Le procès-verbal de l'audition devant le juge d'instruction laisse également percevoir que le recourant s'exprime suffisamment bien en français et qu'il a compris la nature des actes qui lui étaient reprochés. Il confirme les déclarations faites précédemment à la police et rien n'indique qu'il aurait eu de la difficulté à s'exprimer ou à saisir le sens des questions posées. En fin d'audition, il déclare prendre note qu'il a été inculpé de contrainte sexuelle et viol, subsidiairement d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance. Au cours de l'audience du 17 novembre 2014 devant le tribunal correctionnel, le recourant a été entendu par l'intermédiaire d'un interprète; lorsque le juge lui a résumé, à plusieurs reprises, les déclarations qu'il avait faites devant la police, il les a confirmées. Aux débats d'appel, il a confirmé ses déclarations faites durant l'enquête et devant le tribunal correctionnel.
Aucun indice ne laisse supposer que le recourant n'a pas été en mesure, pour une question de langue, d'assumer correctement sa défense depuis le début de l'instruction. Du reste, si tel avait été le cas, il aurait dû, selon le principe de la bonne foi, en faire état avant la clôture des débats de première instance. Quoi qu'il en soit, la cour cantonale n'a pas violé les art. 29 al. 2 Cst. et 6 par. 3 CEDH en retenant que l'instruction n'avait souffert aucune carence du fait que le recourant n'avait été entendu qu'une seule fois le 19 juin 2009, sans l'assistance d'un interprète, dès lors que ses déclarations lui avaient été rappelées aux débats de première instance et qu'il les avait confirmées pour l'essentiel. Mal fondé, ce premier grief doit être rejeté.
2.
Le recourant se plaint d'une constatation inexacte des faits. Il estime que les juges cantonaux se sont appuyés sur des moyens de preuve obtenus illicitement, en violation des droits de la défense, et qu'ils n'ont d'autre part pas accordé suffisamment d'importance à la situation psychologique de la plaignante au moment des faits.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266). En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat.
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_563/2014 du 10 juillet 2015 consid. 1.1 et l'arrêt cité).
2.2. Le recourant allègue en vain que les déclarations qu'il a faites durant l'enquête seraient inexploitables puisqu'obtenues de façon irrégulière (cf. consid. 1.2 ci-dessus). C'est dès lors sans arbitraire que les juges cantonaux ont retenu à sa charge, sur la base de ses propres déclarations du 19 juin 2009, qu'il avait assisté à tous les actes commis par les autres et qu'à un moment donné, il avait caressé le visage et la poitrine de la victime et s'était couché à côté d'elle en la prenant dans ses bras et en lui touchant la poitrine.
2.3. Le recourant taxe ensuite d'arbitraire l'appréciation des juges cantonaux quant à la capacité de discernement de la victime. Pour retenir que cette dernière était dans un état d'inconscience lors des faits, la cour cantonale s'est fondée sur les éléments suivants : les échanges de sms entre la victime et l'un des prévenus, le 13 juin 2009, démontraient qu'elle ne savait pas ce qui s'était passé le soir en question en raison de son état; par ailleurs, les versions des prévenus au sujet de l'état de la victime au moment des actes présentaient des contradictions manifestes, tendant plutôt à montrer une version arrangée selon laquelle la victime aurait été active, alors que l'un des prévenus avait reconnu que tel n'était pas le cas. Même si l'on ne savait pas comment la victime avait été rendue inconsciente, que ce soit par les effets de l'alcool, d'un autre produit ou d'une autre cause, il était établi que les prévenus avaient profité sexuellement de cet état, certaines déclarations comme "elle n'a pas réagi" ou "elle n'a pas dit non" le démontrant également.
Le recourant critique le lien établi par la cour cantonale entre l'état d'inconscience de la victime au moment de l'acte et l'amnésie qui s'en est suivie; il n'était pas scientifiquement prouvé qu'une amnésie allait systématiquement de pair avec un état d'inconscience. Ainsi, une consommation importante d'alcool pouvait influer sur la mémoire d'une personne sans pour autant la priver totalement de sa capacité de discernement. La cour cantonale n'avait pas non plus donné une importance suffisante au fait que la partie plaignante souffrait d'un trouble de la personnalité borderline. Or, une personne souffrant d'une telle pathologie faisait souvent preuve de comportements impulsifs; ces observations jetaient un trouble sur les circonstances entourant les événements litigieux. Les juges cantonaux s'étaient fondés, de façon quasi systématique, sur des indices postérieurs aux événements, lesquels ne permettaient pas de savoir quel était l'état d'esprit de la victime, ainsi que sa capacité de discernement, au moment des faits; ils auraient dû s'appuyer uniquement sur les déclarations des prévenus.
Ce faisant, le recourant se contente de discuter l'appréciation de la cour cantonale et d'exposer sa propre interprétation des faits, sans démontrer en quoi le jugement attaqué serait arbitraire sur ce point. Ses critiques, de nature purement appellatoire, ne sont pas recevables. Quoi qu'il en soit, les arguments qui ont emporté la conviction des juges cantonaux et le résultat auquel ils ont abouti sont pertinents. En particulier, les déclarations des prévenus n'apparaissent pas crédibles et la victime a établi de façon convaincante qu'elle était dans un état d'inconscience au moment des faits.
3.
Le recourant conteste ensuite la réalisation des éléments constitutifs de l'art. 191 CP. Aux termes de cette disposition, celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni de la réclusion pour dix ans au plus ou d'une peine pécuniaire.
3.1. Tout d'abord, le recourant nie avoir commis des actes d'ordre sexuel sur la personne de la plaignante. Son argumentation repose sur un état de fait différent de celui qui ressort du jugement attaqué et est dès lors irrecevable. Sur la base des constatations de fait qui lient le Tribunal fédéral (cf. consid. 2.1 et 2.2 ci-dessus), le recourant a caressé le visage et la poitrine de la victime, l'a prise dans ses bras et lui a touché la poitrine, se rendant coupable des actes réprimés à l'art. 191 CP.
En alléguant que la victime disposait de sa capacité de discernement, le recourant s'éloigne également des faits constatés souverainement par la cour cantonale (cf. consid. 2.3 ci-dessus); sa critique est dès lors irrecevable.
3.2. Le recourant soutient enfin qu'en toute hypothèse, il n'était pas en mesure de s'apercevoir de l'incapacité de la victime. L'élément constitutif subjectif de l'infraction ferait par conséquent défaut.
Sur le plan subjectif, l'art. 191 CP définit une infraction intentionnelle. La formule "sachant que" signifie que l'auteur a connaissance de l'incapacité de discernement ou de résistance de la victime. Il appartient par conséquent au juge d'examiner avec soin si l'auteur avait vraiment conscience de l'état d'incapacité de la victime. Le dol éventuel suffit. Agit donc intentionnellement celui qui s'accommode de l'éventualité que la victime ne puisse pas être, en raison de son état physique ou psychique, en situation de s'opposer à une sollicitation d'ordre sexuel, mais lui fait subir malgré tout un acte d'ordre sexuel (arrêt 6B_60/2015 du 25 janvier 2016 consid. 1.2.1 et les références).
Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève de la constatation de faits (<ref-ruling> consid. 6.3 p. 375), qui lie le Tribunal fédéral (art. 105 al. 1 LTF), à moins qu'elle n'ait été faite de façon manifestement inexacte, à savoir arbitraire (art. 9 Cst.; <ref-ruling> consid. 6.3 p. 375).
En l'espèce, il importe peu de savoir quelles étaient les causes de l'incapacité de la victime, dès lors qu'il est établi que celle-ci était dans un état d'inconscience. Le recourant plaide donc sans succès que l'éventuelle incapacité de la plaignante provenait des troubles de la personnalité borderline dont elle souffrait, et que ces troubles ne sont pas aisément décelables. La cour cantonale a exposé que, comme la victime était apparue vaseuse et n'avait pas réagi lors des actes d'ordre sexuel perpétrés en commun, le recourant ne pouvait que se rendre compte de son état d'incapacité totale. Le recourant ne formule aucune critique recevable à cet égard. Sur la base des faits retenus sans arbitraire par la cour cantonale, l'élément subjectif est réalisé.
3.3. Il résulte de ce qui précède que la cour cantonale n'a pas violé le droit fédéral en reconnaissant le recourant coupable d'actes d'ordre sexuel commis en commun sur une personne incapable de résistance au sens des art. 191 et 200 CP.
4.
Le recours doit être rejeté dans la mesure de sa recevabilité. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (art. 64 al. 1 LTF). Le recourant supporte les frais de la cause, qui seront réduits pour tenir compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 19 avril 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod