Faits : A. Par jugement du 21 novembre 2014, le Tribunal correctionnel de Lausanne a reconnu X._ coupable d'actes d'ordre sexuel commis en commun sur une personne incapable de discernement ou de résistance et l'a condamné à une peine privative de liberté de douze mois, assortie d'un sursis de trois ans. Statuant le 17 juin 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et confirmé le jugement précité. Les faits retenus par la cour cantonale sont les suivants. A Lausanne, dans la nuit du 12 au 13 juin 2009, X._ ainsi que quatre comparses se sont rendus chez A._, dans le but d'entretenir une relation sexuelle en commun avec elle. Les prévenus ont tous d'emblée constaté que A._ avait bu de l'alcool et se trouvait déjà sous l'influence de cette substance. Tous les protagonistes ont ensuite consommé de la bière, respectivement de la vodka, alors qu'ils se trouvaient dans la cuisine et que A._ consultait son ordinateur, surfant sur internet. Deux prévenus lui ont caressé le corps, notamment son sexe. Celle-ci leur a demandé d'arrêter. Après un moment, l'un des comparses l'a prise par la main et la conduite dans la chambre à coucher; les autres ont suivi. Ils ont entretenu des rapports sexuels avec A._. X._ a assisté à tous les actes commis par les autres; à un moment donné, il a caressé le visage et la poitrine de A._ et s'est couché à côté d'elle en la prenant dans ses bras et en lui touchant la poitrine. Durant tous ces événements, des attouchements et autres actes d'ordre sexuel ont également été commis sur A._, qui ne réagissait pas et ne disait rien. B. Agissant par la voie du recours en matière pénale au Tribunal fédéral, X._ conclut à son acquittement et à l'octroi d'une indemnité pour tort moral de 10'000 fr., avec intérêts à 5 % dès le 18 juin 2009, à charge de l'Etat de Vaud. Subsidiairement, il conclut à l'annulation du jugement du 17 juin 2015 en ce qui le concerne, le dossier étant retourné à l'autorité cantonale pour nouvelles instruction et décision dans le sens des considérants. Il requiert en outre l'assistance judiciaire.