Faits :
A.
Par jugement du 27 mars 2019, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné A._ à une peine privative de liberté de quatre ans, sous déduction de 145 jours de détention provisoire et de 191 jours de détention en exécution anticipée de peine, ainsi qu'à une amende de 150 fr., convertible en deux jours de peine privative de liberté de substitution, pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance commis en commun, infraction et contravention à la LStup et séjour illégal. Il a ordonné l'expulsion de A._ du territoire suisse pour une durée de 10 ans. Il a également dit que A._, D._, E._ et F._ étaient les débiteurs, solidairement entre eux, d'un montant de 7'500 fr. à titre d'indemnité pour tort moral en faveur de B.B._ et de C.B._ et d'un montant de 6'500 fr. à titre d'indemnité au sens de l'<ref-law> en faveur de C.B._.
B.
Par jugement du 2 septembre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de A._ à l'encontre de la décision de première instance, qu'elle a ainsi confirmée dans son intégralité.
Les faits retenus sont en substance les suivants.
Le 9 mars 2018, vers 19h10, A._ et D._ ont rencontré G.B._, qu'ils ne connaissaient pas, devant le centre de l'Etablissement vaudois d'accueil des migrants (EVAM) de H._. Cette dernière avait à la main une bouteille d'alcool fort, qu'elle buvait au goulot. Ils se sont rendus ensemble au bord du lac, à proximité de la Buvette I._, à côté du bâtiment de J._, notamment pour y fumer du cannabis. G.B._, qui a dû être soutenue pour se déplacer à cet endroit, se trouvait sous l'emprise de l'alcool et de médicaments.
A l'endroit précité, profitant des quelques minutes durant lesquelles D._ s'était éloigné, A._ a embrassé G.B._ et l'a caressée sur la poitrine. Peu après, alors que A._ s'était à son tour éloigné, D._ a entretenu une relation sexuelle complète avec G.B._, la pénétrant analement et vaginalement.
Vers 19h30, A._ a contacté E._ et lui a demandé de les rejoindre pour leur apporter de la marijuana, précisant qu'il aurait l'occasion d'entretenir une relation sexuelle avec une femme. E._ et K._ ont donc rejoint les autres protagonistes sur les lieux et E._ a remis un joint de marijuana à D._. E._ a également entretenu une relation sexuelle complète avec G.B._, la pénétrant vaginalement et analement.
A 21h09, probablement durant cette relation sexuelle, A._ a également contacté F._, afin de lui demander de les rejoindre et d'apporter de la cocaïne. Il lui a indiqué qu'en échange de cette drogue, il pourrait avoir une relation sexuelle avec G.B._. F._ a par conséquent rejoint le groupe et a remis une boulette de cocaïne à A._. Peu après, F._ a, à son tour, entretenu des rapports sexuels anaux et vaginaux avec G.B._.
Aux alentours de 22h00, une dispute a éclaté entre A._, E._ et K._, ensuite de laquelle les seconds nommés ont quitté les lieux. Peu après, A._ est également parti pour aller consommer la cocaïne qu'il avait reçue. A un moment indéterminé, F._ et D._ ont quitté les lieux, laissant G.B._ seule aux abords immédiats du lac. D._ et F._ sont revenus une dizaine de minutes plus tard. Ils ont retrouvé les deux sacs de G.B._, déposés sur le sol, et F._ en a profité pour dérober le téléphone portable de cette dernière.
Le 10 mars 2018, à 7h24, le corps sans vie de G.B._ a été découvert flottant dans le lac, à H._. Les analyses ont révélé une concentration d'alcool dans le sang de la défunte de 1,87 g/kg et de 2,07 g/kg dans l'urine, une concentration d'alprazolam (Xanax, soit un sédatif) dans la fourchette thérapeutique, ainsi qu'une concentration de paroxétine (Deroxat, soit un antidépresseur), située au-dessus de la fourchette thérapeutique, dans la fourchette des valeurs toxiques.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à sa libération de l'infraction d'actes d'ordre sexuel commis sur une personne incapable de discernement au sens de l'<ref-law>, commis en commun au sens de l'<ref-law>, à ce que seule une peine pécuniaire modeste et assortie du sursis lui soit infligée pour infraction à la LEI, et à l'allocation d'une indemnité de 50'000 fr. au sens de l'<ref-law>. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Se plaignant d'une appréciation anticipée arbitraire des moyens de preuve, le recourant fait grief à la cour cantonale d'avoir refusé de requérir une expertise portant sur la capacité de discernement de G.B._.
1.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1 p. 72; <ref-ruling> consid. 2.3 p. 222; <ref-ruling> consid. 6.3.1 p. 229 et les références citées). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236).
Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Le droit d'être entendu, consacré par l'<ref-law>, garantit aux parties le droit de déposer des propositions relatives aux moyens de preuves (al. 1 let. e). Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_1074/2019 du 14 novembre 2019 consid. 2.1; 6B_999/2019 du 6 novembre 2019 consid. 2.2).
Selon l'<ref-law>, le ministère public et les tribunaux ont recours à un ou plusieurs experts lorsqu'ils ne disposent pas des connaissances et des capacités nécessaires pour constater ou juger un état de fait.
1.2. La victime est considérée comme incapable de discernement au sens de l'<ref-law> lorsqu'au moment de l'acte elle n'est pas capable de se déterminer en toute connaissance de cause et de comprendre le sens et la portée des relations sexuelles. Dès lors que l'incapacité de discernement est une notion relative, il appartient au juge de déterminer concrètement si la victime était ou non capable de se défendre et de consentir (<ref-ruling> consid. 2c p. 198; arrêt 6B_727/2019 du 27 septembre 2019 consid. 1.1). Quoi qu'en dise le recourant, l'évaluation de cette incapacité, en particulier lorsqu'elle découle non d'un handicap mental mais d'une intoxication passagère, n'impose pas nécessairement de recourir à une expertise. Selon les cas, le juge peut ainsi conclure à une incapacité de consentir valablement à des actes d'ordre sexuel sur la base de ses propres constatations de fait (cf. par ex. les arrêts 6B_ 586/2019 du 3 juillet 2019 consid. 1.4; 6B_578/2018 du 20 mars 2019 consid. 2.3.2; 6B_996/2017 du 7 mars 2018 consid. 2; 6B_17/2016 du 18 juillet 2017 consid. 1.4.2; 6B_60/2015 du 25 janvier 2016 consid. 1.1).
1.3. Le recourant n'expose pas en quoi l'expertise sollicitée serait susceptible de fournir de plus amples renseignements sur l'altération de l'état de conscience de la victime, étant souligné qu'il ressort déjà de l'expertise toxicologique réalisée post mortem que la concentration d'alcool présentée par la victime correspondait au stade de la confusion avec notamment des troubles neurosensoriels, une apathie, une nette incoordination motrice, une exacerbation des réactions émotionnelles et le début d'une confusion mentale. Les experts avaient en outre précisé que les effets pouvaient être exacerbés par la prise concomitante de substances ayant une action dépressive du système nerveux central, également retrouvées dans le corps de la victime.
En tous les cas, les résultats de l'expertise toxicologique donnaient une première indication sur son état peu avant son décès, même si la cour cantonale a reconnu que la symptomatologie clinique liée à la consommation d'alcool pouvait varier en fonction des susceptibilités individuelles. A cela s'ajoutent les images de vidéosurveillance sur lesquelles apparaît la victime peu avant de rencontrer le recourant, ainsi que les déclarations du témoin qui a croisé sa route. Les indications données par les prévenus et les témoins sur ce point, relevées de manière détaillée par la cour cantonale, renseignent également sur son état physique altéré (cf. consid. 2.2-2.3 infra). Contrairement à ce que soutient le recourant, il était pertinent de relever les effets physiques de l'intoxication de la victime afin de déterminer son éventuelle incapacité de discernement au sens de l'<ref-law>. Enfin, la cour cantonale pouvait s'appuyer sur les constatations de fait, non contestées, selon lesquelles la jeune femme présentait une symptomatologie dépressive ainsi que des troubles mentaux et du comportement liés à l'utilisation d'alcool, et qu'elle était en outre fortement déprimée ce jour-là. La cour cantonale disposait ainsi de multiples éléments, émanant de diverses sources, qui lui permettaient d'évaluer l'incapacité de la victime. C'est en conséquence sans arbitraire qu'elle a jugé que la mise en oeuvre de l'expertise requise n'était pas utile.
2.
Le recourant se plaint d'une appréciation arbitraire des preuves et d'une constatation manifestement inexacte des faits conduisant à retenir que la victime était incapable de discernement.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
2.2. En substance, la cour cantonale a constaté que G.B._ présentait déjà des signes d'intoxication vers 17h00 - 18h00, heure à laquelle un témoin l'avait vue monter dans un bus et avait pu constater qu'elle ne " marchait pas droit ". Des images de la vidéosurveillance d'un commerce voisin de son domicile où elle avait fait un achat à 19h06 révélaient que G.B._ se trouvait alors dans un état physique très inquiétant: la victime ne marche visiblement pas droit, semble chercher son équilibre, penche en avant et se révèle incapable de faire un geste aussi simple que celui de compter sa monnaie, au point que le vendeur doit finalement le faire lui-même. Aussi la cour cantonale a-t-elle retenu que G.B._ était déjà lourdement intoxiquée lorsqu'elle a rencontré D._ et le recourant.
Ces derniers avaient du reste eux-mêmes confirmé l'état lamentable de la victime à l'occasion de leurs différentes auditions. D._ avait en effet déclaré qu'il avait d'emblée constaté que cette dernière avait beaucoup bu d'alcool et qu'elle avait une bouteille, vraisemblablement de whisky mais en tous les cas d'alcool fort, qu'elle buvait, qu'elle titubait et qu'ils avaient dû la soutenir. Il a encore précisé que G.B._ était " bourrée ", qu'elle n'était pas consciente de ce qui se passait et qu'à un moment donné, elle était tombée par terre, qu'il avait essayé de la remettre sur ses pieds sans toutefois y parvenir tellement elle était " bourrée ". Le recourant avait lui aussi reconnu que G.B._ était " complètement bourrée ", qu'elle avait sorti devant lui des bouteilles de rhum qu'elle avait dans son sac, qu'elle n'arrivait pas marcher droit, qu'elle était vraiment saoule, ne tenait pas bien debout et titubait tellement qu'il devait parfois la tenir pour l'asseoir. Lors de son audition par le procureur, il a encore confirmé qu'elle était complètement saoule, qu'elle devait probablement avoir aussi pris des médicaments ainsi que du shit et qu'il voyait qu'elle avait de la peine à marcher.
K._, présent lors d'une partie des faits, avait également déclaré que le soir en question, la victime était très ivre, qu'elle avait l'air d'être " au bout de sa vie " et " hyper droguée ", qu'elle titubait en étant à deux doigts de tomber et qu'elle avait même chuté à une reprise. Il résultait enfin des déclarations de E._ que la victime ne tenait plus sur ses jambes, qu'il avait dû demander de l'aide pour parvenir à la faire asseoir et qu'il avait le pressentiment qu'elle allait mourir quand il devait l'aider à se lever et à s'asseoir. Ajoutés à cela les résultats de l'expertise toxicologique, la cour cantonale en a conclu que la victime présentait un état d'intoxication sévère.
2.3. Le recourant soutient que la cour cantonale a sélectionné les déclarations exposées ci-dessus sans aucune justification quant à leur crédibilité, mais à la seule condition qu'elles aillent dans le sens de l'accusation. Il met en exergue des déclarations de D._, F._ et les siennes propres à teneur desquelles G.B._ avait certes bu mais n'était pas complètement saoule. Il fait également grief à l'autorité précédente d'avoir occulté les déclarations indiquant que G.B._ avait elle-même sollicité les attouchements et les relations sexuelles et s'était déshabillée seule.
En outre, le recourant reproche à la cour cantonale d'avoir retenu que F._ avait eu des relations sexuelles avec G.B._ à même le sol " dans la mesure où elle ne tenait plus debout " (arrêt attaqué, En fait, 2.11 p. 22), alors que cette affirmation ne reposait sur aucun élément du dossier. Il demande également à ce que l'état de fait soit modifié en ce sens qu'il est vraisemblable ou possible que la victime ait ingéré l'antidépresseur Deroxat après son départ et celui de ses coprévenus, la cour cantonale ayant retenu le contraire sans fondement suffisant.
2.3.1. Le recourant oppose les déclarations qui vont dans son sens à celles mises en exergue par la cour cantonale, sans toutefois démontrer en quoi les premières devraient prévaloir sur les secondes et ainsi conduire à la modification de l'issue de la cause. En cela, il est douteux que son argumentation soit recevable (cf. <ref-law>).
Au demeurant, il convient d'observer que les mis en cause ont longtemps cherché à minimiser leur implication. Ils ont tout d'abord nié connaître la victime, puis affirmé n'avoir eu aucune relation de nature sexuelle avec elle, avant d'admettre, confrontés notamment aux preuves ADN, que tel avait été le cas. Leurs déclarations ont ainsi été loin d'être constantes, ce qui fut également le cas en ce qui concerne l'état de la victime. Ainsi par exemple, lorsque le recourant cite D._ déclarant que la victime était dans un état normal, il ne reprend pas l'intégralité des propos protocolés, à savoir: " Elle était dans un état normal. Vous me demandez si je suis sûr de cela. En fait, elle était un peu éméchée. Vous me rappelez mes précédentes déclarations dans lesquelles j'avais dit qu'elle titubait et que nous avions dû la soutenir. Oui c'est vrai et à tour de rôle, elle embrassait l'un ou l'autre de nous trois " (PV aud. 16 R 14 p. 5). De même le recourant cite-t-il F._ selon lequel " elle était normale ", sans préciser que celui-ci se limitait alors à évoquer une femme qu'il prétendait avoir vue en compagnie d'autres personnes du centre EVAM et à qui il s'était contenté de dire bonjour avant de passer son chemin (PV aud. 13 R 10 p. 3).
En définitive, la cour cantonale pouvait constater que E._, D._ et le recourant ont tous trois admis, et ce à plusieurs reprises, que la victime était fortement alcoolisée et/ou droguée et qu'elle avait des difficultés pour marcher, se tenir debout ou même s'asseoir. Replacées dans leur contexte, les déclarations mises en exergue par le recourant à teneur desquelles la victime n'était pas (ou seulement peu) saoule doivent être relativisées, ce d'autant plus qu'elles sont contredites par d'autres moyens de preuve (images de vidéosurveillance, témoignages, expertise toxicologique). Elles ne sauraient ainsi suffire à rendre les constatations cantonales insoutenables.
2.3.2. De même, les déclarations des mis en cause selon lesquelles G.B._ sollicitait activement des relations sexuelles doivent être considérées avec caution, dès lors que ceux-ci avaient tout intérêt à reporter la faute sur la victime, qui n'était plus là pour donner sa version des faits. On relève encore que sur son profil du site de rencontre L._, G.B._ ne se décrivait pas comme " sexually open " ainsi que le recourant le prétend, mais " sexually open minded ", soit " ouverte d'esprit sexuellement ", la signification n'étant pas la même. L'autorité précédente n'a, quoi qu'il en soit, pas exclu que la victime ait pu se montrer entreprenante, mais elle a considéré que cela ne faisait pas obstacle à la constatation de son incapacité de discernement. Il en sera question ci-après (consid. 3 infra).
2.3.3. Il ressort du procès-verbal d'audition de D._ que la victime était par terre lors du rapport sexuel avec F._, précisant: " Elle ne disait rien. Peut-être qu'elle était trop bourrée. Elle voulait peut-être se reposer par terre " (PV aud. 25 R 13 p. 7). Ces déclarations tendent ainsi à suggérer que le rapport sexuel a eu lieu au sol en raison de l'état de la victime, ainsi que l'a retenu la cour cantonale. Cette question n'est cependant pas décisive, comme on le verra ci-après. De même, on comprend de la motivation cantonale que le moment auquel la victime a ingéré le Deroxat n'est pas déterminant dans son appréciation de la capacité de discernement de G.B._ (" Quoi qu'il en soit, il est de toute manière établi que [...] ", cf. consid. 3.2 3ème par. p. 28).
Ainsi, même en l'absence de certitude sur les points relevés ci-dessus, la cour cantonale pouvait s'appuyer sur de nombreux moyens de preuve pour établir les faits relatifs à l'état de la victime. Ainsi, les images de vidéosurveillance révèlent les difficultés physiques de la victime avant même qu'elle ne rencontre les prévenus et ne continue à boire de l'alcool et fumer du cannabis en leur compagnie. La concentration d'alcool retrouvée dans son corps après son décès (1,87 g/kg dans le sang et de 2,07 g/kg dans l'urine) confirme son intoxication, l'expertise toxicologique précisant que ces taux correspondent au stade de la confusion avec notamment des troubles neurosensoriels, une apathie, une nette incoordination motrice, une exacerbation des réactions émotionnelles et le début d'une confusion mentale. A cela, il faut ajouter les déclarations des témoins (en particulier celles, constantes, de K._) et des prévenus indiquant que la victime se trouvait dans un état physique fortement altéré (cf. consid. 2.2 et 2.3.1 supra). L'ensemble des éléments exposés ci-dessus forment un faisceau d'indices, sur lesquels la cour cantonale pouvait se fonder, pour conclure que G.B._ présentait un état d'intoxication sévère au moment des faits incriminés.
En définitive, le recourant échoue à démontrer en quoi l'appréciation des preuves serait insoutenable. Son moyen doit être rejeté dans la mesure où il est recevable.
3.
Le recourant soutient que la cour cantonale a violé l'<ref-law> en retenant que la recourante était incapable de discernement ou de résistance au sens de cette disposition.
3.1. Aux termes de l'<ref-law>, celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Selon la jurisprudence, est incapable de résistance la personne qui n'est pas apte à s'opposer à des contacts sexuels non désirés. Cette disposition protège les personnes qui ne sont pas en mesure de former, exprimer ou exercer efficacement une volonté de s'opposer à des atteintes sexuelles. L'incapacité de résistance peut être durable ou momentanée, chronique ou due aux circonstances. Elle peut être la conséquence d'un état mental gravement anormal, d'une sévère intoxication due à l'alcool ou à la drogue, ou encore d'entraves matérielles. Il faut cependant que la victime soit totalement incapable de se défendre. Si l'inaptitude n'est que partielle - par exemple en raison d'un état d'ivresse - la victime n'est pas incapable de résistance (<ref-ruling> consid. 7.2 p. 56 et les références citées; arrêt 6B_238/2019 du 16 avril 2019 consid. 2.1). L'exigence jurisprudentielle d'une incapacité de résistance ou de discernement " totale " ne recouvre pas exclusivement des états de perte de conscience complète mais délimite les situations visées par l'<ref-law> de celles dans lesquelles, par exemple en raison de l'alcoolisation de la victime, celle-ci est simplement désinhibée (Herabsetzung der Hemmschwelle; <ref-ruling> consid. 7.2 p. 56; <ref-ruling> consid. 3a p. 232; arrêts 6B_586/2019 du 3 juillet 2019 consid. 1.4.1; 6B_60/2015 du 25 janvier 2016 consid. 1.1.3). Une incapacité de résistance peut être retenue lorsqu'une personne, sous l'effet de l'alcool et de fatigue ne peut pas ou que faiblement s'opposer aux actes entrepris (cf. arrêts 6B_586/2019 précité consid. 1.4.1; 6B_232/2016 du 21 décembre 2016 consid. 2.2).
Il s'agit donc de déterminer si, en raison de son état, la victime était ou non en mesure de s'opposer à un acte, soit si elle était ou non apte à en percevoir le caractère attentatoire à son intégrité sexuelle et, dans l'affirmative, si son état lui permettait de s'y opposer (arrêt 6B_60/2015 du 25 janvier 2016 consid. 1.1.3). Est incapable de discernement celui qui n'est plus en mesure d'évaluer la véritable signification et la portée de son comportement, respectivement qui n'est pas conscient de ce qu'il fait et par conséquent, ne peut pas décider si et avec qui il souhaite un contact sexuel (cf. Philipp Maier, Basler Kommentar, Strafgesetzbuch, 3ème éd. 2013, n° 5 ad <ref-law>). Selon le Message, l'incapacité de discernement de l'<ref-law> exclut tout consentement valable à l'acte d'ordre sexuel et toute responsabilité à cet égard (Message du 25 juin 1985 concernant la modification du code pénal et du code pénal militaire relative aux infractions contre la vie, l'intégrité corporelle, les moeurs et la famille, FF 1985 II 1021 ss, p. 1093; voir également l'arrêt 6S.359/2002 du 7 août 2013 consid. 4.2 et les références citées, qui retient : " So ist der Tatbestand der Schändung namentlich nicht erfüllt, wenn der Partner vorgängig in den Sexualkontakt eingewilligt hat. Das vor dem Eintritt der Widerstands- oder Urteilsunfähigkeit erklä rte Einverständnis schliesst den Tatbestand aus. "). Il s'ensuit que si la personne a consenti aux actes lorsqu'elle était en mesure de le faire, par exemple avant d'être incapable de discernement, l'infraction ne s'applique pas. En revanche, une fois qu'elle est en état d'incapacité, elle n'est plus en mesure de se déterminer librement. Partant, son comportement importe peu, soit qu'elle ait pris des initiatives, soit qu'elle ne se soit simplement pas opposée aux actes. Il suffit alors que l'auteur se soit aperçu de l'incapacité et l'ait exploitée.
3.2. De l'avis du recourant, les constatations cantonales ne permettaient pas de conclure à une incapacité de discernement. Le jugement attaqué ne retenait pas que la prénommée aurait été inerte, apathique ou délirante. Elle avait au contraire interagi avec les prévenus pendant près de trois heures et s'était montrée entreprenante. Ainsi, tout portait à croire que G.B._ était simplement désinhibée par sa consommation d'alcool, sans que cela ne signifie qu'elle n'était plus en mesure de consentir valablement aux relations sexuelles entretenues avec les prévenus.
3.3. Selon les faits établis souverainement par la cour cantonale (cf. <ref-law>), la victime était suivie par un psychiatre et présentait une symptomatologie dépressive ainsi que des troubles mentaux et du comportement liés à l'utilisation d'alcool et à des difficultés dans les rapports avec son partenaire. Elle était en outre fortement déprimée le soir en question car elle venait de s'être fait éconduire par son ancien compagnon, ce qu'elle avait d'ailleurs exprimé devant le recourant. Sa tristesse et son désarroi étaient manifestes. Elle a rencontré le recourant et son camarade alors qu'elle était déjà dans un état physique passablement altéré, ceux-ci ayant dû la soutenir pour l'emmener au bord du lac avec eux alors qu'elle buvait une bouteille d'alcool fort au goulot. Elle a continué de s'intoxiquer en leur compagnie, à tel point qu'elle avait besoin d'aide pour se lever et s'asseoir. Elle s'est ainsi retrouvée en présence de deux hommes, puis de quatre et finalement de cinq, qu'elle ne connaissait pas et qui ne parlaient pas tous français, alors que pour leur part, les prévenus se connaissaient et parlaient la même langue. Très rapidement, les deux premiers hommes se sont, chacun à leur tour, livrés à des actes de nature sexuelle avec elle (ils se sont rencontrés à 19h10 devant le centre EVAM et à 19h30 le recourant était déjà en train d'appeler E._ pour lui proposer de les rejoindre). Si le recourant n'a pas pratiqué l'acte sexuel, D._ l'a pénétrée vaginalement et analement. Constatant son absence de résistance, le recourant a téléphoné successivement à deux de ses contacts pour leur " offrir " la victime en échange de drogue. Chacun à leur tour, ces deux hommes sont venus avec la drogue promise puis ont entretenu des rapports sexuels vaginaux et anaux avec G.B._. Lorsqu'ils ont eu fini, ils l'ont laissée seule à cet endroit, sous l'effet de l'alcool cumulé à celui du cannabis (si ce n'est celui des médicaments), deux d'entre eux profitant encore de lui voler son téléphone portable laissé sur place. Bien qu'on ignore de quelle manière les choses se sont déroulées, il n'en faut pas moins constater que quelques heures au plus après le départ du recourant et de ses camarades, la victime est morte noyée dans le lac, soit que son état physique ait contribué à entraîner un accident mortel, soit qu'elle fut déprimée au point de se suicider.
Sur la base des éléments qui précèdent, la cour cantonale pouvait considérer que même si la victime s'était montrée entreprenante à un moment ou à un autre, elle n'était en réalité plus consciente de la portée de ses actes ni en mesure de décider si et avec qui elle souhaitait un contact sexuel (cf. consid. 3.1 supra). C'est ainsi sans violer le droit fédéral qu'elle a conclu à l'incapacité de discernement ou de résistance de la victime, très déprimée et lourdement intoxiquée, face aux sollicitations sexuelles de quatre hommes qu'elle ne connaissait pas et qui se sont servi d'elle comme d'un simple objet sexuel.
4.
Le recourant affirme qu'il ne pouvait imaginer, considérant le comportement entreprenant de la victime, que les relations sexuelles entretenues par celle-ci avec D._, E._, F._ et lui-même n'étaient pas consenties dans un état de capacité totale de discernement.
4.1. Sur le plan subjectif, l'<ref-law> requiert l'intention, étant précisé que le dol éventuel suffit (arrêts 6B_578/2018 du 20 mars 2019 consid. 2.1; 6B_128/2012 du 21 juin 2012 consid. 1.6.1). Agit intentionnellement celui qui s'accommode de l'éventualité que la victime ne puisse pas être, en raison de son état physique ou psychique, en situation de s'opposer à une sollicitation d'ordre sexuel, mais lui fait subir malgré tout un acte d'ordre sexuel (arrêts 6B_727/2019 précité consid. 1.1; 6B_69/2018 du 11 juin 2018 consid. 4.1; 6B_128/2012 du 21 juin 2012 consid. 1.6.1). Il n'y a pas d'infraction si l'auteur est convaincu, à tort, que la personne est capable de discernement ou de résistance au moment de l'acte (arrêts 6B_727/2019 précité consid. 1.1; 6B_578/2018 précité consid. 2.1; 6B_996/2017 du 7 mars 2018 consid. 1.1). Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève des constatations de fait (<ref-ruling> consid. 12 p. 152; <ref-ruling> consid. 6.3 p. 375).
4.2. L'argumentation du recourant est appellatoire, partant irrecevable, en tant qu'il se limite essentiellement à affirmer qu'il ne pouvait se douter de l'état de la victime au vu de son comportement. Pour le surplus, selon les constatations cantonales dénuées d'arbitraire (cf. consid. 2 et 3 supra), les personnes présentes ont pu observer que la victime était très ivre et déprimée. Ce nonobstant, le recourant a pratiqué des attouchements sur elle à peine a-t-il croisé son chemin. Puis il l'a " remise " à ses camarades qui se sont livrés à tour de rôle à des pénétrations vaginales et anales. La totale soumission de la victime à ces actes devait éveiller des doutes quant à sa capacité de consentir valablement. Ajoutés à ses considérables difficultés d'ordre physique et à sa consommation d'alcool et de drogue en présence des prévenus, le doute n'était plus guère possible.
La cour cantonale pouvait ainsi conclure que le recourant s'était à tout le moins accommodé de l'éventualité que la victime ne puisse pas être en situation de s'opposer à une sollicitation d'ordre sexuel.
Sur le vu de ce qui précède, les griefs élevés à l'encontre de l'application de l'<ref-law> sont infondés, dans la mesure de leur recevabilité.
5.
Le recourant s'en prend à l'application de la circonstance aggravante de l'infraction commise en commun.
5.1. Le recourant discute tout d'abord les faits à l'issue desquels la cour cantonale a considéré que les actes d'ordre sexuels avaient été commis en commun. Il affirme qu'il n'a pas encouragé ses coprévenus à avoir des relations sexuelles avec la victime.
La cour cantonale a constaté que le recourant admettait avoir contacté E._ par téléphone pour que celui-ci lui amène de quoi fumer avec la victime. Lors de son audition du 24 août 2018, E._ a confirmé l'existence de cet appel en précisant que le recourant lui avait également dit qu'il pourrait avoir une relation sexuelle avec la victime. E._ était certes revenu sur cette affirmation lors de l'audience de jugement en prétendant qu'il avait menti parce qu'il était stressé par la mort de la victime et qu'il avait dit n'importe quoi. L'audition en cause avait toutefois eu lieu le 24 août 2018, soit six mois après les faits, et en présence de son avocat et d'un interprète, de sorte que l'argument lié au stress n'était tout simplement pas audible. De plus, la cour cantonale ne voyait pas quel intérêt E._ aurait eu à initialement mentir sur ce point particulier. Elle a donc décidé de s'en tenir à ses déclarations du 24 août 2018. Il était en outre établi qu'une fois arrivé sur place, E._ a effectivement entretenu un rapport sexuel avec G.B._.
La cour cantonale ainsi expliqué pourquoi elle privilégiait les premières déclarations de E._ et n'accordait pas foi à son revirement, sans que le recourant ne discute les motifs exposés dans le jugement. En tant qu'il s'écarte de l'appréciation des moyens de preuve de la cour cantonale sans en démontrer l'arbitraire, son grief n'est pas recevable. Pour le surplus, on peut encore relever que les premières déclarations de E._ sont d'autant plus crédibles que selon les explications données par F._, le recourant a procédé de la même manière avec lui, c'est-à-dire qu'il l'a contacté pour lui proposer de le rejoindre et d'entretenir une relation sexuelle avec G.B._ à la condition qu'il apporte de la drogue. Le recourant ne conteste pas, d'ailleurs, avoir fait cette proposition au prénommé. Par ailleurs, K._ a confirmé que le recourant avait évoqué une femme lors de son téléphone avec E._, même s'il n'avait, selon lui, pas parlé " ouvertement " de relations sexuelles. Il n'est pour le reste pas déterminant que ce soit K._, plutôt que le recourant, qui ait donné un préservatif à E._. C'est, partant, sans arbitraire que la cour cantonale a retenu que le recourant avait incité ses coprévenus à commettre des actes de nature sexuelle sur la victime.
5.2. Le recourant soutient que les conditions de l'<ref-law> ne sont pas réalisées.
5.2.1. Selon cette disposition légale, lorsque l'infraction contre l'intégrité sexuelle aura été commise en commun par plusieurs personnes, le juge pourra augmenter la durée de la peine, mais pas au-delà de la moitié en sus du maximum de la peine prévue pour cette infraction. Il sera, en outre, lié par le maximum légal du genre de peine.
L'application de cette disposition n'exige pas que tous les auteurs se trouvent au même moment en présence directe de la victime (Queloz/Illànez, in Commentaire romand, Code pénal II, 2017, n° 11 ad <ref-law>). La circonstance aggravante est réalisée en cas de viols en série à tout le moins lorsque les divers auteurs se trouvent dans le même logement et attendent leur tour. L'aggravation de peine est motivée par l'idée que l'action en commun renforce psychiquement et physiquement les auteurs et rend plus difficile un retour en arrière réciproque ou un renoncement, ce qui les rend particulièrement dangereux (<ref-ruling> consid. 2b p. 202; arrêt 6B_502/2017 du 16 avril 2018 consid. 1.1.3).
Sur le plan subjectif, il n'est pas nécessaire que les auteurs aient eu l'intention de commettre l'infraction en commun. En effet, contrairement aux infractions qualifiées par le fait que l'auteur a agi en qualité d'affilié à une bande (par ex. art. 139 ch. 3 al. 2 ou 140 ch. 3 al. 2 CP), l'<ref-law> permet également de réprimer les cas où la rencontre des auteurs est spontanée ou improvisée, se matérialise en un instant et n'est pas forcément destinée à être réitérée (Michel Dupuis et al., Petit commentaire du Code pénal, 2ème éd. 2017, n° 8 ad <ref-law> et les références citées).
5.2.2. Le recourant affirme n'avoir jamais été directement présent lors des rapports sexuels entre la victime et ses coprévenus. Cette affirmation est contredite à tout le moins par celle de F._, qui a notamment déclaré que c'était le recourant qui avait demandé à la victime de se déshabiller et que les quatre hommes étaient restés à côté de lui pendant le rapport sexuel, à environ deux mètres (cf. PV aud. 27 R 5 p. 3-4). Quoi qu'il en soit, à teneur des constatations cantonales, les prévenus formaient un groupe autour de la victime, chacun prenant son tour pour entretenir des relations sexuelles avec elle sur l'aire I._, à proximité de la table de ping-pong où ils s'étaient rassemblés. Peu importe que selon D._, le recourant se soit momentanément éloigné pendant son rapport. La possibilité d'avoir une relation sexuelle avec G.B._ était d'ailleurs la raison pour laquelle F._ et E._ se sont joints au groupe, sur invitation du recourant, lui-même s'étant préalablement livré à des attouchements. Cela suffit pour conclure que l'infraction a objectivement été commise en commun.
Par ailleurs, compte tenu des éléments qui précèdent, il n'était pas insoutenable d'en déduire une volonté, chez le recourant, de s'associer aux actes commis par ses coprévenus.
5.2.3. En conséquence la cour cantonale n'a pas violé l'<ref-law> en retenant cette circonstance aggravante. Il s'ensuit que la condamnation du recourant du chef d'infraction de l'art. 191 cum 200 CP est conforme au droit fédéral.
6.
Le recourant conteste sa condamnation pour infraction à LStup. La cour cantonale aurait dû retenir qu'il n'avait plus vendu de cannabis depuis sa condamnation pour ce délit à une peine pécuniaire avec sursis le 23 mai 2017.
6.1. La cour cantonale a constaté que lors des débats de première instance, le recourant avait effectivement déclaré qu'il n'avait plus vendu de cannabis depuis sa dernière condamnation pour ce motif le 23 mai 2017. Cependant, à l'occasion de son audition du 24 août 2018, il avait tout d'abord admis qu'il était un consommateur de marijuana. Ensuite, lorsque le procureur lui avait demandé s'il en avait également vendu, il avait reconnu qu'il lui arrivait d'en vendre lorsqu'il avait besoin d'argent, qu'il achetait un bout de shit à 10 fr. et le revendait à 20 fr., sans être en mesure de préciser à combien de reprises il avait ainsi agi (PV aud. 33, lignes 169 ss). A cette occasion, le recourant n'avait en revanche pas précisé qu'il avait cessé de vendre de la marijuana depuis sa dernière condamnation à une peine avec sursis. La cour cantonale d'en conclure que si cette peine avait vraiment eu l'effet dissuasif escompté, le recourant n'aurait pas manqué de le signaler. Il n'y avait donc pas lieu de s'écarter de ses aveux initiaux (jugement entrepris, consid. 5 p. 33-34).
6.2. En tant que le recourant se limite à reprocher à la cour cantonale de ne pas avoir privilégié les propos tenus lors des débats de première instance en vertu du principe de présomption d'innocence, il n'expose pas en quoi l'appréciation qu'a faite l'autorité précédente de l'ensemble de ses déclarations serait insoutenable. Faute de motivation suffisante, ce grief est appellatoire et dès lors irrecevable.
7.
Le recourant discute la peine prononcée à son encontre, par 48 mois de privation de liberté, qu'il juge trop sévère.
7.1. Le recourant est condamné pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance commis en commun, pour infraction et contravention à la LStup et pour séjour illégal. La cour cantonale a jugé que sa culpabilité était particulièrement lourde. Quand bien même il n'avait pas profité de l'incapacité de discernement de G.B._ pour lui faire subir une acte sexuel complet, il avait néanmoins joué un rôle majeur et prépondérant dans le cadre des faits commis au préjudice de cette dernière. A l'instar de D._, il était à l'origine des actes perpétrés sur elle. Par ailleurs, en plus d'avoir usé de la détresse et de l'incapacité de sa victime pour l'embrasser et lui prodiguer des caresses au niveau de la poitrine, il avait, sans scrupule et de manière totalement égoïste, utilisé cette femme comme un simple objet pour l'offrir à E._ et F._ en échange de drogue. Il avait persisté à nier tout acte répréhensible de sa part malgré les évidences et n'avait fait montre d'aucun remord ni d'aucune prise de conscience de la gravité de ses actes. De plus, il y avait lieu de tenir compte de la circonstance aggravante de la commission en commun. Il n'existait par ailleurs aucun élément à décharge.
Au regard de la gravité des faits et compte tenu des éléments de culpabilité susmentionnés, l'autorité précédente a considéré qu'une peine privative de liberté s'imposait pour réprimer l'infraction d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance commis en commun. Pour des motifs de prévention spéciale, une peine privative de liberté s'imposait également pour punir les infractions à la LStup et à la LEI. En effet, le casier judiciaire suisse du recourant comportait déjà des condamnations pour chacune de ces infractions et celles-ci n'avaient manifestement pas eu d'effet dissuasif, de sorte que seul un tel genre de peine était à même de lui faire comprendre qu'il ne pouvait pas continuer à commettre de tels actes.
La cour cantonale a jugé que l'infraction réprimée par l'art. 191 cum 200 CP commandait, à elle seule, le prononcé d'une peine privative de liberté de 3,5 ans, comme pour D._. Compte tenu des trois autres infractions retenues (infraction à la LStup portant sur la période du 23 mai au 5 juillet 2017; infraction à la LEI; infraction à la LStup pour la période du 6 juillet 2017 au 26 avril 2018), la peine devait être portée à 48 mois de privation de liberté.
7.2. Le recourant ne critique pas le mode de fixation de la peine, sous la réserve qu'il considère qu'elle aurait dû être arrêtée à 46 mois. Or, de son argumentation, on comprend qu'il omet que la cour cantonale a tenu compte dans son calcul de l'infraction à la LStup pour la période du 23 mai au 5 juillet 2017.
En tant qu'il se plaint que la cour cantonale n'a pas pris en considération l'état dans lequel il se trouvait lors de la soirée du 9 mars 2018, il s'écarte des faits établis, puisque le jugement ne contient aucune constatation quant à une diminution de ses facultés ce soir-là. Faute de démontrer en quoi une telle omission serait arbitraire, son grief n'est pas recevable.
Le recourant soutient encore qu'une privation de liberté de 3,5 ans est trop lourde pour des attouchements. Or cette peine ne sanctionne pas uniquement le baiser et la caresse sur la poitrine de la victime, mais bien son comportement ayant consisté à exploiter l'état de grande faiblesse d'une personne pour en faire un objet sexuel, allant jusqu'à monnayer son intégrité sexuelle auprès de tiers pour son propre bénéfice.
En définitive, le recourant n'invoque aucun élément important propre à modifier la peine, qui aurait été omis ou pris en considération à tort par la cour cantonale. Au regard des circonstances, la peine infligée n'apparaît pas sévère au point de constituer un abus du pouvoir d'appréciation.
8.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 mars 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy