Faits : A. Par jugement du 27 mars 2019, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné A._ à une peine privative de liberté de quatre ans, sous déduction de 145 jours de détention provisoire et de 191 jours de détention en exécution anticipée de peine, ainsi qu'à une amende de 150 fr., convertible en deux jours de peine privative de liberté de substitution, pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance commis en commun, infraction et contravention à la LStup et séjour illégal. Il a ordonné l'expulsion de A._ du territoire suisse pour une durée de 10 ans. Il a également dit que A._, D._, E._ et F._ étaient les débiteurs, solidairement entre eux, d'un montant de 7'500 fr. à titre d'indemnité pour tort moral en faveur de B.B._ et de C.B._ et d'un montant de 6'500 fr. à titre d'indemnité au sens de l'art. 433 CPP en faveur de C.B._. B. Par jugement du 2 septembre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de A._ à l'encontre de la décision de première instance, qu'elle a ainsi confirmée dans son intégralité. Les faits retenus sont en substance les suivants. Le 9 mars 2018, vers 19h10, A._ et D._ ont rencontré G.B._, qu'ils ne connaissaient pas, devant le centre de l'Etablissement vaudois d'accueil des migrants (EVAM) de H._. Cette dernière avait à la main une bouteille d'alcool fort, qu'elle buvait au goulot. Ils se sont rendus ensemble au bord du lac, à proximité de la Buvette I._, à côté du bâtiment de J._, notamment pour y fumer du cannabis. G.B._, qui a dû être soutenue pour se déplacer à cet endroit, se trouvait sous l'emprise de l'alcool et de médicaments. A l'endroit précité, profitant des quelques minutes durant lesquelles D._ s'était éloigné, A._ a embrassé G.B._ et l'a caressée sur la poitrine. Peu après, alors que A._ s'était à son tour éloigné, D._ a entretenu une relation sexuelle complète avec G.B._, la pénétrant analement et vaginalement. Vers 19h30, A._ a contacté E._ et lui a demandé de les rejoindre pour leur apporter de la marijuana, précisant qu'il aurait l'occasion d'entretenir une relation sexuelle avec une femme. E._ et K._ ont donc rejoint les autres protagonistes sur les lieux et E._ a remis un joint de marijuana à D._. E._ a également entretenu une relation sexuelle complète avec G.B._, la pénétrant vaginalement et analement. A 21h09, probablement durant cette relation sexuelle, A._ a également contacté F._, afin de lui demander de les rejoindre et d'apporter de la cocaïne. Il lui a indiqué qu'en échange de cette drogue, il pourrait avoir une relation sexuelle avec G.B._. F._ a par conséquent rejoint le groupe et a remis une boulette de cocaïne à A._. Peu après, F._ a, à son tour, entretenu des rapports sexuels anaux et vaginaux avec G.B._. Aux alentours de 22h00, une dispute a éclaté entre A._, E._ et K._, ensuite de laquelle les seconds nommés ont quitté les lieux. Peu après, A._ est également parti pour aller consommer la cocaïne qu'il avait reçue. A un moment indéterminé, F._ et D._ ont quitté les lieux, laissant G.B._ seule aux abords immédiats du lac. D._ et F._ sont revenus une dizaine de minutes plus tard. Ils ont retrouvé les deux sacs de G.B._, déposés sur le sol, et F._ en a profité pour dérober le téléphone portable de cette dernière. Le 10 mars 2018, à 7h24, le corps sans vie de G.B._ a été découvert flottant dans le lac, à H._. Les analyses ont révélé une concentration d'alcool dans le sang de la défunte de 1,87 g/kg et de 2,07 g/kg dans l'urine, une concentration d'alprazolam (Xanax, soit un sédatif) dans la fourchette thérapeutique, ainsi qu'une concentration de paroxétine (Deroxat, soit un antidépresseur), située au-dessus de la fourchette thérapeutique, dans la fourchette des valeurs toxiques. C. A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à sa libération de l'infraction d'actes d'ordre sexuel commis sur une personne incapable de discernement au sens de l'art. 191 CP, commis en commun au sens de l'art. 200 CP, à ce que seule une peine pécuniaire modeste et assortie du sursis lui soit infligée pour infraction à la LEI, et à l'allocation d'une indemnité de 50'000 fr. au sens de l'art. 429 CPP. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il requiert le bénéfice de l'assistance judiciaire.