Faits :
A.
Par jugement du 13 mai 2019, le Tribunal correctionnel de l'arrondissement de La Broye et du Nord vaudois a notamment reconnu A._ coupable de tentative de contrainte sexuelle, d'encouragement à la prostitution, de délit et de crime contre la LStup et l'a condamné à une peine privative de liberté de 4 ans, sous déduction de la détention subie avant jugement.
B.
Statuant sur appel de A._ et appel joint du ministère public par jugement du 25 octobre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté le premier et admis le second portant sur la peine. Elle a condamné A._ à une peine privative de liberté de 5 ans, sous déduction de la détention avant jugement.
En substance, le jugement cantonal repose sur les faits suivants.
B.a.
B.a.a. A la fin du mois d'octobre 2010, alors qu'elle vivait en Roumanie, B._ a été approchée par une voisine, nommée D._, qui lui a fait miroiter un travail honorable en Suisse. Ayant accepté la proposition, elle a été mise en contact avec le couple composé de A._ (alias « E._ ») et de F._ (alias « G._ », déférée séparément) qui étaient respectivement l'ex-mari et une cousine éloignée de D._. Sur les indications de ces deux personnes, B._ s'est rendue le 27 ou le 28 octobre 2010 à Turin où elle les a rejointes. Elle a aussitôt été prise en charge par ces dernières et acheminée en Suisse.
Jusqu'au début du mois de décembre 2010, A._ et F._ ont employé B._ à des travaux ménagers dans l'appartement qu'ils occupaient à H._. En contrepartie, ils lui ont acheté quelques vêtements et ont payé les frais relatifs à son entretien, la rendant ainsi redevable.
Du 7 décembre 2010 au 19 février 2011, A._ et F._ ont contraint B._, par des menaces de sévices et de mort dirigées contre elle et sa famille pour le cas où elle n'obéirait pas, à se prostituer dans un salon de massages érotiques à I._. Tout en surveillant ses activités et en l'accompagnant lors de ses trajets à l'extérieur, A._ et F._ ont exigé d'elle qu'elle leur remette la moitié de ses gains, déduction faite de la somme qu'elle devait verser à l'exploitant sur chaque passe. B._ s'est ainsi fait soutirer quelques 6'000 fr. au total.
Dans la journée du samedi 19 février 2011, le couple s'est montré particulièrement agressif envers B._, car celle-ci avait rompu le silence en s'ouvrant à d'autres prostituées au sujet de ce qu'elle vivait. Pour mettre un terme à son calvaire, la victime, après s'être rendue en début de soirée à son travail accompagnée de F._, a immédiatement pris la fuite en empruntant une sortie située à l'arrière du bâtiment, abandonnant au passage son sac et ses vêtements.
Depuis lors et jusqu'au 22 février 2011, dans le but de contraindre B._ à reprendre contact avec eux, à la faire taire ou à l'effrayer, A._ et F._ lui ont envoyé sur son téléphone cellulaire de nombreux messages contenant des insultes et des menaces dirigées contre elle et sa famille restée au pays. Les messages, rédigés en roumain, contenaient notamment les propos suivants: « Tu as fait une grande erreur, que ma nièce soit morte si je ne te mets dans une chaise roulante quand je te chope, ordure. Fais bien attention que je ne te trouve pas, criminelle »; « Toi, ordure, quelle merde manges-tu, car tu n'avais pas quoi manger ? Je baiserai ta mère, pute criminelle, je mets la main sur toi, ordure »; « Je te baiserai dans la bouche, ordure criminelle, tu ne réponds pas, je baiserai ta mère et ton enfant handicapé, je te casse toutes les dents de la bouche, pute, quand je mets la main sur toi. De nouveau tu manges de la merde en Roumanie ? »; « Ordure, tu avais la compassion pour moi c'est ainsi que tu t'es vantée ? Je te brûle toi et ta mère. Tu n'as pas pensé que si je mets la main sur toi je te mutile ? ».
B._ a porté plainte le 21 février 2011.
B.a.b. Par jugement par défaut du 20 juillet 2017, le Tribunal correctionnel de la Broye et du Nord vaudois a condamné F._ notamment pour injure, menaces, contrainte et encouragement à la prostitution au préjudice de B._.
B.b. Le 22 mai 2012 vers 22h00, C._ s'est rendue au domicile de son voisin J._ pour y rencontrer A._, qui logeait alors à cet endroit. Au cours de la soirée, ce dernier a profité du fait que C._ s'est momentanément absentée pour mettre dans son verre de bière une pastille de méthamphétamine dans le but de la rendre incapable de résistance et d'obtenir un rapport sexuel avec elle, à tout le moins de se livrer à des attouchements sur sa personne.
Après qu'elle a consommé cette drogue à son insu, C._ s'est sentie euphorique, puis a eu chaud, a connu une chute de pression et a eu mal à la tête. Bien qu'elle ait bu et mangé passablement de chocolat, elle est demeurée nauséeuse et dans un état second. A._ lui a alors proposé un massage pour la détendre, ce qu'elle a accepté. Il s'est ainsi mis à la masser par dessus les vêtements, sauf au niveau des reins où il l'a touchée à même la peau. Comme C._ a constaté que la respiration de A._ s'accélérait et s'intensifiait au fur et à mesure du massage, elle a réalisé quelle était sa véritable intention et a mis un terme à la scène en dépit de l'insistance de l'auteur, qui voulait qu'elle reste. Vu son état, elle est rentrée chez elle. Elle a ensuite envoyé des SMS à A._, lui demandant ce qu'il avait mis dans sa bière, en faisant allusion à ses pupilles dilatées, mais l'intéressé a nié avoir mal agi.
Le lendemain vers 20h30, A._ a envoyé des SMS à C._ par lesquels il la « remerciait » de ce qu'elle était en train de faire et la mettait en garde par rapport à qui elle pourrait vouloir se confier au sujet de cette « histoire ». Il a précisé se trouver en Italie, avant d'écrire « mais quand je reviens ????? ». Il a tenté à cinq reprises de l'appeler au cours de la même soirée, en vain. Le même jour, des résultats d'analyses médicales ont révélé la présence de méthamphétamine dans le corps de C._.
B.c. En 2007 et en 2011, A._ s'est livré à un trafic international de cocaïne et d'héroïne, lui procurant au moins 20'000 euros en date du 5 mai 2011.
B.d. A._ a été condamné en Macédoine le 19 février 2013 à une peine privative de liberté de 5 ans et demi pour avoir transporté plus de 14 kg de marijuana. L'intéressé a purgé sa peine à la prison de Skopje dès le 11 janvier 2013. Au terme de sa peine, il a été extradé en Suisse, étant précisé qu'il a renoncé au principe de spécialité.
Son casier judiciaire suisse comporte une condamnation, prononcée le 11 janvier 2013 par le ministère public de l'arrondissement de l'Est vaudois, pour vol d'usage d'un véhicule automobile, vol, dommages à la propriété, violation de domicile, tentative de vol d'usage d'un véhicule automobile, à une peine pécuniaire de 180 jours-amende à 30 fr. le jour, avec sursis pendant 2 ans.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est reconnu coupable de crime contre la LStup, qu'il est libéré de tout autre chef d'accusation, qu'il est condamné à une peine privative de liberté ferme de 15 mois (sous déduction de la détention déjà subie), qu'il est immédiatement relaxé, que toutes les prétentions civiles de C._ et de B._ sont rejetées et que différentes indemnités lui sont versées (au titre de l'art. 429 al. 1 let. a et c CPP). Il sollicite en outre le bénéfice de l'assistance judiciaire et l'octroi de l'effet suspensif.

Considérant en droit :
1.
Le recourant conteste les faits qui lui sont imputés en lien avec C._ et B._. Il conteste toute coactivité dans l'encouragement à la prostitution (<ref-law>). Il reproche à la cour cantonale d'avoir fait preuve d'arbitraire dans l'établissement des faits et l'appréciation des preuves et invoque la violation du principe in dubio pro reo.
1.1.
1.1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire. La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large. En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève du contenu de la pensée, à savoir de faits " internes " qui, en tant que tels, lient le Tribunal fédéral (cf. <ref-law>), à moins qu'ils aient été retenus de manière arbitraire (cf. <ref-ruling> consid. 6.3 p. 375).
1.1.2. Selon l'<ref-law>, est puni d'une peine privative de liberté de 10 ans au plus ou d'une peine pécuniaire, quiconque pousse autrui à se prostituer en profitant d'un rapport de dépendance ou dans le but d'en tirer un avantage patrimonial (cf. ancien <ref-law>). Est un coauteur celui qui collabore, intentionnellement et de manière déterminante, avec d'autres personnes à la décision de commettre une infraction, à son organisation ou à son exécution, au point d'apparaître comme l'un des participants principaux. Il faut que, d'après les circonstances du cas concret, la contribution du coauteur apparaisse essentielle à l'exécution de l'infraction. La seule volonté quant à l'acte ne suffit pas. Il n'est toutefois pas nécessaire que le coauteur ait effectivement participé à l'exécution de l'acte ou qu'il ait pu l'influencer. La coactivité suppose une décision commune, qui ne doit cependant pas obligatoirement être expresse, mais peut aussi résulter d'actes concluants, le dol éventuel quant au résultat étant suffisant. Il n'est pas nécessaire que le coauteur participe à la conception du projet, auquel il peut adhérer ultérieurement. Il n'est pas non plus nécessaire que l'acte soit prémédité; le coauteur peut s'y associer en cours d'exécution. Ce qui est déterminant, c'est que le coauteur se soit associé à la décision dont est issue l'infraction ou à la réalisation de cette dernière, dans des conditions ou dans une mesure qui le font apparaître comme un participant non pas secondaire, mais principal. La jurisprudence exige même que le coauteur ait une certaine maîtrise des opérations et que son rôle soit plus ou moins indispensable (<ref-ruling> consid. 2.3.1 p. 155; <ref-ruling> consid. 9.2.1 p. 66; arrêt 6B_209/2018 du 23 novembre 2018 consid. 2.1.2, non publié in <ref-ruling>).
Selon l'<ref-law>, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Il n'est toutefois pas nécessaire que l'auteur recoure à la violence ou à la menace; la mise hors d'état de résister vise à englober les cas où l'auteur, pour parvenir à ses fins, rend la victime inconsciente, par exemple en lui administrant des somnifères ou de la drogue, ce qui le dispense de violences ou de menaces pour agir sans le consentement de sa victime (<ref-ruling> consid. 2b p. 100).
Il y a tentative (<ref-law>) lorsque l'auteur a réalisé tous les éléments subjectifs de l'infraction et manifesté sa décision de la commettre, alors que les éléments objectifs font, en tout ou en partie, défaut (<ref-ruling> consid. 3.4 p. 152). Le seuil de la tentative est franchi lorsque l'auteur a pris la décision de commettre l'infraction et qu'il a traduit cette intention par un acte. L'auteur doit avoir au moins commencé l'exécution de l'infraction. L'existence d'une tentative doit être constatée du point de vue objectif, mais se fonder sur des critères d'appréciation subjectifs (<ref-ruling> consid. 3.4 p. 152; <ref-ruling> consid. 7.2.1 p. 103 s.). D'après la jurisprudence, il y a commencement d'exécution dès que l'auteur accomplit un acte qui représente, dans son esprit, la démarche ultime et décisive vers la réalisation de l'infraction, celle après laquelle il n'y aura en principe plus de retour en arrière, sauf apparition ou découverte de circonstances extérieures compliquant trop ou rendant impossible la poursuite de l'entreprise (ATF <ref-ruling> consid. 7.2.1 p. 104; arrêt 6B_157/2017 du 25 octobre 2017 consid. 3.1).
1.2.
1.2.1. En l'espèce, s'agissant des actes d'encouragement à la prostitution, la cour cantonale a retenu la version des faits de B._, laquelle avait, en audience d'appel, paru parfaitement crédible dans ses explications, qui étaient claires, pondérées et dont il ne ressortait aucune exagération. Faisant sienne l'appréciation des premiers juges, la cour cantonale a relevé que leur intime conviction était fondée sur les circonstances du dévoilement des faits, la victime s'étant rendue spontanément à la police, bouleversée, alors même que son statut en Suisse aurait pu l'exposer à des inconvénients. Plusieurs détails dans son récit s'étaient révélés exacts et la victime paraissait parfaitement crédible. Selon le jugement par défaut du 20 juillet 2017 condamnant l'ex-compagne du recourant, il ne faisait aucun doute que les auteurs des SMS, à savoir F._ et A._, étaient les personnes à l'origine de la venue et du travail en Suisse de la victime.
La cour cantonale a écarté la version des faits du recourant, selon laquelle seule son ex-compagne était impliquée, sous prétexte notamment qu'il n'aurait pas pu écrire des messages en roumain en raison de son origine albanaise. D'une part, les SMS avaient été envoyés depuis un téléphone dont il est établi qu'il l'utilisait pour son trafic de stupéfiants (écoutes téléphoniques) et l'essentiel des messages émanaient d'un auteur mâle au vu notamment des actes sexuels qu'il entendait faire subir à la victime ou à ses proches en les « baisant » en divers endroit du corps ou en la « déchirant ». D'autre part, le recourant, qui avait vécu en Roumanie, communiquait avec sa concubine dans cette langue et pouvait utiliser une application effectuant ou corrigeant la traduction en roumain, de sorte qu'il était à même de rédiger les messages en question. En outre, le recourant ne pouvait rien déduire en sa faveur du fait que la plainte de la victime était dirigée contre « inconnus », dès lors qu'à ce stade, l'identité d'état civil des deux auteurs désignés par la victime comme « G._ » et « E._ » n'était pas encore clarifiée. Au demeurant, l'implication des deux membres du couple était évidente dès la première audition de la victime, selon laquelle, les deux l'avaient incitée à se prostituer en proférant des menaces.
1.2.2. Le recourant conteste toute coactivité dans les actes commis au préjudice de B._ et impute l'ensemble des faits à son ex-compagne exclusivement. Son argumentation consiste, pour l'essentiel à une libre discussion des faits retenus par la cour cantonale, sans démontrer en quoi leur établissement serait arbitraire. Ce procédé, purement appellatoire, est irrecevable. Il en va notamment ainsi lorsqu'il conteste être l'auteur des SMS litigieux, en ignorant complètement la motivation cantonale sur ce point et en réaffirmant notamment qu'il est de langue maternelle albanaise ou lorsqu'il se livre à une interprétation personnelle des déclarations de son ex-compagne ainsi que de certains passages du jugement par défaut du 20 juillet 2017 la concernant, dont il ressort expressément que les faits ont été commis par les deux membres du couple. Le recourant est irrecevable à sélectionner certaines déclarations de la victime, les sortir de leur contexte et tenter d'en déduire que cette dernière ne l'aurait pas directement et nommément mis en cause. Il ressort expressément de la plainte que la victime l'a personnellement mis en cause (sous le surnom « E._ »), dès sa première audition, en précisant que les deux membres du couple l'avaient acheminée à H._ et l'avaient tous deux incitée à se prostituer en proférant des menaces au sujet de sa famille.
En tant que le recourant se borne à constater que les anciennes collègues de la victime n'ont pas été entendues en cours d'enquête, il ne tente pas de démontrer la pertinence d'une telle audition et ne formule aucune critique contre le jugement cantonal sur ce point. Insuffisamment motivé, son grief est irrecevable. Il n'y a pas davantage lieu d'entrer en matière sur la simple affirmation selon laquelle les premiers juges se seraient basés sur un acte d'accusation « des plus sélectif et lacunaire ».
Par ailleurs, l'on ne voit pas ce que le recourant entend déduire en sa faveur de l'<ref-law>, qui prévoit l'obligation des autorités pénales de dénoncer les infractions constatées dans l'exercice de leurs fonctions, alors-même qu'il a fait l'objet d'une procédure pénale ouverte à la suite de la plainte déposée par la victime le 21 février 2011, à savoir bien avant le jugement par défaut de 2017.
Enfin, le principe de l'unité de la procédure (<ref-law>) n'est d'aucune utilité au recourant, dans la mesure où l'<ref-law> prévoit expressément des exceptions à ce principe à certaines conditions objectives dont il n'est pas contesté qu'elles sont réunies en l'espèce (cf. <ref-ruling> consid. 3.2 p. 31).
1.3.
1.3.1. S'agissant des actes commis le 22 mai 2012, concernant C._, la cour cantonale a fait sienne l'appréciation des premiers juges, selon lesquels la victime avait paru sincère lors de son audition aux débats et avait témoigné avec émotion, ce qui renforçait sa crédibilité. Ses explications étaient cohérentes, constantes, comportaient des détails précis et n'étaient contredites par aucun élément objectif du dossier. La victime s'était également confiée à son colocataire sur ce qui lui était arrivé à l'époque des faits. A l'inverse, les explications invraisemblables fournies par le recourant sur les motivations de la victime, qui sont allées en exagérant au fur et à mesure de l'avancement de la procédure, ne convainquaient absolument pas. Il pouvait facilement avoir accès ou disposer de méthamphétamine, du fait qu'il était impliqué dans un trafic de stupéfiants. Les faits étaient confirmés par la détection médicale de la drogue dans le corps de la victime, la plainte immédiate de cette dernière et ses confidences à son colocataire de l'époque. Les affirmations du recourant selon lesquelles la victime aurait inventé les faits pour se venger de lui en raison d'un conflit de locataires dans l'immeuble étaient grotesques, le colocataire n'ayant pas confirmé ce prétexte fumeux, au demeurant incompatible avec la précision du récit, sa crédibilité et les inconvénients psychiques qu'aurait entraîné une dénonciation calomnieuse impliquant de se droguer au préalable. En outre, rien ne confirmait l'affirmation gratuite du recourant selon laquelle la drogue médicalement détectée proviendrait d'une consommation volontaire de la victime, le dossier ne comportant aucun indice de toxicomanie, même occasionnelle ou à l'essai.
L'intention sexuelle du recourant ressortait de l'objectif visé lors de l'administration occulte de la drogue, du massage aux épaules ayant dérivé aux reins de la victime à même la peau, de la respiration lourde et excitée du recourant, du rapprochement des bassins qu'il a initié, des tentatives de retenir la victime dans ses bras tout en lui offrant son lit et de son geste consistant à jouer avec le piercing ornant la lèvre de la victime comme s'il voulait l'embrasser.
1.3.2. Le recourant conteste les faits qui lui sont reprochés en lien avec C._, en se livrant à nouveau à une présentation personnelle de ceux-ci et à une libre interprétation des déclarations et comportements de la victime. Un tel procédé, purement appellatoire, est irrecevable. C'est le cas notamment lorsqu'il prétend que l'attitude de la victime consistant à ne consulter un centre LAVI que six ans après les faits « laisse songeur », sans critiquer d'aucune manière la motivation cantonale relevant la pertinence des explications fournies par la victime sur ce point (reprise de l'instruction et extradition du recourant en 2018, réminiscences au moment de la réception des convocations, etc.). Il en va de même de l'appréciation personnelle que fait le recourant de certaines déclarations ou attitudes de la victime, pour en déduire une inconstance du récit de cette dernière (notamment ses habitudes lorsqu'elle prend son verre aux toilettes), une dénonciation calomnieuse par mesure de rétorsion (car il aurait obtenu un appartement par copinage) ou pour mettre en cause le motif et le déroulement de leur rencontre. En tant que le recourant suggère que la victime aurait consommé de la méthamphétamine de son propre chef, il se contente à nouveau d'apporter sa propre vision des événements, sans tenter de démontrer l'arbitraire dans l'établissement des faits et l'appréciation des preuves de la cour cantonale. Il ne saurait davantage déduire de ses propres affirmations un défaut d'intention de sa part, étant rappelé que le contenu de la pensée relève des faits (cf. supra consid. 1.1.1).
C'est en vain que le recourant insiste sur le fait qu'il n'a ni menacé ni étranglé ni fait de mal à la victime, dès lors que de tels comportements ne lui sont pas reprochés.
1.4. Pour le reste, le recourant ne développe aucun grief répondant aux exigences de motivation de l'<ref-law> concernant une éventuelle violation des <ref-law> (en lien avec l'<ref-law>) et 195 CP.
2.
Le recourant conteste sa peine et invoque une violation des art. 47 et 48 let. e CP.
2.1. Aux termes de l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2). Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2 p. 319).
A teneur de l'art. 48 let. e CP, le juge atténue la peine si l'intérêt à punir a sensiblement diminué en raison du temps écoulé depuis l'infraction et que le prévenu s'est bien comporté dans l'intervalle. L'atténuation de la peine en raison du temps écoulé procède du même principe que la prescription. Le temps écoulé amenuise la nécessité de punir et il doit être pris en considération aussi lorsque la prescription n'est pas encore acquise, si l'infraction est ancienne et que le délinquant s'est bien comporté dans l'intervalle. Cela suppose qu'un temps relativement long se soit écoulé depuis le jour de l'infraction jusqu'à celui où les faits sont définitivement constatés, c'est-à-dire, en règle générale, jusqu'au jugement d'appel. Cette condition temporelle est en tout cas accomplie lorsque les deux tiers du délai de prescription de l'action pénale se sont écoulés; selon la nature et la gravité de l'infraction, le juge peut cependant aussi tenir compte d'une durée moins importante (<ref-ruling> consid. 3.1 p. 147).
L'<ref-law> régit le concours d'infractions.
2.2. La cour cantonale a, à l'instar des premiers juges, retenu en substance une culpabilité très lourde, la variété des biens juridiques lésés, le mobile égoïste de satisfaction sexuelle et d'appât du gain, le mépris des autres, la détestable exploitation par contrainte d'une femme réduite à la prostitution, l'enracinement dans la délinquance avant et après les faits à juger, ainsi que les tentatives de reporter la faute sur les autres.
La cour cantonale a considéré que, même adoucie par la relative ancienneté des faits, la culpabilité induite par la série d'infractions graves à la LStup imposait de fixer une peine privative de liberté de base de l'ordre de 3 ans. L'entreprise d'esclavage sexuel particulièrement odieuse justifiait une aggravation de la peine de base de l'ordre de 20 mois. Enfin, la cour cantonale a retenu que le recourant avait fait preuve d'une perversité particulière en droguant une jeune voisine pour tenter d'abuser d'elle, étant relevé que seules la vigilance et la volonté de la victime lui avaient permis d'échapper à la réalisation des abus sexuels. Tenant compte notamment de la tentative et de l'écoulement du temps la cour cantonale a limité le « supplément de sanction » pour ces faits à 4 mois de peine privative de liberté. Une peine pécuniaire n'était pas concevable pour des motifs de prévention spéciale, les infractions commises démontraient que le recourant considérait les autres comme des objets à exploiter, en particulier les femmes.
En définitive, c'est une peine privative de liberté globale de 5 ans qui a été prononcée.
2.3. On ne voit pas ce que le recourant entend déduire du fait qu'il a été incarcéré depuis 2013 en Macédoine et n'aurait pas pu bénéficier de la libération conditionnelle en 2015 en raison de la présente affaire. Faute d'être dirigé contre la décision cantonale en cause, son grief est irrecevable (<ref-law>).
Le recourant ne saurait se prévaloir de l'interdiction de la reformatio in pejus dans la mesure où l'augmentation de la peine fixée en première instance par la cour cantonale résulte de l'admission de l'appel formé sur ce point par le ministère public (cf. art. 391 al. 2, 1ère phrase, CPP).
Le recourant s'écarte de manière inadmissible des faits retenus par la cour cantonale qui lient le Tribunal fédéral (<ref-law>), en tant qu'il affirme avoir « pris conscience de ses erreurs », qu'il « les regrette amèrement depuis sept ans de détention » et qu'il souligne sa « bonne collaboration (...) avec les autorités pénales » tout en relevant qu'il « n'entend pas récidiver ». De telles affirmations entrent au demeurant en contradiction manifeste avec le reste de l'argumentation du recourant, lequel nie encore à ce stade avoir commis des infractions au préjudice des victimes d'encouragement à la prostitution et de tentative de contrainte sexuelle. Le rapport du directeur de la prison où il est incarcéré ne saurait servir d'appui à ses prétendus regrets et prise de conscience.
Contrairement à ce que prétend le recourant, la cour cantonale a tenu compte de la relative ancienneté des faits et leur a attribué une portée atténuante. C'est sans violer le droit fédéral que la cour cantonale n'a pas atténué la peine en vertu de l'art. 48 let. e CP, les deux tiers du délai de prescription des crimes (10 ans) n'étant pas acquis et le recourant - condamné le 19 février 2013 à une peine de 5 ans et demi en Macédoine pour trafic de stupéfiants - ne s'étant pas bien comporté dans l'intervalle. Au demeurant, l'on ne saurait considérer que la nature et la gravité des infractions en cause supposeraient qu'il soit tenu compte, en l'espèce, d'une durée moins importante que les deux tiers du délai de prescription.
En définitive, le recourant n'invoque aucun élément important propre à modifier la peine, qui aurait été omis ou pris en considération à tort par la cour cantonale. Au regard des circonstances, la peine infligée n'apparaît pas sévère au point de constituer un abus du pouvoir d'appréciation.
3.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dépourvu de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>). Les intimées, qui n'ont pas été invitées à se déterminer, ne sauraient prétendre à des dépens (<ref-law>). Enfin, la cause étant tranchée, la demande d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 7 avril 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke