Faits :
A.
Par jugement du 28 février 2019, le Tribunal criminel de l'arrondissement de Lausanne a notamment reconnu A._ coupable de vol en bande et par métier, tentative de vol en bande et par métier, brigandage, dommages à la propriété, recel, escroquerie d'importance mineure, injure, violation de domicile, viol aggravé, faux dans les titres, violence ou menace contre les autorités et les fonctionnaires, infraction à la LEI (anciennement LEtr) et contravention à la LStup (VI) et l'a condamné à une peine privative de liberté de 9 ans, sous déduction de la détention subie avant jugement, peine partiellement complémentaire à celle prononcée le 25 juillet 2017, ainsi qu'à une amende de 700 francs (VII). Il a révoqué le sursis accordé par le ministère public genevois le 25 juillet 2017 et a ordonné l'exécution de la peine pécuniaire de 30 jours-amende de 10 fr. par jour (VIII). Il a ordonné l'expulsion de A._ du territoire suisse pour une durée de 15 ans (XII).
Par ce même jugement, C._ a été reconnu coupable de vol en bande et par métier, vol d'importance mineure, tentative de vol en bande et par métier, brigandage, violation de domicile, viol aggravé, infraction à la LEI et contravention à la LStup (I). Il a été condamné à une peine privative de liberté de 8 ans, sous déduction de la détention subie avant jugement (II). Son expulsion du territoire suisse a été ordonnée pour une durée de 15 ans (VI).
A._ et C._ ont été reconnus débiteurs solidaires de B._ d'un montant de 1'001 fr. 90 à titre de dommages et intérêts et de 15'000 fr. à titre de réparation de son tort moral (XIII).
B.
Statuant sur appels de A._ et C._, la Cour d'appel pénale du Tribunal cantonal vaudois les a rejetés par jugement du 18 juin 2019. Elle a abandonné, d'office, les chefs de tentatives de vol en bande et par métier, relevant que le métier absorbe la tentative. Soulignant qu'il s'agissait là d'une opération sans incidence sur la sanction, elle a confirmé le jugement de première instance pour le surplus.
En substance, s'agissant des infractions de viol aggravé et de brigandage, la cour cantonale a retenu les faits suivants.
A la gare de Lausanne, le 21 octobre 2017, peu après minuit, B._ revenait d'un événement associatif à Genève et a manqué sa dernière correspondance pour Zurich, de sorte qu'elle a été contrainte d'attendre la première correspondance du lendemain durant plusieurs heures. Elle avait un urgent besoin d'aller aux toilettes et devait lutter pour se maintenir réveillée. Entre 2h02 et 3h16, alors qu'elle attendait sur un banc à la gare, A._ l'a accostée et a tenté de communiquer avec elle et de lui prendre la main, geste qu'elle a repoussé. B._ a demandé de l'aide à un tiers, lequel a enjoint à A._ de ne plus l'importuner. B._ s'est ensuite rendue dans le passage sous-voie à la recherche de WC, lesquels étaient fermés. Alors qu'elle était de retour sur la voie n° 1 en demandant " toilettes, toilettes ", C._ l'a abordée en lui faisant des signes pour lui montrer l'emplacement de toilettes. Entre 03h16 et 03h44, C._, sous prétexte de lui indiquer l'emplacement de commodités, a convaincu B._ de le suivre sur quelques mètres derrière un bloc d'immeubles. A._, qui les avait suivis, s'est placé derrière B._ et l'a immobilisée en la saisissant au niveau du buste alors qu'elle tentait de rebrousser chemin. L'un des deux hommes a alors violemment baissé le pantalon de la prénommée pendant qu'elle était maintenue par l'autre. A un moment donné, B._ a été bâillonnée par la main de l'un des prévenus et poussée contre une voiture. En se plaçant derrière elle, C._ et A._ l'ont pénétrée vaginalement sans préservatif alors qu'elle se débattait en essayant de repousser leur corps avec ses mains qu'elle tenait derrière son dos. Ils ont éjaculé en elle. Après cet acte, l'un des deux hommes a arraché la chaîne en or que B._ portait autour du cou, bijou qu'elle a vainement essayé de retenir, se blessant de la sorte au majeur. Juste après, le second s'est emparé de force du téléphone portable qui se trouvait dans le sac en bandoulière de la victime, qui a vainement tenté de résister.
Selon un constat médical du 6 novembre 2017, B._ présentait, lors de la consultation en hôpital du 22 octobre 2017, une écorchure (érosion) rouge de la muqueuse d'environ 1 cm longeant le canal vaginal ainsi qu'une écorchure cutanée rouge d'environ 0.5 cm de diamètre sur le côté du majeur droit.
C.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, principalement, au renvoi de la cause à la cour cantonale pour instruction complémentaire. Subsidiairement, il conclut à la libération de l'accusation de viol et de brigandage, une peine privative de liberté inférieure à trois ans, assortie du sursis partiel étant prononcée. Plus subsidiairement, il conclut à ce qu'une peine privative de liberté inférieure à cinq ans soit prononcée. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale de s'être fondée sur des images de vidéosurveillance figurant au dossier auxquelles il n'aurait pas été confronté. Il invoque une violation de son droit d'être entendu et du " principe accusatoire ".
1.1. L'<ref-law> consacre la maxime d'accusation. Selon cette disposition, une infraction ne peut faire l'objet d'un jugement que si le ministère public a déposé auprès du tribunal compétent un acte d'accusation dirigé contre une personne déterminée sur la base de faits précisément décrits. En effet, le prévenu doit connaître exactement les faits qui lui sont imputés et les peines et mesures auxquelles il est exposé, afin qu'il puisse s'expliquer et préparer efficacement sa défense (<ref-ruling> consid. 2.2 p. 65; <ref-ruling> consid. 3.4.1 p. 142 s.).
Le principe de l'accusation est également déduit de l'art. 29 al. 2 Cst. (droit d'être entendu), de l'art. 32 al. 2 Cst. (droit d'être informé, dans les plus brefs délais et de manière détaillée, des accusations portées contre soi) et de l'art. 6 par. 3 let. a CEDH (droit d'être informé de la nature et de la cause de l'accusation).
Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de prendre connaissance du dossier, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes et de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.1 p. 434; <ref-ruling> consid. 4.1 p. 72).
1.2. Le recourant ne prétend pas avoir soulevé ces griefs devant l'autorité précédente de sorte qu'il est douteux qu'ils soient recevables. En effet, en se plaignant pour la première fois devant le Tribunal fédéral du fait que l'acte d'accusation aurait été lacunaire ou qu'il n'aurait pas été confronté aux images de vidéosurveillance déterminantes, le recourant agit d'une manière contraire à la bonne foi en procédure qui interdit de saisir les juridictions supérieures d'un éventuel vice qui aurait pu être invoqué dans une phase antérieure du procès (cf. <ref-ruling> consid. 3.4.2 p. 406; <ref-ruling> consid. 4.3 p. 69).
En tout état, le recourant ne prétend pas que l'accès aux vidéos litigieuses lui aurait été refusé ou qu'il en ignorait l'existence. Au contraire, il admet que son conseil était en possession des différents DVD contenant les images de vidéosurveillance. Il ressort de la décision de première instance, que les prévenus se basaient essentiellement sur ces images pour prétendre qu'une relation de séduction aurait commencé à se nouer sur le quai avec la victime (cf. jugement de première instance, consid. 4.2 p. 42). Lors de la première audition du recourant, des images issues de certaines caméras de surveillance lui ont été présentées pour qu'il se détermine à leur propos (PV d'audition du 10 décembre 2017, p. 4 et 5). Ainsi, on peine à le comprendre en tant qu'il prétend ne pas avoir été " confronté aux images ",en faisant un parallèle avec le droit à la confrontation aux témoins. En outre, le recourant reproduit l'acte d'accusation, dont il ressort expressément qu'il est reproché aux prévenus d'avoir, entre 3h16 et 3h44, isolé la victime en la faisant quitter la gare et de l'avoir violée derrière un bloc d'immeubles précis. Aussi, dès lors que la simple lecture de l'acte d'accusation permet de comprendre où et quand les faits reprochés ont eu lieu, on ne saurait suivre le recourant en tant qu'il affirme n'avoir pas pu savoir quelle caméra et quel horaire était pertinent. N'en déplaise à son conseil, lequel prétend que " le contrôle de l'intégralité " des DVD " représenterait un travail beaucoup trop long ", il ne peut reprocher à la cour cantonale son propre manquement quant au visionnage des enregistrements effectués dès 3h16, moment pertinent à teneur de l'acte d'accusation.
Pour le surplus, le recourant est irrecevable à s'en prendre au jugement du tribunal de première instance, faute de constituer une décision susceptible de recours au Tribunal fédéral (cf. <ref-law>).
En tant que, sous couvert d'une violation de son droit d'être entendu, le recourant s'en prend à la constatation des faits et à l'appréciation des preuves en lien avec les images de vidéosurveillance, il invoque des griefs d'arbitraire qui font l'objet du considérant suivant.
2.
Le recourant reproche à la cour cantonale d'avoir établi les faits et apprécié les preuves de manière arbitraire. Il conteste s'être rendu coupable de viol et de brigandage.
2.1.
2.1.1. Le Tribunal fédéral est lié par les faits établis par l'autorité précédente (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion voir <ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 3.4 p. 53 et les références citées) dans la constatation des faits. Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; <ref-law>; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées).
2.1.2. Selon l'<ref-law>, celui qui, notamment en usant de menace ou de violence, en exerçant sur sa victime des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel, sera puni d'une peine privative de liberté de un à dix ans. Lorsque l'infraction aura été commise en commun par plusieurs personnes, le juge pourra augmenter la durée de la peine, mais pas au-delà de la moitié en sus du maximum de la peine prévue pour cette infraction. Il sera, en outre, lié par le maximum légal du genre de peine (<ref-law>).
L'<ref-law> punit celui qui aura commis un vol en usant de violence à l'égard d'une personne, en la menaçant d'un danger imminent pour la vie ou l'intégrité corporelle ou en la mettant hors d'état de résister, d'une peine privative de liberté de six mois à dix ans.
2.2. Face aux versions antagonistes des prévenus et de la victime, la cour cantonale a retenu la version de cette dernière. Elle a considéré, à l'instar des premiers juges, que la version de la victime était constante, cohérente s'agissant du déroulement de l'agression, comportait des détails et n'était pas démentie par les images de vidéosurveillance. Elle était également corroborée par l'examen de médecine légale. La réalité d'un guet-apens ressortait clairement des images de vidéosurveillance, lesquelles ne présentaient aucune remise d'argent, ce qui permettait d'exclure, sans doute possible, l'hypothèse d'un acte de prostitution, soutenue par les prévenus. Sur les images de télésurveillance (entre 3h16:48 et 3h18:01), on voyait C._ quitter la gare accompagné de la victime, le premier désignant à la seconde la direction de la rue où cette dernière sera agressée, puis se retournant discrètement pour vérifier qu'ils étaient bien suivis par A._. On voyait très vite arriver ce dernier, qui les suivait à distance également discrètement, puis attendait que son comparse et la victime aient parcouru quelque distance avant de repartir à son tour dans leur direction.
Les versions des prévenus comportaient des contradictions internes. Ils avaient d'abord nié tout rapport sexuel pour ensuite déclarer que la victime aurait été payée et que l'acte se serait déroulé sans heurt. Or cette dernière version était incompatible avec le vol du collier et du téléphone portable qui avaient effectivement disparu, avec l'absence d'usage de préservatifs et avec le fait que les deux hommes n'avaient pas tenté de reprendre l'argent à la victime correspondant au prix des services sexuels allégués.
Selon la cour cantonale, tous ces éléments ne laissaient aucun doute sur la culpabilité des prévenus et l'existence d'un viol aggravé ainsi que d'un brigandage.
2.3. L'essentiel de la critique du recourant consiste à livrer sa propre appréciation des faits et émettre de pures conjectures relatives aux éléments retenus par la cour cantonale. Par exemple, il tente de mettre en doute la version de la victime en questionnant notamment son état de somnolence, son besoin pressant d'aller aux toilettes, ainsi que son absence de consentement à l'acte sexuel (sous prétexte que l'écorchure vaginale ne montrerait aucun signe de violence et qu'elle n'aurait pas présenté de marques sur sa bouche et dans la raie des fesses). En outre, il livre une appréciation personnelle des images de vidéosurveillance en retranscrivant librement des gestes et interactions qui en ressortent. Par ailleurs, il affirme, sans autre argumentation dirigée contre la motivation cantonale, qu'il n'y aurait aucun élément de preuve de traumatisme de la victime et des conséquences qu'elle prétend avoir subies. Enfin, il considère que la cour cantonale ne pouvait pas retenir que la victime avait résisté au vol de son collier et de son téléphone, au motif que, dans sa plainte, la victime n'aurait pas fait mention d'actes de résistance. Selon lui, " c'est toujours la version d'une déclaration faite à un moment où les faits sont encore frais dans la mémoire qui doit être déterminante ". De tels procédés sont purement appellatoires, partant irrecevables (<ref-law>). Au demeurant, le recourant est mal venu de donner des leçons quant à la valeur probante des premières déclarations, étant relevé que, lors de sa première audition, il avait nié tout rapport sexuel avec la victime, puis a dû, une fois confronté aux analyses mettant en évidence son ADN dans le vagin de la victime, admettre l'acte reproché (cf. jugement de première instance consid. 4.2 p. 43).
En se bornant à relever qu'aucun témoin n'a été entendu, sans exposer en quoi un témoignage aurait été pertinent en l'espèce, le recourant ne formule aucune critique répondant aux exigences minimales de motivation (art. 42 al. 2 et 106 al. 2 LTF).
Le grief déduit de l'arbitraire dans l'établissement des faits et l'appréciation des preuves est irrecevable.
Sur la base de l'état de fait retenu par la cour cantonale, celle-ci n'a pas violé le droit fédéral en reconnaissant le recourant coupable de viol aggravé et de brigandage.
3.
Le recourant considère que la peine est arbitrairement sévère.
3.1. Aux termes de l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 1.2 p. 319).
3.2. En substance, la cour cantonale a relevé que la culpabilité du recourant était extrêmement lourde. Elle a retenu qu'il était installé dans la délinquance depuis son arrivée illicite en Suisse. Ses agissements coupables auraient continué si son arrestation n'y avait pas mis fin. Son attitude dénotait d'une détestable indifférence pour ses victimes ainsi qu'un pur mépris. Le fait d'accabler la victime du viol dénotait une absence totale de prise de conscience. Le recourant n'avait fait preuve d'aucune collaboration à l'enquête, modulant au contraire sa présentation des faits au gré des informations recueillies par les enquêteurs. Par son comportement et son déni, il avait démontré qu'il était un homme dangereux, qu'il agisse seul ou avec son comparse. La cour cantonale a également relevé les circonstances particulières des actes reprochés (deux hommes s'en prenant brutalement à une femme seule dans un lieu sombre). Les nombreuses infractions commises entraient en concours. Le recourant avait fait l'objet d'une condamnation précédente pour recel.
Aucun élément à décharge n'a été retenu. La cour cantonale a considéré que, malgré son jeune âge au moment des faits, le recourant était tout à fait en mesure de comprendre les notions de consentement à un acte sexuel et de propriété et était suffisamment développé pour qu'on puisse attendre de lui l'intégration des valeurs essentielles à une vie en société. Le comportement correct en prison et les formations accomplies au pays étaient des éléments neutres.
Relevant que l'infraction la plus grave était le viol, la cour cantonale a arrêté la peine pour cet acte à 6 ans de peine privative de liberté et l'a portée à 7 ans pour le brigandage. Elle y a ajouté 10 mois pour les vols en bande et par métier. La cour cantonale a porté la peine à 9 ans en tenant compte, de manière précise et détaillée, des autres infractions entrant en concours (cf. <ref-law>).
3.3.
3.3.1. Le recourant énumère des affaires de viol dans lesquelles des peines inférieures à 6 ans ont été prononcées.
Comme le Tribunal fédéral a eu l'occasion de le rappeler à maintes reprises, la comparaison d'une peine d'espèce avec celle prononcée dans d'autres cas concrets est d'emblée délicate, compte tenu des nombreux paramètres qui interviennent dans la fixation de la peine. Il ne suffit d'ailleurs pas que le recourant puisse citer un ou deux cas où une peine particulièrement clémente a été fixée pour prétendre à un droit à l'égalité de traitement. Les disparités en cette matière s'expliquent normalement par le principe de l'individualisation des peines, voulu par le législateur; elles ne suffisent pas en elles-mêmes pour conclure à un abus du pouvoir d'appréciation (<ref-ruling> consid. 6.3.2 p. 70 et arrêts cités). La comparaison est généralement stérile, dès lors qu'il existe presque toujours des différences entre les circonstances, objectives et subjectives, que le juge doit prendre en considération dans chacun des cas (arrêt 6B_138/2019 du 6 août 2019 consid. 3.1.1). Le recourant ne démontre pas en quoi les circonstances concrètes de son cas, y compris les circonstances personnelles, seraient similaires aux cas qu'il cite si bien que les comparaisons invoquées sont sans pertinence. En tout état, il est irrecevable à relativiser la gravité des faits reprochés en l'espèce en soulignant que ceux-ci auraient été " extrêmement rapides (vingt minutes pour deux auteurs) et caractérisés uniquement par une pénétration vaginale chacun ". Le recourant échoue à démontrer que la peine de 6 ans pour le viol commis en commun serait excessivement sévère, étant rappelé que la peine se situe dans la moitié inférieure du cadre légal (cf. art. 190 en lien avec 200 CP).
3.3.2. Dans la mesure où la condamnation pour brigandage ne prête pas flanc à la critique (cf. supra consid. 2.3), le recourant se méprend en tant qu'il affirme qu'une diminution d'une année devrait être admise au motif qu'il aurait dû être condamné pour un vol à l'arraché.
En tant que le recourant affirme que les peines de 9 ans " semblent plutôt réservées à des attaques contre la vie humaine ", il omet que, outre la grave atteinte à l'intégrité physique et sexuelle de la victime, de nombreuses autres infractions, portant atteinte à plusieurs biens juridiques protégés, ont été commises.
3.3.3. Le recourant rappelle que la cour cantonale l'a mis au bénéfice de la présomption d'innocence s'agissant d'un vol de trois cartes bancaires dans un train et en déduit que sa peine doit être diminuée d'une durée de 2 mois à tout le moins. Or la cour cantonale a procédé à sa propre fixation de la peine, en tenant compte de chaque infraction retenue. Elle a d'ailleurs relevé que l'abandon de cette unique charge n'avait pas la moindre incidence sur le dispositif (cf. jugement entrepris consid. 5.4 p. 29). Si un des nombreux actes de vol tombe, il n'y a pas pour autant d'abandon d'un chef d'accusation, l'infraction de vol en bande et par métier demeurant réalisée (s'agissant de la conséquence sur la peine de l'abandon d'un chef d'accusation en appel, cf. <ref-ruling> consid. 1c/bb p. 21; <ref-ruling> consid. 4 p. 397; arrêt 6B_335/2016 du 24 janvier 2017 consid. 3.3.1 et références citées). Le recourant échoue à démontrer que la cour cantonale aurait abusé de son pouvoir d'appréciation en ajoutant 10 mois de peine privative de liberté pour les vols commis en bande et par métier. La cour cantonale n'a dès lors pas violé le droit fédéral en ne prononçant pas mécaniquement une peine inférieure à celle fixée en première instance, au seul motif qu'un cas de vol parmi de nombreux autres tombait.
3.3.4. Le recourant critique l'appréciation de certains éléments subjectifs retenus par la cour cantonale.
Contrairement à ce que prétend le recourant, ce n'est pas sur la base de ses seules dénégations que la cour cantonale a retenu son défaut de prise de conscience mais du fait qu'il continuait d'accabler la victime.
En se bornant à affirmer que les infractions contre le patrimoine n'ont pas été commises par cupidité ou appât du gain mais lui permettaient " uniquement d'obtenir quelqu'argent pour suppléer aux ressources très limitées de requérants d'asile ", il procède de manière purement appellatoire, partant irrecevable.
Le recourant échoue à démontrer l'arbitraire de la constatation selon laquelle il était en mesure de comprendre les notions de consentement à un acte sexuel et de propriété et qu'il était suffisamment développé pour qu'on puisse attendre de lui l'intégration des valeurs essentielles à une vie en société, au seul motif qu'il avait 19 ans au moment des faits. C'est en vain qu'il se réfère aux questions de majorité civile et pénale en droit algérien. Au demeurant, il ne fait valoir aucune erreur sur les faits ou sur l'illicéité (cf. art. 15 et 21 CP) à cet égard.
Faute d'avoir établi l'arbitraire s'agissant de l'appréciation de sa capacité de comprendre les notions de consentement et de propriété, c'est en vain que le recourant énumère des affaires distinctes dans lesquelles le jeune âge de l'auteur a été pris en compte lors de la fixation de la peine, généralement, à l'appui d'une expertise psychiatrique.
3.3.5. Le recourant se méprend en tant qu'il prétend qu'une condamnation précédente à des jours-amende avec sursis pour recel serait un élément neutre dans la fixation de la peine. En principe, seule l'absence d'antécédent a un effet neutre sur la fixation de la peine et n'a donc pas à être prise en considération dans un sens atténuant (<ref-ruling> consid. 2.6 p. 2).
Le recourant se méprend également en tant qu'il prétend que la cour cantonale n'aurait pas pris en compte les formations et postes qu'il aurait occupés en Algérie dès lors qu'elle a expressément retenu qu'il s'agissait d'éléments neutres. En tout état, il est mal venu de faire valoir le caractère favorable de ses différentes formations menées avec succès, tout en prétendant être immature au point de ne pas saisir les notions de consentement et de propriété.
Le recourant affirme, sans autre développement, avoir mûri en prison et intégré les valeurs dont on lui reproche l'ignorance au moment des faits. En cela, il s'écarte de manière inadmissible des faits retenus en instance cantonale qui lient le Tribunal fédéral (<ref-law>), de sorte qu'il n'y a pas lieu d'entrer en matière sur ce point. Il en va de même en tant qu'il décrit son comportement en prison et apprécie librement le rapport carcéral le concernant. En tout état, un bon comportement en détention a un effet neutre sur la peine et ne doit donc pas être pris en considération dans un sens atténuant (arrêts 6B_560/2018 du 13 août 2018 consid. 3.6; 6B_430/2016 du 27 mars 2017 consid. 2.2.4 et les arrêts cités).
3.3.6. En définitive, le recourant échoue à remettre en cause les facteurs pris en compte par la cour cantonale pour fixer la peine. Celle-ci, dûment motivée, a été fixée sur la base de critères pertinents, on n'en discerne pas d'importants qui auraient été omis ou pris en considération à tort. Les éléments à prendre en compte ont par ailleurs été correctement évalués et ont abouti au prononcé d'une peine située dans le cadre légal et qui ne peut être qualifiée d'excessive. La sanction infligée ne viole donc pas le droit fédéral.
4.
Le recourant ne s'en prend d'aucune manière au prononcé d'une mesure d'expulsion du territoire suisse pour une durée de 15 ans et ne formule aucune conclusion sur ce point. Il ne conteste pas davantage sa condamnation au paiement d'indemnités en faveur de la victime du viol, ni dans son principe, ni sur le montant. Aussi, il n'y a pas lieu d'examiner ces points plus avant.
5.
Le recours doit être rejeté dans la faible mesure de sa recevabilité. Comme ses conclusions étaient dépourvues de chances de succès, l'assistance judiciaire ne peut être accordée (<ref-law>). Par conséquent, le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 octobre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke