Faits :
A.
Condamné le 16 août 2017 à une peine privative de liberté de 20 jours pour infractions à la loi sur les étrangers (LEtr [depuis le premier janvier 2019: LEI]; RS 142.20) et le 12 mars 2019 à une peine privative de liberté de 36 mois (sous déduction de 501 jours de détention subie avant jugement) pour infraction grave à la LStup (RS 812.121), A._, en exécution de peine, a atteint les deux tiers le 10 novembre 2019; le terme de ces peines étant fixé au 16 novembre 2020.
B.
Par ordonnance du 29 octobre 2019, le Juge d'application des peines a refusé la libération conditionnelle à A._.
C.
Par arrêt du 15 novembre 2019, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre l'ordonnance du 29 octobre 2019, qu'elle a confirmé.
L'arrêt entrepris repose sur les faits suivants.
C.a. A._, ressortissant du Libéria, a été condamné à cinq reprises entre septembre 2015 et juin 2016 pour des infractions contre la LStup et la LEI à des peines privatives de liberté allant de 20 jours à 180 jours, pour une durée totale excédant un an.
Le 10 juillet 2019, le Service de la population (ci-après: SPOP) a indiqué qu'il séjournait illégalement en Suisse et faisait l'objet d'une expulsion judiciaire pour une durée de 15 ans. Il était attendu de lui qu'il entreprenne les démarches nécessaires pour se procurer un document de voyage afin d'organiser son départ, mais il avait refusé de collaborer dans ce sens.
Le 19 juillet 2019, la Direction de l'établissement pénitentiaire de B._, a indiqué dans son rapport que le comportement de A._ était bon, qu'il se montrait poli et respectueux, tant vis-à-vis du personnel que du règlement. Par ailleurs, il ne faisait l'objet d'aucune sanction disciplinaire et participait volontiers aux activités culturelles et sportives. La Direction de l'établissement a préavisé favorablement de sa libération conditionnelle, à condition qu'il collabore à son renvoi de Suisse.
C.b. Le 10 septembre 2019, l'Office d'exécution des peines (ci-après: OEP) a saisi le Juge d'application des peines d'une proposition tendant au refus de la libération conditionnelle, constatant que, malgré l'octroi d'une précédente libération conditionnelle et d'un renvoi du territoire suisse, il y était immédiatement revenu et s'était rendu coupable d'infractions à la LStup. L'autorité a ajouté que la situation du détenu n'avait pas changé, ce dernier étant toujours sous le coup d'une décision d'expulsion, sans projet concret lors de sa libération et qu'il ne collaborait pas avec le SPOP. Au vu de la situation incertaine de l'intéressé sur le plan administratif, son isolement socio-familial sur le sol suisse et l'absence de perspectives à sa sortie de détention, il se retrouverait, lors de sa sortie, dans des conditions similaires à celles qui ont entouré la commission des infractions en cause.
C.c. Entendu le 23 octobre 2019 par le Juge d'application des peines, A._ a reconnu avoir été impliqué dans un trafic de stupéfiants portant sur 300 g de cocaïne pure. Il a ensuite contesté tout trafic, expliquant que la drogue était destinée à sa propre consommation. Il a en outre déclaré qu'il regrettait ses actes dès lors qu'il se trouvait en prison depuis 3 ans et qu'il projetait de trouver un emploi dans le domaine de la maçonnerie en Espagne, pays où il pourrait retrouver sa femme et son fils. Conscient de faire l'objet d'une expulsion judiciaire, il s'était engagé à ne plus revenir en Suisse ces 15 prochaines années, et à se rendre en Espagne par ses propres moyens.
C.d. Le 24 octobre 2019, le ministère public s'est rallié au préavis négatif de l'OEP. Il a relevé que la prise de conscience du détenu était maigre, qu'il ne semblait pas vouloir collaborer à son expulsion dans son pays d'origine et que l'Espagne lui avait refusé l'admission.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal, concluant, avec suite de frais et dépens, à l'annulation de ce dernier et à l'admission de sa libération conditionnelle. Il sollicite par ailleurs l'assistance judiciaire et la désignation de son conseil en qualité de défenseur d'office.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir confirmé le refus de la libération conditionnelle en violation de l'<ref-law> et lui fait grief d'avoir versé dans l'arbitraire en établissant les faits.
1.1.
1.1.1. Aux termes de l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception. Il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable. Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.2 et 2.3 p. 203; arrêts 6B_91/2020 du 31 mars 2020 consid. 1; 6B_103/2019 du 21 février 2019 consid. 2.1). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont également pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive, il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 115; arrêt 6B_103/2019 précité consid. 2.1). Afin de procéder à un pronostic différentiel, il sied de comparer les avantages et désavantages de l'exécution de la peine avec la libération conditionnelle (<ref-ruling> consid. 4a et consid. 5b/bb p. 196 ss; arrêts 6B_686/2019 du 17 juillet 2019 consid. 1.1; 6B_32/2019 du 28 février 2019 consid. 2.2).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204; arrêt 6B_353/2019 du 25 avril 2019 consid. 1.2.1).
1.1.2. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant de manière précise (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156 et les références citées).
1.2. La cour cantonale a relevé que, depuis son entrée en Suisse en août 2015, le recourant avait été condamné à sept reprises (outre la condamnation à la base de la présente procédure) pour une durée totale excédant 50 mois de peine privative de liberté pour des infractions à la LStup et à la LEI. Elle a considéré que, malgré les multiples condamnations du recourant, ce dernier avait persisté à commettre des infractions. Ni l'octroi d'une première libération conditionnelle, ni le fait d'avoir déjà purgé plus de 10 mois de peine privative de liberté ne l'en avait dissuadé. En outre, lors de sa dernière condamnation pour infraction à la LStup, il occupait une position importante de grossiste au sein d'un trafic de stupéfiants plus grave que celui adopté précédemment. Quant à l'amendement, il était relatif, voire inexistant dès lors que le recourant avait commencé par nier tout trafic de drogue, puis avait évolué sur ce point devant le Juge d'application des peines avant de réaffirmer qu'il n'avait pas trafiqué de drogue. Certes, la prison avait préavisé favorablement de sa libération conditionnelle, mais ce préavis était subordonné à sa collaboration pour organiser son renvoi de Suisse. Or il était établi qu'il ne collaborait pas en ce sens, si bien que la condition posée par l'établissement pénitentiaire n'était pas remplie. Par ailleurs, il ressortait du dossier que l'intéressé avait été renvoyé d'Espagne à l'issue de sa procédure de libération conditionnelle et que ce pays avait refusé sa réadmission. En outre, les conditions d'existence du recourant auraient été similaires à celles prévalant lors de sa dernière condamnation. L'intéressé n'étant pas admis à résider en Espagne, ses projets d'y travailler ne paraissaient pas réalistes. Relevant que le pronostic pouvait ne pas être défavorable qu'à la condition d'un renvoi du recourant dans son pays d'origine et qu'il s'y refusait, la cour cantonale a établi un pronostic défavorable.
1.3. L'argumentation du recourant repose, pour l'essentiel, sur une appréciation personnelle des faits, en la substituant à celle de la cour cantonale, dans une démarche purement appellatoire, partant irrecevable. C'est le cas notamment lorsqu'il affirme, sans développer, qu'il collabore à son renvoi, qu'il a la volonté ferme de quitter la Suisse pour retrouver sa famille ou que son refus d'admission en Espagne serait erroné. Le recourant se méprend en tant qu'il affirme que l'autorité cantonale aurait « occulté maladroitement » le fait que son enfant et sa femme se trouvent en Espagne et qu'il compte les y rejoindre, alors que ces faits ont été expressément pris en compte par la cour cantonale, laquelle a motivé pour quels motifs ce projet n'était pas réaliste.
Pour le surplus, le recourant s'écarte de manière inadmissible de l'état de fait arrêté par la cour cantonale lorsqu'il affirme qu'il est aujourd'hui sevré de toute addiction, qu'il a travaillé dans le secteur maçonnerie et lingeries de l'établissement carcéral, et que, toujours de bonne humeur, son comportement était exempt de tout reproche. Il en va également ainsi lorsqu'il affirme avoir commencé une formation FEP, en ayant un bon comportement en classe. Au demeurant, si la cour cantonale a tenu compte du bon comportement du recourant en détention, elle a relevé que le préavis positif de la prison était subordonné à des conditions qui n'étaient pas réalisables en l'espèce.
Contrairement à ce que laisse entendre le recourant, la libération conditionnelle ne lui a pas été refusée simplement au vu de sa dernière condamnation. Cette décision repose sur de nombreux aspects pertinents dans l'établissement du pronostic, dont le recourant échoue à démontrer l'arbitraire (amendement relatif voire inexistant; défaut de collaboration au renvoi; conditions d'existence prévisibles etc.; cf. consid. 1.2.1 et 1.3).
Au vu de ce qui précède, on ne saurait retenir que l'autorité cantonale aurait abusé de son pouvoir d'appréciation en établissant un pronostic défavorable vis-à-vis de l'intéressé et considéré que les conditions pour octroyer la libération conditionnelle n'étaient pas réalisées en l'espèce.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 20 avril 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke