Faits : A. Condamné le 16 août 2017 à une peine privative de liberté de 20 jours pour infractions à la loi sur les étrangers (LEtr [depuis le premier janvier 2019: LEI]; RS 142.20) et le 12 mars 2019 à une peine privative de liberté de 36 mois (sous déduction de 501 jours de détention subie avant jugement) pour infraction grave à la LStup (RS 812.121), A._, en exécution de peine, a atteint les deux tiers le 10 novembre 2019; le terme de ces peines étant fixé au 16 novembre 2020. B. Par ordonnance du 29 octobre 2019, le Juge d'application des peines a refusé la libération conditionnelle à A._. C. Par arrêt du 15 novembre 2019, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre l'ordonnance du 29 octobre 2019, qu'elle a confirmé. L'arrêt entrepris repose sur les faits suivants. C.a. A._, ressortissant du Libéria, a été condamné à cinq reprises entre septembre 2015 et juin 2016 pour des infractions contre la LStup et la LEI à des peines privatives de liberté allant de 20 jours à 180 jours, pour une durée totale excédant un an. Le 10 juillet 2019, le Service de la population (ci-après: SPOP) a indiqué qu'il séjournait illégalement en Suisse et faisait l'objet d'une expulsion judiciaire pour une durée de 15 ans. Il était attendu de lui qu'il entreprenne les démarches nécessaires pour se procurer un document de voyage afin d'organiser son départ, mais il avait refusé de collaborer dans ce sens. Le 19 juillet 2019, la Direction de l'établissement pénitentiaire de B._, a indiqué dans son rapport que le comportement de A._ était bon, qu'il se montrait poli et respectueux, tant vis-à-vis du personnel que du règlement. Par ailleurs, il ne faisait l'objet d'aucune sanction disciplinaire et participait volontiers aux activités culturelles et sportives. La Direction de l'établissement a préavisé favorablement de sa libération conditionnelle, à condition qu'il collabore à son renvoi de Suisse. C.b. Le 10 septembre 2019, l'Office d'exécution des peines (ci-après: OEP) a saisi le Juge d'application des peines d'une proposition tendant au refus de la libération conditionnelle, constatant que, malgré l'octroi d'une précédente libération conditionnelle et d'un renvoi du territoire suisse, il y était immédiatement revenu et s'était rendu coupable d'infractions à la LStup. L'autorité a ajouté que la situation du détenu n'avait pas changé, ce dernier étant toujours sous le coup d'une décision d'expulsion, sans projet concret lors de sa libération et qu'il ne collaborait pas avec le SPOP. Au vu de la situation incertaine de l'intéressé sur le plan administratif, son isolement socio-familial sur le sol suisse et l'absence de perspectives à sa sortie de détention, il se retrouverait, lors de sa sortie, dans des conditions similaires à celles qui ont entouré la commission des infractions en cause. C.c. Entendu le 23 octobre 2019 par le Juge d'application des peines, A._ a reconnu avoir été impliqué dans un trafic de stupéfiants portant sur 300 g de cocaïne pure. Il a ensuite contesté tout trafic, expliquant que la drogue était destinée à sa propre consommation. Il a en outre déclaré qu'il regrettait ses actes dès lors qu'il se trouvait en prison depuis 3 ans et qu'il projetait de trouver un emploi dans le domaine de la maçonnerie en Espagne, pays où il pourrait retrouver sa femme et son fils. Conscient de faire l'objet d'une expulsion judiciaire, il s'était engagé à ne plus revenir en Suisse ces 15 prochaines années, et à se rendre en Espagne par ses propres moyens. C.d. Le 24 octobre 2019, le ministère public s'est rallié au préavis négatif de l'OEP. Il a relevé que la prise de conscience du détenu était maigre, qu'il ne semblait pas vouloir collaborer à son expulsion dans son pays d'origine et que l'Espagne lui avait refusé l'admission. D. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal, concluant, avec suite de frais et dépens, à l'annulation de ce dernier et à l'admission de sa libération conditionnelle. Il sollicite par ailleurs l'assistance judiciaire et la désignation de son conseil en qualité de défenseur d'office.