Faits :
A.
A._ a été condamné par jugement du 22 mars 2018, confirmé en appel le 5 septembre 2018, à une peine privative de liberté de 6 ans, sous déduction de 394 jours de détention avant jugement, pour infraction grave à la LStup (Loi fédérale sur les stupéfiants du 3 octobre 1951; RS 812.121). En outre, son expulsion du territoire suisse a été ordonnée pour une durée de 10 ans.
Actuellement en exécution de peine, A._ a atteint les deux tiers de la peine le 9 février 2021, dont le terme est fixé au 10 février 2023.
B.
Par décision du 7 janvier 2021, le Collège des Juges d'application des peines a refusé d'accorder à A._ la libération conditionnelle.
C.
Par arrêt du 1er février 2021, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre la décision du 7 janvier 2021, qu'elle a confirmée.
L'arrêt entrepris repose sur les faits suivants.
C.a. Il était reproché à A._ d'avoir, entre les mois de janvier et février 2017, participé à un trafic de cocaïne portant sur plus de 8 kg, en tant que coursier chargé de récupérer la drogue amenée de l'étranger auprès du réceptionnaire et de la livrer aux différents grossistes. Le jugement du 22 mars 2018 fait état d'une condamnation de A._, prononcée le 27 novembre 2008 par le Tribunal de district de Dielsdorf, à une peine privative de liberté de 14 mois, avec sursis pendant 2 ans, pour opposition aux actes de l'autorité, crime contre la LStup et délit contre la LSEE (Loi fédérale sur le séjour et l'établissement des étrangers du 26 mars 1931, en vigueur jusqu'au 31 décembre 2007).
C.b. Le 5 septembre 2019, A._ a requis son transfert à la colonie fermée des Etablissements de la Plaine de l'Orbe (ci-après : EPO), conformément à ce qui était prévu dans la première phase du plan d'exécution de la sanction (ci-après : PES), élaboré en juillet 2019 par les EPO, puis avalisé par l'Office d'exécution des peines (ci-après: OEP) le 3 septembre 2019. Par courrier du 14 novembre 2019, l'OEP a indiqué à A._ que son transfert ne serait finalement pas mis en oeuvre, tant qu'il ne se serait pas engagé à collaborer avec les autorités administratives chargées d'organiser son renvoi du territoire suisse et qu'il n'aurait pas élaboré de projet de réinsertion socio-professionnelle concret et réaliste, en adéquation avec sa situation administrative.
Dans son rapport établi le 28 août 2020, la Direction des EPO a émis un préavis défavorable à la libération conditionnelle de A._. Elle a exposé en substance que le condamné, arrivé en Suisse en 2002, ne disposait d'aucun document d'identité, que son autorisation d'établissement, échue au 15 mars 2018, n'avait pas été renouvelée, qu'il n'entendait pas collaborer à l'exécution de son renvoi du territoire suisse, qu'il était affilié à l'atelier conciergerie depuis le 20 avril 2020, qu'il s'occupait essentiellement de l'entretien des divisions et des cellules où sa présence était régulière, qu'il s'entendait bien avec ses codétenus, qu'il était poli, discret et toujours à l'écoute et que les analyses toxicologiques auxquelles il s'était soumis s'étaient révélées négatives. Elle a encore indiqué que le condamné ne payait pas ses frais de justice, mais qu'il avait versé le total de 930 fr. à sa famille depuis le mois de janvier 2020 pour l'entretien de ses quatre enfants, qu'il comptait retrouver rapidement un emploi à sa sortie de prison, qu'il disait que son épouse, sa seule famille en Suisse, serait prête à l'aider et à l'héberger, qu'il n'avait effectué aucune réflexion constructive relative à sa situation en Suisse, que son comportement n'appelait pas de remarques particulières, si ce n'est une sanction disciplinaire, le 30 juillet 2020, pour être arrivé en retard au contrôle de cellule, et qu'il avait exprimé un grand regret pour ce qu'il avait fait, précisant qu'il n'avait jamais eu aucun problème avec la justice avant ces faits.
C.c. Le 5 octobre 2020, l'OEP a saisi le Collège des Juges d'application des peines d'une proposition tendant au refus de la libération conditionnelle de A._, estimant que le pronostic quant à son comportement futur était défavorable. L'autorité d'exécution a considéré en bref que le condamné se trouvait en situation de récidive spéciale, qu'il avait été condamné à une peine importante pour des faits graves, que les sanctions pénales dont il avait été l'objet ne semblaient pas avoir eu sur lui l'effet escompté, qu'il projetait de rester en Suisse après sa libération malgré l'expulsion judiciaire prononcée à son encontre, que son passage à la colonie fermée des EPO prévu par le PES n'avait pas pu être mis en oeuvre, car le condamné avait refusé de collaborer avec les autorités administratives dans le cadre de son expulsion et d'élaborer des projets d'avenir réalistes et en adéquation avec sa situation administrative, que la progression prévue dans son PES n'avait ainsi pas pu être respectée et que son comportement n'avait ainsi pas pu être observé dans un cadre différent.
C.d. Entendu le 16 novembre 2020 par la Présidente du Collège des Juges d'application des peines, A._ a déclaré en substance qu'il se sentait "libre", qu'il travaillait, qu'il faisait du sport et qu'il se comportait bien, qu'il regrettait ce qu'il avait fait, mais qu'il avait agi à cause de sa femme et de ses mauvaises fréquentations, qu'il était d'accord de rembourser les frais de justice, qu'il avait de l'argent, mais que l'assistante sociale l'avait mal compris, qu'il était toujours en couple avec son épouse avec qui il s'était marié en 2008, qu'il avait eu deux paires de jumeaux en 2013 et en 2015 avec sa "copine" au Nigeria, qu'on lui avait proposé un travail à 50% comme serveur dans un pub, que son ancien employeur allait le réengager, qu'il n'avait pas compris ce que signifiait son expulsion judiciaire, qu'il allait collaborer avec les autorités administratives chargées de mener à bien son expulsion à destination du Nigeria, mais qu'il ne savait pas où aller vivre au Nigeria, car sa copine habitait avec ses parents, et qu'il avait fait des choses graves, mais qu'il pensait "plus loin" et qu'il aimerait pouvoir rester en Suisse.
C.e. Le 18 novembre 2020, le ministère public s'est rallié au préavis négatif de l'OEP, observant que A._ était toujours opposé à son expulsion du territoire suisse et que sa prise de conscience quant à la gravité des actes commis était limitée, le condamné n'assumant toujours pas la responsabilité de ses actes.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal, concluant, avec suite de frais et dépens, à l'annulation de ce dernier et à l'admission de sa libération conditionnelle. Il sollicite par ailleurs l'assistance judiciaire et la désignation de son conseil en qualité de défenseur d'office.

Considérant en droit :
1.
Selon l'<ref-law>, les décisions sur l'exécution de peines et de mesures peuvent faire l'objet d'un recours en matière pénale.
2.
Le recourant conteste le refus de sa libération conditionnelle. Il conteste que le pronostic ait pu être considéré comme défavorable.
2.1. Aux termes de l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception. Il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203). Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.2 et 2.3 p. 203; arrêt 6B_18/2020 du 20 avril 2020 consid. 1.1.1). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont également pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive (<ref-ruling> consid. 1b p. 7), il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 115; arrêt 6B_18/2020 précité consid. 1.1.1). Afin de procéder à un pronostic différentiel, il sied de comparer les avantages et désavantages de l'exécution de la peine avec la libération conditionnelle (<ref-ruling> consid. 4a et consid. 5b/bb p. 196 ss; arrêts 6B_18/2020 précité consid. 1.1.1; 6B_91/2020 31 mars 2020 consid. 1). S'il ne faut pas s'attendre à ce que le pronostic s'améliore de manière significative d'ici au terme de l'exécution de la peine, la priorité peut être accordée à l'intérêt de la sécurité publique au vu de la probabilité de la commission de nouvelles infractions et de l'importance des biens juridiques menacés (arrêt 6B_91/2020 précité consid. 3.2).
Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie de règles de conduite et d'un patronage, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (<ref-ruling> consid. 4d/aa et bb p. 198 ss).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
2.2. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant de manière précise (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156 et les références citées).
2.3. La Cour cantonale a retenu un pronostic défavorable quant au comportement futur du recourant, en considération de la gravité des actes commis, de la faible prise de conscience du recourant, du peu de remord exprimé par celui-ci, de son amendement encore limité et de l'absence totale de préparation de sa réinsertion socio-professionnelle dans son pays d'origine. Elle a en particulier relevé que le recourant se trouvait en situation de récidive spéciale pour infractions graves à la LStup. Elle a considéré que les regrets, exprimés tardivement le 16 novembre 2020 devant la présidente du collège des juges d'application des peines, étaient à l'évidence de pure circonstance, ce d'autant que l'intéressé ne reconnaissait toujours pas sa responsabilité, puisqu'il persistait à rejeter la faute sur son épouse et sur ses anciennes relations, ce qui dénotait une très faible prise de conscience de la gravité de ses actes. S'agissant de son expulsion du territoire suisse, quand bien même le recourant affirmait qu'il n'avait pas d'autre choix que de s'y plier, il avait démontré très clairement par son comportement qu'il n'avait pas l'intention de collaborer à son renvoi et qu'il n'envisageait absolument pas son retour au Nigeria, pays dans lequel il n'avait entamé aucune ébauche de projet concret de réinsertion socio-professionnelle. Ses déclarations sur ses intentions avaient fluctué depuis le début de sa détention. Il n'avait d'ailleurs entrepris aucune démarche sérieuse avec les autorités nigérianes en vue de son retour dans son pays d'origine où vivaient ses quatre enfants et où il indiquait ne pas avoir de solution d'hébergement, mais aspirait au contraire à vivre en Suisse chez son épouse et à travailler en Suisse, notamment pour son ancien employeur. Enfin, le fait qu'il ait refusé jusqu'à présent de collaborer clairement avec les autorités et de prendre tous les engagements qui lui étaient demandés dans son PES pour pouvoir bénéficier d'un passage en colonie fermée montrait qu'il persistait dans son attitude oppositionnelle face aux autorités. Enfin, la cour cantonale a considéré qu'une assistance de probation ou des règles de conduite n'entraient pas en ligne de compte, vu le prononcé de l'expulsion. Une libération conditionnelle ne favoriserait donc pas mieux la resocialisation du recourant que l'exécution de sa peine, du moins au stade actuel.
2.4. L'argumentation du recourant repose, pour l'essentiel, sur une appréciation personnelle des faits qui se substitue à celle de la cour cantonale. Cette démarche est dans cette mesure purement appellatoire, et partant irrecevable. C'est le cas notamment lorsque le recourant conteste l'appréciation de la cour cantonale sur la nature purement circonstancielle de ses regrets ou encore sur sa faible prise de conscience. La cour cantonale a motivé les raisons pour lesquelles elle émettait ces appréciations, à savoir d'une part la tardiveté de la reconnaissance des faits et des regrets, exprimés uniquement dans le cadre de son audition en vue de sa libération conditionnelle devant les premiers juges, et d'autre part en raison du fait qu'il persistait à rejeter la faute sur son épouse et ses anciennes relations. Que ses mauvaises fréquentations soient la raison de ses infractions, comme il l'allègue, révèle bien qu'il cherche à minimiser sa responsabilité en rejetant la faute sur d'autres. Il en va de même lorsqu'il affirme en référence à sa femme qu'il devait fournir des efforts financiers dans le cadre du ménage. S'agissant de son défaut de collaboration à la préparation de sa réinsertion dans son pays d'origine, le recourant se borne à réitérer les explications fournies auparavant selon lesquelles il n'avait pas compris les enjeux de l'expulsion judiciaire, ce qui n'a nullement été établi par la cour cantonale (<ref-law>). Pour le surplus, au vu des différents comportements oppositionnels du recourant à son renvoi (aucune ébauche de projet de réinsertion socio-professionnelle, refus de collaborer avec les autorités ou de prendre les engagements demandés dans le PES), la cour cantonale pouvait considérer sans arbitraire que le recourant avait démontré qu'il n'avait pas l'intention d'y collaborer. Enfin, le recourant ne conteste pas que les critères pris en considération par la cour cantonale pour établir le pronostic sont pertinents (faible prise de conscience, peu de remord, amendement limité et absence totale de préparation de sa réinsertion socio-professionnelle dans son pays d'origine). Le grief est rejeté dans la faible mesure de sa recevabilité.
Au vu de ce qui précède, on ne saurait retenir que l'autorité cantonale a abusé de son pouvoir d'appréciation en établissant un pronostic défavorable vis-à-vis de l'intéressé. La cour cantonale pouvait ainsi, sans violer le droit fédéral, considérer que les conditions pour octroyer la libération conditionnelle n'étaient pas réalisées en l'espèce.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 19 avril 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Dyens