Faits :
A.
A._ a été condamné par jugement du 27 novembre 2012 à une peine privative de liberté de 20 ans pour assassinat, brigandage, vol, tentative de vol, dommages à la propriété, complicité de crime manqué d'extorsion qualifiée, violation de domicile, et infraction et contravention à la Loi fédérale sur les stupéfiants du 3 octobre 1951 (RS 812.121) ainsi que, par jugement du 27 octobre 2016, à une peine privative de liberté de 120 jours pour lésions corporelles simples.
Actuellement en exécution de peine, A._ a atteint les deux tiers de la peine le 25 décembre 2020, dont le terme est fixé au 5 octobre 2027.
B.
Par décision du 24 décembre 2020, le Collège des Juges d'application des peines a refusé d'accorder à A._ la libération conditionnelle.
C.
Par arrêt du 27 janvier 2021, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre la décision du 24 décembre 2020, qu'elle a confirmée.
L'arrêt entrepris repose sur les faits suivants.
C.a. Dans son jugement du 27 novembre 2012, la Cour d'appel pénale du Tribunal cantonal a retenu, concernant la culpabilité de A._ et en particulier s'agissant de l'assassinat qu'il avait commis, que sa façon d'agir mettait en évidence tant une manière particulièrement odieuse de donner la mort qu'un mobile futile. Il avait battu à mort B._ sous les yeux de sa femme, qu'il ne s'était pas privé de molester et de terroriser. En s'acharnant à coups de pied sur la tête de B._ qu'il avait intentionnellement tué, l'intéressé avait fait preuve d'une froideur affective caractérisée. Pour les juges cantonaux, la façon d'agir de A._ était particulièrement cruelle et lâche et démontrait le mépris le plus complet pour la vie d'autrui. A cela s'ajoutait son mobile particulièrement odieux dont les motivations et les buts se réduisaient à l'appât du gain et à la frustration de n'avoir pu obtenir qu'un maigre butin. Sur le plan personnel, A._ s'était enferré dans un déni massif, se disant victime d'un complot, ce qui dénotait encore une fois une absence totale de scrupules et de prise de conscience de la gravité de ses actes. A décharge, il n'existait aucun élément à prendre en considération, l'expertise psychiatrique faisant en outre état d'une responsabilité pleine et entière ainsi que de l'existence d'un risque de récidive d'actes de même nature. Au final, au vu de l'ensemble des éléments précités, la culpabilité de A._ a été considérée comme extrême.
C.b. Pour les besoins de la présente cause, A._ a été détenu préventivement du 9 janvier 2009 au 19 novembre 2010. Selon l'avis de détention du 8 août 2018, il a été successivement incarcéré à la prison de la Croisée, jusqu'au 25 juin 2012, puis à l'Établissement de détention La Promenade, à la Chaux-de-Fonds, jusqu'au 13 février 2013, puis à la prison de La Stampa jusqu'au 1er juillet 2014, date de son transfert aux Établissements de la Plaine de l'Orbe (ci-après : EPO), puis à l'Établissement d'exécution des peines de Bellevue à Gorgier du 9 janvier au 7 août 2018, puis aux EPO jusqu'au 6 décembre 2018 et enfin, à l'Établissement pénitentiaire de Thorberg.
C.c. Durant l'exécution de ses peines, A._ a fait l'objet de nombreuses sanctions disciplinaires. Lorsqu'il était détenu à la prison de La Stampa, il a agressé un de ses codétenus. Lors des séjours qu'il a effectués aux EPO, il a notamment été sanctionné à quatre reprises pour des atteintes à l'intégrité physique. En particulier, le 9 octobre 2015, l'intéressé a interpellé verbalement puis agressé physiquement l'un de ses codétenus lorsque ce dernier est passé devant sa cellule. Il lui a tout d'abord asséné un coup de poing au visage au niveau de l'oeil gauche, avant de le frapper à plusieurs reprises à la tête. Sous la violence des coups, la victime est tombée au sol. Alors qu'elle gisait à terre, A._ lui a encore asséné des coups de pied à la tête. Ces faits lui ont valu une condamnation par le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois le 27 octobre 2016 et un transfert vers un autre établissement pénitentiaire.
Par courriel du 5 avril 2018, la direction de l'Établissement d'exécution des peines de Bellevue a requis le transfert de A._ dans un autre établissement. A l'appui de sa demande, la direction a évoqué une sanction disciplinaire du 28 mars 2018 et le fait que le prénommé adoptait un comportement agressif, froid, exigeant et déterminé. Elle a considéré que, pour des motifs de sécurité, le transfert se justifiait et qu'un établissement très sécurisé était nécessaire. Elle a ajouté qu'à plusieurs reprises, les autres détenus s'étaient plaints de menaces et de pressions subies de la part de A._.
Le 23 mars 2020, A._ a demandé à être transféré en secteur ouvert d'un établissement pénitentiaire. Par décision du 22 mai 2020, l'Office d'exécution des peines (OEP) a rejeté sa requête, considérant qu'un risque de fuite et de récidive ne pouvait pas être exclu et qu'un passage en secteur ouvert ne pouvait pas être envisagé en l'état.
C.d. Dans son rapport du 21 juillet 2020, la direction de l'Établissement de Thorberg a préavisé favorablement à la libération conditionnelle de A._. Elle a considéré que ses conditions de vie et sa personnalité étaient à considérer comme problématiques. Le fait qu'il ne soit pas en mesure de reconnaître les infractions pour lesquelles il avait été condamné et d'apporter des changements dans sa personnalité constituaient, selon la direction, des éléments défavorables. Elle a toutefois estimé que la poursuite de l'exécution de ses peines n'était pas susceptible d'apporter d'amélioration significative et qu'il était à espérer qu'il ne commettrait plus de crime à l'avenir.
C.e. Le 27 août 2020, l'OEP a saisi le Collège des Juges d'application des peines d'une proposition tendant au refus de la libération conditionnelle à A._. L'autorité d'exécution a notamment rappelé qu'il ressortait des différentes évaluations criminologiques réalisées par l'Unité d'évaluation criminologique (UEC) que A._ n'avait jamais montré de réelle évolution dans son discours et était demeuré extrêmement peu conscient de son potentiel de violence et que, partant, le risque de récidive avait été systématiquement retenu comme étant élevé. En outre, bien que son comportement soit qualifié de bon depuis son arrivée à Thorberg, I'OEP a relevé que le parcours carcéral de l'intéressé avait été émaillé de plusieurs faits de violence à l'encontre de codétenus. Force était de constater que A._ n'avait aucunement mis à profit ces nombreuses années passées en détention pour élaborer un projet de réinsertion concret en Serbie ou au Kosovo. Au vu des caractéristiques de sa personnalité et de son potentiel de violence, l'autorité d'exécution a estimé qu'il était primordial que le condamné mette à profit la suite de l'exécution de sa sanction pour entamer une réelle remise en question et travailler sur la reconnaissance de son potentiel de violence et d'impulsivité, avant que l'occasion ne lui soit donnée de faire ses preuves en liberté. Elle a ajouté que la nécessité pour le prénommé d'élaborer un projet d'avenir concret et réaliste afin de préparer son futur retour au pays demeurait essentielle. L'OEP a enfin relevé qu'au vu du solde de peine de 6 ans, 9 mois et 10 jours, la situation pourrait être revue lors de l'examen qui aurait lieu d'office dans le délai légal, voire au préalable en fonction de l'évolution de l'intéressé et/ou à la demande de ce dernier.
C.f. Le 27 octobre 2020, A._ a été entendu par la Présidente du Collège des Juges d'application des peines. Le prénommé a persisté à nier les faits pour lesquels il avait été condamné. Il a également soutenu ne jamais régler ses conflits par la violence et n'avoir aucun problème de violence. Il a encore mentionné qu'il envisageait son avenir au Kosovo, précisant qu'il comptait vivre chez son frère et travailler pour son cousin dans un magasin.
C.g. Le 3 novembre 2020, le ministère public s'est opposé à la libération conditionnelle de A._, observant que le discours du prénommé demeurait inchangé depuis ces dernières années, celui-ci se positionnant en tant que victime, que ce soit au sujet des faits très graves qui lui avaient valu sa condamnation ou encore des différentes sanctions disciplinaires prononcées dans le cadre de sa détention ensuite d'actes violents. Il a ajouté que l'intéressé n'était pas en mesure d'apporter des précisions quant à la réalisation des projets d'avenir qu'il avait évoqués et que ceux-ci devaient dès lors être considérés comme inconsistants.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 27 janvier 2021 en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que la libération conditionnelle lui est accordée avec effet au premier jour utile où son renvoi de Suisse pourrait être exécuté et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
Considérant en droit :
1.
Selon l'art. 78 al. 2 let. b LTF, les décisions sur l'exécution de peines et de mesures peuvent faire l'objet d'un recours en matière pénale.
2.
Le recourant conteste le refus de sa libération conditionnelle. Dans un premier grief, il se plaint d'arbitraire dans l'établissement des faits (art. 97 al. 1 et 105 al. 2 LTF).
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (ATF 146 IV 88 consid. 1.3.1 p. 91 s.; 145 IV 154 consid. 1.1 p. 155 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 143 IV 500 consid. 1.1 p. 503). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (ATF 147 IV 73 consid. 4.1.2; 146 IV 114 consid. 2.1, 88 consid. 1.3.1).
2.2. Le recourant soutient que la cour cantonale a ignoré le contenu du rapport psycho-criminologique et n'avait repris que les éléments qui lui plaisaient. Elle n'avait pas tenu compte du fait qu'il avait l'obligation de quitter la Suisse, qu'il souhaitait effectivement regagner sa patrie et n'avait jamais appris l'allemand, ou encore que ses chances de succès y étaient décrites comme minimes.
Le recourant ne précise pas à laquelle, parmi les différentes évaluations criminologiques dont il a fait l'objet, il se rapporte. Or il n'appartient pas au Tribunal fédéral de rechercher lui-même dans les pièces versées au dossier les éléments de fait pertinents à l'appui des manquements invoqués. Son grief paraît déjà, dans cette mesure, irrecevable. En tout état, la cour cantonale a constaté que, selon le rapport de l'Unité d'évaluation criminologique du 15 janvier 2016, il était opportun que le recourant entame des démarches en vue de sa réinsertion au Kosovo (arrêt attaqué, En fait, A., d), p. 10-11). L'autorité précédente a par ailleurs relevé que le recourant ne bénéficiait plus d'aucune autorisation de séjour en Suisse et devrait par conséquent quitter ce pays dès sa sortie de prison, que son renvoi avait été prononcé par décision du 20 septembre 2002 et qu'après des années de démarches, le Secrétariat d'État aux Migrations (SEM) avait pu l'identifier comme ressortissant du Kosovo (arrêt attaqué, En fait, A., c) p. 3). Elle a également constaté que devant la Présidente du Collège des Juges d'application des peines, le recourant avait déclaré qu'il envisageait son avenir au Kosovo. Selon ce qui précède, la cour cantonale n'a pas omis de constater que le recourant devrait quitter la Suisse à sa sortie de prison et avait même exprimé le souhait de retourner dans son pays d'origine (arrêt attaqué, En fait, B., e), p. 15). Quant aux " chances de succès ", si l'on comprend que le recourant désigne ainsi la probabilité que la poursuite de l'exécution de ses peines permette d'atténuer le risque de récidive, la cour cantonale a relevé que, selon le rapport de la direction de l'Établissement de Thorberg, la poursuite de l'exécution de la peine n'était pas susceptible d'apporter d'amélioration significative (arrêt attaqué, En fait, B., a), p. 13). Considérant ce qui précède, le grief d'arbitraire soulevé par le recourant, motif pris que des éléments de fait pertinents auraient été omis, est infondé dans la mesure de sa recevabilité.
3.
Le recourant fait grief à la cour cantonale d'avoir écarté son grief de violation de son droit d'être entendu au sens des art. 29 al. 2 Cst. et 6 par. 1 CEDH. L'autorité précédente a retenu à tort que les premiers juges avaient examiné la question du pronostic différentiel et répondu aux arguments qu'il avait soulevés sous cet angle. En outre, il était contradictoire de la part de la cour cantonale de nier la violation de son droit d'être entendu, avant d'indiquer que cette violation pouvait être réparée. Cette contradiction empêchait d'attaquer efficacement la décision rendue. Le recourant conteste, quoi qu'il en soit, que la cour cantonale ait réparé la violation de son droit d'être entendu. Enfin, la décision entreprise contrevenait à l'art. 112 al. 1 let. b LTF dans la mesure où elle ne précisait pas si cette question était examinée à l'aune de l'art. 29 Cst. ou sous l'égide d'une autre norme de droit cantonal ou fédéral.
3.1. La cour cantonale a considéré que les premiers juges n'avaient pas manqué d'examiner la question du pronostic différentiel. Ils avaient rapporté l'argumentation du recourant à ce propos (décision de première instance, p. 19) et y avaient répondu. En effet, ils avaient considéré qu'il n'y avait pratiquement pas eu d'évolution en douze ans de détention, hormis une (très) petite et récente amélioration, depuis l'arrivée de l'intéressé à l'Établissement de Thorberg. L'autorité de première instance avait en outre fait prévaloir la sécurité publique au vu des biens juridiques menacés, à savoir principalement la vie et l'intégrité physique d'autrui (décision de première instance, p. 22). Pour le surplus, le recourant avait été à même de développer son argumentation dans son mémoire de recours, de sorte que, supposé fondé, le grief de violation du droit d'être entendu était de toute manière réparé, compte tenu du large pouvoir d'appréciation de la cour cantonale (arrêt attaqué, consid. 2.3.3 p. 23-24).
3.2. Selon ce qui précède, c'est dans une argumentation subsidiaire que la cour cantonale a considéré que, même si une violation du droit d'être entendu avait été commise, elle pouvait en toute hypothèse être réparée au regard des développements de son arrêt. La cour cantonale a ainsi présenté une double motivation dont chaque pan est indépendant et suffit à sceller l'issue de la procédure cantonale sur ce point. On ne saurait y voir un obstacle à la contestation de la décision rendue, le recourant devant, dans ce cas, discuter chaque pan de la motivation, ainsi que le préconise la jurisprudence (ATF 142 III 364 consid. 2.4).
Par ailleurs, l'art. 112 al. 1 let. b LTF exige que les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral contiennent les motifs déterminants de fait et de droit, notamment les dispositions légales appliquées. Comme vu ci-dessus, la cour cantonale a motivé le rejet du grief de violation du droit d'être entendu invoqué par le recourant. Le fait que la cour cantonale n'ait pas précisé que le droit d'être entendu était garanti, au niveau constitutionnel, par l'art. 29 Cst., n'entraîne aucune violation de l'art. 112 al. 1 let. b LTF, dès lors que la cour cantonale a indiqué les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision (cf. ATF 141 IV 244 consid. 1.2.1; 135 II 145 consid. 8.2; arrêt 6B_179/2017 du 26 septembre 2017 consid. 2.1). Le recourant ne démontre d'ailleurs aucunement en quoi il aurait été dans l'impossibilité d'attaquer efficacement la décision rendue en raison d'un défaut de motivation. Il ne saurait, partant, rien déduire en sa faveur de l'art. 112 al. 1 let. b LTF.
Enfin, en tant que le recourant reproche à la cour cantonale de ne pas avoir procédé à l'examen du pronostic différentiel, il ressort des considérants de la décision entreprise que la cour cantonale reprend à son compte la motivation des juges de première instance selon laquelle la sécurité publique doit prévaloir au vu des biens juridiques menacés. Ces développements suffisent à écarter l'argument tiré du pronostic différentiel (cf. consid. 4.2 infra).
Ce qui précède conduit à rejeter le grief de violation du droit d'être entendu invoqué par le recourant.
4.
Invoquant la violation de l'art. 86 al. 1 CP, le recourant estime que l'examen du pronostic différentiel doit conduire à prononcer sa libération conditionnelle.
4.1. Aux termes de l'art. 86 al. 1 CP, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception. Il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (ATF 133 IV 201 consid. 2.2 p. 203). Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (ATF 133 IV 201 consid. 2.2 et 2.3 p. 203; arrêts 6B_460/2021 du 9 juin 2021 consid. 4.1; 6B_18/2020 du 20 avril 2020 consid. 1.1.1). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont également pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive (ATF 119 IV 5 consid. 1b p. 7), il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (ATF 125 IV 113 consid. 2a p. 115; arrêt 6B_18/2020 précité consid. 1.1.1). Afin de procéder à un pronostic différentiel, il sied de comparer les avantages et désavantages de l'exécution de la peine avec la libération conditionnelle (ATF 124 IV 193 consid. 4a et consid. 5b/bb p. 196 ss; arrêts 6B_333/2021 du 9 juin 2021 consid. 1.2; 6B_460/2021 précité consid. 4.1). S'il ne faut pas s'attendre à ce que le pronostic s'améliore de manière significative d'ici au terme de l'exécution de la peine, la priorité peut être accordée à l'intérêt de la sécurité publique au vu de la probabilité de la commission de nouvelles infractions et de l'importance des biens juridiques menacés (arrêts 6B_333/2021 précité consid. 1.2; 6B_303/2021 du 19 avril 2021 consid. 2.1).
Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie de règles de conduite et d'un patronage, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (ATF 124 IV 193 consid. 4d/aa et bb p. 198 ss; arrêt 6B_303/2021 précité consid. 2.1). Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (ATF 133 IV 201 consid. 2.3 p. 204).
4.2. La cour cantonale a constaté qu'il ressortait des différents rapports d'évaluation criminologique, des avis de la Commission interdisciplinaire consultative (CIC) et du procès-verbal d'audition du recourant une absence totale d'évolution, un déni persistant, une absence totale d'amendement, de prise de conscience et de remise en question, et un risque de récidive élevé, ce qui conduisait à retenir un pronostic défavorable. En effet, les criminologues de l'Unité d'évaluation criminologique (UEC) avaient relevé que les niveaux de risque de récidive générale et violente demeuraient élevés, le condamné persistant notamment à réfuter son potentiel de violence et son impulsivité. Ces faits avaient une fois de plus été confirmés durant l'audition de l'intéressé par la Présidente du Collège des Juges d'application des peines, puisqu'il avait persisté à nier les faits pour lesquels il avait été condamné, soutenu ne jamais régler ses conflits par la violence et n'avoir aucun problème de violence. Il apparaissait ainsi nécessaire que le recourant entreprenne un travail sur la gestion de ses émotions et de son potentiel de violence afin d'envisager des stratégies pour régler ses différends, comme cela avait été préconisé par les criminologues. La CIC avait également invité l'intéressé à mettre à profit le temps passé en prison pour s'engager dans un processus thérapeutique de maturation sur les composantes criminogènes de sa personnalité. Il était donc attendu du recourant qu'il entreprenne concrètement un tel travail sur lui-même, avant de pouvoir envisager un élargissement du régime de détention. Par ailleurs, à la lecture des réponses du recourant aux questions posées sur son futur emploi et sur l'entreprise de son cousin lors de l'audience du 27 octobre 2020 (P. 13 p. 6), les projets du recourant au Kosovo devaient être davantage élaborés afin de permettre, à terme, de constituer un facteur protecteur suffisant.
4.3. Le recourant soutient que sous l'angle du pronostic différentiel, il fallait retenir que le fait d'exécuter la totalité de la peine privative de liberté ne permettrait pas de modifier son état d'esprit et ne ferait qu'accroître les effets stigmatisants et aliénants de la détention. L'exécution complète de la peine ne favoriserait donc pas mieux la réinsertion sociale que la libération conditionnelle, de sorte qu'il y avait lieu d'octroyer cette dernière.
Le recourant méconnaît qu'en toute hypothèse, la libération conditionnelle ne peut pas être accordée si l'intérêt public à la sécurité publique prévaut au regard du pronostic et de l'importance des biens juridiques menacés (cf. consid. 1.4, premier paragraphe in fine ci-dessus). Or, selon les constatations de la cour cantonale, que le recourant ne discute pas, le risque de récidive est élevé. Il n'est pas contesté non plus que les biens juridiques en cause (vie et intégrité corporelle) sont de grande valeur. Dans cette mesure, le refus de la libération conditionnelle s'impose en l'espèce. Pour le surplus, la cour cantonale a constaté que le recourant pourrait mettre à profit le temps passé en détention pour entreprendre un travail sur lui-même. L'autorité précédente pouvait ainsi, sans violer le droit fédéral, considérer que les conditions pour octroyer la libération conditionnelle n'étaient pas réalisées.
5.
Pour le reste, le recourant ne soulève pas d'autre grief à l'encontre du refus de sa libération conditionnelle. Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera fixé en tenant compte de sa situation financière.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 13 août 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy