Faits :
A.
Par jugement du 23 mai 2017 prononcé par le Tribunal de police de l'arrondissement de l'Est vaudois, A._ a été condamné à une peine privative de liberté de 60 jours, résultant de la conversion d'une peine pécuniaire impayée, pour infraction et contravention à la loi fédérale sur les stupéfiants (RS 812.121) et séjour illégal et à un jour de privation de liberté, à la suite de la conversion d'une amende impayée.
Par jugement du 6 juillet 2017 prononcé par le Tribunal de police de l'arrondissement de l'Est vaudois, A._ a été condamné à une peine privative de liberté de 30 jours, résultant de la conversion d'une peine pécuniaire impayée, pour tentative de vol et séjour illégal.
Par jugement du 27 mars 2019 prononcé par le Tribunal correctionnel de l'arrondissement de l'Est vaudois, A._ a été condamné à une peine privative de liberté de 4 ans pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (commission en commun), infraction et contravention à la loi fédérale sur les stupéfiants et séjour illégal. En outre, son expulsion du territoire suisse a été ordonnée pour une durée de 10 ans. Ce jugement a été confirmé par arrêt du 2 septembre 2019 de la Cour d'appel pénale puis par arrêt du 11 mars 2020 du Tribunal fédéral (6B_1362/2019).
Actuellement en exécution de peine, A._ a atteint les deux tiers de la peine le 16 février 2021, dont le terme est fixé au 19 juillet 2022.
B.
Par ordonnance du 16 février 2021, la Juge d'application des peines a refusé d'accorder à A._ la libération conditionnelle.
C.
Par arrêt du 12 mars 2021, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre l'ordonnance du 16 février 2021, qu'elle a confirmée.
L'arrêt entrepris repose sur les faits suivants.
C.a. Le 22 septembre 2020, une évaluation criminologique de A._ a été effectuée. " Sous observations générales relatives aux entretiens ", il était mentionné que le condamné avait accepté de répondre à l'ensemble des questions, mais que des difficultés d'élaboration étaient rapidement apparues " lorsque ses réponses nécessitaient une réflexion plus poussée, notamment sur le plan émotionnel ". Concernant l'analyse du processus de passage à l'acte, A._, bien que déplorant le décès de la victime, ne considérait pas avoir commis d'infraction de nature sexuelle, niant également avoir échangé les services de cette dernière contre des stupéfiants ou avoir encouragé ses comparses à entretenir des rapports sexuels avec elle. Le soir des faits, il aurait également consommé diverses substances, ce qui aurait pu jouer un rôle désinhibiteur, et, partant, facilitateur dans l'adoption d'un comportement délictueux. Le niveau de risque de récidive générale pouvait être qualifié de moyen. S'agissant des facteurs spécifiques liés à la récidive sexuelle, A._ présentait un facteur de risque qui se situait au-dessus de la moyenne. En dehors du milieu carcéral, il pourrait bénéficier d'un certain soutien auprès de sa famille en Algérie et de son frère en France mais, selon son discours, le condamné peinait à se tourner vers eux s'il avait besoin d'aide et ses projets n'étaient, de toute façon, pas de retourner en Algérie.
C.b. Dans son rapport établi le 21 octobre 2020, la direction de la Prison de U._ a émis un préavis défavorable à la libération conditionnelle de A._. En effet, le condamné n'avait pas la volonté de rentrer dans son pays d'origine, et dès lors qu'il n'avait aucun statut légal ni en Suisse, ni en France, où il projetait de vivre, il ne bénéficierait pas d'un encadrement social favorisant sa réinsertion durable. En outre, bien que son comportement se soit stabilisé depuis un certain temps, il avait fait l'objet de sept sanctions disciplinaires pour avoir violé les règles en vigueur dans l'établissement, ainsi que pour avoir été testé positif au THC à deux reprises.
C.c. Le 12 novembre 2020, l'Office d'exécution des peines (ci-après : OEP) a saisi la Juge d'application des peines d'une proposition de refus de la libération conditionnelle de A._, estimant que le pronostic quant à son comportement futur était défavorable, notamment en lien avec sa situation administrative. Le condamné n'avait pas pris conscience de la gravité des actes perpétrés, il considérait ne pas avoir commis d'infraction d'ordre sexuel, et n'envisageait aucunement un retour en Algérie.
C.d. Entendu le 19 janvier 2021 par la Juge d'application des peines, A._, a déclaré en substance qu'il était conscient de ce qu'il avait fait et qu'il en avait honte. Il a notamment ajouté qu'il s'agissait d'un " accident ", que " cela arrivait ", que c'était " peut-être à cause de la drogue ", que " c'était la cocaïne qui lui avait fait faire ça ". S'agissant de ses projets d'avenir, il a indiqué qu'un retour en Algérie était " impossible ", qu'il envisageait de rester en Suisse à sa sortie de prison ou de se rendre en France, mais qu'il ne collaborerait pas avec les autorités en vue de son renvoi.
C.e. Le 25 janvier 2021, le ministère public s'est rallié au préavis négatif de l'OEP, observant que A._ était toujours opposé à son expulsion du territoire suisse, ce qui le ferait sombrer dans la clandestinité, avec le risque important de récidive que cela présentait, ce d'autant plus qu'il ne semblait toujours pas avoir pris la mesure de ses actes passés.
D.
A._ forme un recours en matière pénale au Tribunal fédéral à l'encontre de l'arrêt de la Chambre des recours pénale du 12 mars 2021. Il conclut principalement, sous suite de frais et dépens, à sa réforme en ce sens que la libération conditionnelle lui soit accordée, subsidiairement, à son annulation et au renvoi de la cause à la Chambre des recours pénale pour nouvelle instruction et nouveau jugement. Il sollicite par ailleurs l'assistance judiciaire et la désignation de son conseil en qualité de défenseur d'office.

Considérant en droit :
1.
Se prévalant de son droit d'être entendu et invoquant la violation des art. 29 al. 2 Cst., 6 CEDH et 68 CPP, le recourant fait grief à la cour cantonale de ne pas avoir écarté du dossier l'évaluation criminologique du 22 septembre 2020 alors que celle-ci s'était déroulée en langue française et qu'il n'était pas assisté d'un interprète, bien qu'il n'eût pas une maîtrise suffisante de cette langue.
Le recourant critique l'appréciation cantonale sur sa maîtrise de la langue française. Dans cette mesure, il en conclut que l'expertise était viciée et n'aurait pas due être considérée comme probante. Son grief relève donc de l'appréciation des preuves.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.1, 88 consid. 1.3.1).
Savoir si une expertise est convaincante est une question d'interprétation des preuves, que le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire. Lorsque l'autorité cantonale juge l'expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer (<ref-ruling> consid. 6.1 p. 373; arrêts 6B_995/2020 du 5 mai 2021 consid. 4.1.1; 6B_360/2020 du 8 octobre 2020 consid. 2.3 non destiné à la publication). Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire. Sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (<ref-ruling> consid. 4.2.3 p. 391; arrêts 6B_995/2020 précité consid. 4.1.1; 6B_1117/2020 du 2 novembre 2020 consid. 3.1.2).
1.2. L'instance cantonale a motivé les raisons pour lesquelles elle estimait que le recourant était à même d'effectuer les entretiens avec les experts en français, à savoir que bien qu'il ait été assisté d'un interprète au long de la procédure pénale et qu'il ait indiqué avoir des difficultés en français, le recourant n'a jamais indiqué ne pas comprendre et ne pas parler cette langue. Il a communiqué en français avec la personne ayant rempli en allemand le formulaire annexé à la pièce 3/18. Or, ces indications sur sa situation correspondaient à celles données par le recourant en janvier 2021, de sorte qu'il a réussi à se faire comprendre par son interlocuteur. Le recourant s'est exprimé à plusieurs reprises en français à l'audience devant le premier juge (lignes 156, 161, et 170). De plus, l'évaluation criminologique indiquait que les entretiens s'étaient déroulés dans un climat calme et que le recourant avait répondu à l'ensemble des questions, les auteurs du rapport précisaient que des difficultés d'élaboration étaient apparues " lorsque ses réponses nécessitaient une réflexion plus poussée, notamment sur le plan émotionnel ". En outre, la cour cantonale relevait que tout au long de la procédure pénale, le recourant avait évolué dans le déni des faits et l'absence de conscience de ses actes. Dans ces circonstances, les différences entre l'évaluation criminologique et son audition en ce qui concerne l'analyse du processus de passage à l'acte ne pouvaient s'expliquer par un problème de compréhension ou de traduction. Par ailleurs, les évaluateurs avaient, à juste titre, constaté l'incapacité du recourant à s'inscrire dans un projet professionnel à long terme et de demander de l'aide, ainsi que l'adoption d'une position passive quasi systématique, dès lors que les données avaient été récoltées entre le 23 juillet et le 8 septembre 2020 (cf. évaluation, note 1), alors que " la promesse d'embauche " pour un travail dans un hôtel à V._ datait du 13 septembre 2020 et " l'attestation d'hébergement " du 16 septembre 2020 (P. 18/3). En outre, il ressortait de la liste des visites figurant dans le rapport de la prison que le chargé d'évaluation avait rencontré le recourant les 27 et 28 août 2020 (P. 37/18, p. 7). Enfin, le refus du premier juge d'accorder la libération conditionnelle n'était pas fondé que sur cette évaluation mais était basé sur les préavis des divers intervenants, tous défavorables à la libération conditionnelle du recourant.
1.3. Lorsque le recourant soutient qu'il ne parlait pas suffisamment le français pour que son évaluation criminologique se déroule dans cette langue, ou encore que des divergences - qu'il ne désigne pas, sous réserve de celle discutée ci-après, - entre le contenu de l'évaluation criminologique et ses déclarations lors de l'audience devant le juge d'application des peines attestaient d'un problème de compréhension linguistique, il procède par affirmations sans discuter la motivation cantonale qui expose les éléments sur lesquels elle s'est fondée pour retenir que le recourant n'avait pas besoin d'être assisté d'un interprète pour l'évaluation criminologique. Pour le reste, il ne fait que substituer son appréciation des faits à celle de la cour cantonale. Son grief est, dans cette mesure, largement appellatoire, partant irrecevable.
1.4. Pour le surplus, le recourant se limite à alléguer avoir déclaré devant la Juge d'application des peines qu'il avait vécu avec une femme pendant une année et demie en entretenant avec elle des relations sexuelles régulières. Or, cet élément n'était pas ressorti de son audition avec les évaluateurs, dont le rapport indiquait que le prénommé n'avait " jamais entretenu de relations stables ayant impliqué conjointement une dimension affective, des relations sexuelles et une cohabitation ", ce qui constituait un élément pertinent dans l'évaluation du risque de récidive. Cela démontrait qu'il n'avait pas saisi le sens des questions posées, respectivement que les évaluateurs n'avaient pas compris ses réponses.
Il ne ressort pas du jugement entrepris que le recourant se serait prévalu d'une telle divergence ni à l'audience devant la Juge d'application des peines le 19 janvier 2021, ni devant la cour cantonale. En tout état, une telle divergence ne révèle pas pour autant qu'il ne maitrisait pas suffisamment la langue française au vu des motifs retenus par l'autorité cantonale. Il sera en effet relevé que le recourant ne prétend pas avoir demandé l'assistance d'un interprète pour la réalisation de l'évaluation criminologique du 22 septembre 2020 et que sa requête lui aurait été refusée, ni s'être plaint aux évaluateurs de difficultés de compréhension. Lorsque la Juge d'application des peines l'a invité à se déterminer sur les conclusions de l'évaluation criminologique, il n'a pas non plus fait mention d'un quelconque problème de compréhension en raison de la langue utilisée (ordonnance du 16 février 2021, p. 6). Lors de cette audience, le recourant a répondu aux questions en s'exprimant tantôt en arabe et tantôt en français, et sans que l'interprète présent à l'audience n'ait eu besoin de traduire les questions de son avocat (ordonnance précitée, p. 7). Selon les constatations cantonales, qui ne sont pas contestées sous cet angle, il ne ressort pas du rapport d'expertise qu'il y ait eu une incompréhension linguistique avec les évaluateurs. Ces derniers ont uniquement relevé que le recourant se confrontait à des difficultés d'élaboration " lorsque ses réponses nécessitaient une réflexion plus poussée, notamment sur le plan émotionnel ", mais que, pour le reste, celui-ci avait accepté de répondre à l'ensemble des questions. La cour cantonale a également retenu, sans que le recourant ne discute ce point, que ce dernier avait, tout au long de la procédure, modifié sa version des faits, ce qui expliquait notamment l'existence de certaines différences entre le contenu de l'évaluation criminologique et celui de son audition devant la Juge d'application des peines. Pour le surplus, le recourant ne mentionne pas les questions ou les réflexions des évaluateurs qu'il n'aurait pas comprises.
Considérant les éléments mis en exergue ci-dessus, la divergence dont se prévaut le recourant entre le rapport d'évaluation criminologique et les explications données lors de l'audience de première instance, n'apparaît, dans ce contexte, pas déterminante, dès lors qu'elle peut s'expliquer autrement que par un problème de compréhension linguistique. En tout état, le recourant n'établit pas que la cour cantonale serait tombée dans l'arbitraire en jugeant qu'il avait une maîtrise suffisante du français pour que l'évaluation criminologique conduite dans cette langue puisse constituer un élément probant dans l'examen de sa libération conditionnelle.
1.5. Pour le reste, le recourant se plaint du fait que la cour cantonale n'a pas jugé nécessaire d'examiner la question de savoir si sa propre jurisprudence en matière d'expertise psychiatrique trouvait application dans le cas d'espèce. Il ne motive cependant nullement le grief de violation de son droit d'être entendu qu'il soulève sous cet angle, de sorte que celui-ci est irrecevable (cf. art. 106 al. 2 LTF).
2.
Le recourant discute le refus de sa libération conditionnelle. Il conteste que le pronostic ait pu être considéré comme défavorable.
2.1. Aux termes de l'art. 86 al. 1 CP, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception. Il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203). Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.2 et 2.3 p. 203; arrêt 6B_387/2021 du 13 août 2021 consid. 4.1). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont également pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive (<ref-ruling> consid. 1b p. 7), il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 115; arrêt 6B_387/2021 précité consid. 4.1). Afin de procéder à un pronostic différentiel, il sied de comparer les avantages et désavantages de l'exécution de la peine avec la libération conditionnelle (<ref-ruling> consid. 4a et consid. 5b/bb p. 196 ss; arrêts 6B_387/2021 précité consid. 4.1; 6B_18/2020 du 20 avril 2020 consid. 1.1.1; 6B_91/2020 du 31 mars 2020 consid. 1). S'il ne faut pas s'attendre à ce que le pronostic s'améliore de manière significative d'ici au terme de l'exécution de la peine, la priorité peut être accordée à l'intérêt de la sécurité publique au vu de la probabilité de la commission de nouvelles infractions et de l'importance des biens juridiques menacés (arrêt 6B_387/2021 précité consid. 4.1).
Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie de règles de conduite et d'un patronage, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (<ref-ruling> consid. 4d/aa et bb p. 198 ss).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
2.2. La cour cantonale a retenu un pronostic défavorable quant au comportement futur du recourant, en considération de la gravité des actes commis, de la faible prise de conscience du recourant, du peu de remord exprimé par celui-ci, de son amendement encore limité et de l'absence totale de préparation de sa réinsertion socioprofessionnelle dans son pays d'origine. Vu l'expulsion prononcée, une assistance de probation ou des règles de conduite n'entraient pas en ligne de compte. Une libération conditionnelle ne favoriserait donc pas mieux la resocialisation du recourant dans son pays d'origine que l'exécution de sa peine, du moins au stade actuel.
2.3. Quoi qu'en dise le recourant, la mention de ses antécédents dans l'arrêt attaqué, même s'ils ne sont pas spécifiques, est pertinente, car elle illustre ses difficultés à se conformer à l'ordre juridique suisse. Par ailleurs, l'argumentation du recourant concernant l'appréciation de la cour cantonale de sa difficulté à reconnaître le crime sexuel commis relève à nouveau d'une appréciation personnelle des faits qui se substitue à celle de l'instance cantonale. Cette démarche est dans cette mesure purement appellatoire, et partant irrecevable. La cour cantonale a motivé la raison pour laquelle elle émettait cette appréciation, à savoir qu'en persistant à soutenir que la drogue consommée ce soir-là avait eu un effet sur ses actes, et d'autre part en qualifiant cet événement comme étant " un accident ", le recourant continuait de minimiser la portée des faits et leur caractère odieux. Les considérations de la cour cantonale n'ont rien d'insoutenable.
En ce qui concerne son refus de retourner en Algérie et son défaut de collaboration à la préparation de sa réinsertion dans ce pays, le recourant prétend qu'il existe une impossibilité matérielle de retourner en Algérie, tous les vols étant suspendus en raison de la pandémie, ce qui ne voulait pas pour autant dire qu'il s'opposerait à son renvoi une fois qu'il serait de nouveau réalisable. Or, selon les constatations cantonales, avant même que les vols à destination de l'Algérie ne soient bloqués, le recourant avait refusé de prendre le vol qui lui avait été réservé le 14 septembre 2017 à cet effet. Dans le cadre de la présente procédure, il a réitéré le fait qu'il ne collaborerait pas en cas de renvoi et qu'il était " impossible " pour lui de retourner dans son pays d'origine. Au vu de son comportement et de ses propos oppositionnels à son renvoi, la cour cantonale pouvait considérer sans arbitraire que le recourant avait démontré qu'il n'avait pas l'intention d'y collaborer.
Le recourant conteste encore l'absence totale de préparation de sa réinsertion socio-professionnelle en alléguant que son frère s'était déclaré prêt à l'héberger et à lui trouver un emploi. Or, comme la cour cantonale l'a constaté, les projets professionnels du recourant et son installation en France sont purement idéals étant donné que celui-ci ne possède aucune autorisation de séjour dans ce pays. Dès lors qu'il refuse de retourner en Algérie, seul pays où il dispose d'un droit de séjour, la cour cantonale pouvait retenir que le recourant se retrouverait ainsi dans un contexte d'instabilité, soit précisément dans une situation similaire avant son incarcération, marquée par une consommation de stupéfiants.
Enfin, le recourant soutient que sous l'angle du pronostic différentiel, il ne minimisait pas la gravité de l'infraction commise et qu'il avait pris conscience de la problématique. Il était exclu qu'il commette à nouveau une telle infraction. Son passage en prison avait été suffisamment pénible et douloureux. Ainsi, sa dangerosité ne diminuerait pas en cas d'exécution complète de sa peine. Or, son grief est irrecevable dans la mesure où il se fonde sur des faits qu'il invoque librement, de surcroît en contradiction avec l'état de fait cantonal dont il ne démontre pas l'arbitraire. Au demeurant, le recourant ne discute pas la considération de la cour cantonale selon laquelle une assistance de probation ou des règles de conduite n'entraient pas en ligne de compte au vu de son expulsion. Enfin, il méconnaît qu'en toute hypothèse, la libération conditionnelle ne peut pas être accordée si l'intérêt public à la sécurité publique prévaut au regard du pronostic et de l'importance des biens juridiques menacés. Or, selon les constatations de la cour cantonale, le risque de récidive se situe au-dessus de la moyenne. Il n'est pas contesté non plus que le bien juridique en cause (intégrité sexuelle) est d'une grande valeur. Il en découle que le grief tiré d'une mauvaise application du pronostic différentiel est infondé, dans la mesure de sa recevabilité.
Au vu de ce qui précède, on ne saurait retenir que la cour cantonale a abusé de son pouvoir d'appréciation en établissant un pronostic défavorable vis-à-vis de l'intéressé. La cour cantonale pouvait ainsi, sans violer le droit fédéral, considérer que les conditions pour octroyer la libération conditionnelle n'étaient pas réalisées en l'espèce.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 25 octobre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy