Faits :
A.
A.a. Par jugement du 3 mars 2011, confirmé le 15 août 2011 par la Cour d'appel pénale du Tribunal cantonal du canton de Vaud, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné A._ (alias A.A._) à une peine privative de liberté de sept ans, sous déduction de 278 jours de détention avant jugement, pour tentative de meurtre, agression, lésions corporelles simples qualifiées et infraction à la LEtr (depuis le 1er janvier 2019 : LEI).
Le terme de cette peine privative de liberté était fixé au 29 mai 2017. A._ est toutefois resté incarcéré au titre d'exécution de peines privatives de liberté de substitution relatives à des peines pécuniaires qui lui avaient été infligées les 7 février 2014 et 30 septembre 2015. Le solde des peines pécuniaires en question ayant été acquitté le 20 juillet 2017, le prénommé s'est trouvé, dès le jour suivant, en détention pour des motifs de sûreté.
A.b. Par jugement du 30 juin 2017, le Tribunal criminel de l'arrondissement de Lausanne a invité le Ministère public du canton de Vaud à examiner l'opportunité de saisir la Cour d'appel pénale en vue de l'examen du prononcé d'un internement à l'endroit de A._.
A.c. Le 4 juillet 2017, le ministère public a demandé à la Cour d'appel pénale la révision, en défaveur de A._, du jugement du 15 août 2011, respectivement le prononcé d'un internement.
B.
B.a. Par jugement du 1 er septembre 2017, la Cour d'appel pénale a admis la demande de révision présentée par le ministère public et a renvoyé la cause au Tribunal criminel de l'arrondissement de Lausanne pour nouvelle décision dans le sens des considérants. Le recours formé par A._ contre ce jugement a été déclaré irrecevable par le Tribunal fédéral le 22 décembre 2017 (6B_1186/2017).
B.b. Par jugement du 8 juin 2018, le Tribunal criminel de l'arrondissement de Lausanne a ordonné la mise en oeuvre d'une mesure d'internement sur la personne de A._, au sens de l'<ref-law>, ainsi que son maintien en détention pour des motifs de sûreté.
B.c. Par jugement du 22 novembre 2018, la Cour d'appel pénale a rejeté l'appel formé par l'intéressé contre ce jugement et a confirmé celui-ci. Elle a en outre ordonné son maintien en détention pour des motifs de sûreté. Ce jugement a été confirmé par le Tribunal fédéral le 11 mars 2019 (6B_157/2019).
C.
Par décision du 15 septembre 2020, le Collège des Juges d'application des peines a libéré conditionnellement A._ de l'internement prononcé le 8 juin 2018 au premier jour utile où son renvoi pourrait être mis en oeuvre et a fixé à deux ans la durée du délai d'épreuve imparti au condamné.
Par arrêt du 23 novembre 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a admis le recours interjeté par le Ministère public central contre la décision du 15 septembre 2020. Elle a réformé la décision attaquée en ce sens qu'elle a refusé la libération conditionnelle de l'internement à A._.
Il en ressort ce qui suit.
C.a. A._ est né en 1970 en Algérie, pays dont il est ressortissant.
En Espagne, le prénommé a été condamné pour infraction à la législation sur les étrangers et a été expulsé du territoire de ce pays.
En France, entre 1993 et 1996, A._ a été condamné cinq fois à des peines privatives de liberté, assorties d'interdictions de territoire, pour vol, entrée ou séjour irrégulier en France, pénétration non autorisée sur le territoire après interdiction, prise du nom d'un tiers entraînant une inscription au casier judiciaire et violence commise en réunion.
En Suisse, outre la condamnation de 2011, l'intéressé a été condamné, en 2005, pour vol, dommages à la propriété et brigandage, en 2014, pour lésions corporelles simples et injure, ainsi qu'en 2015, pour diffamation, injure et menaces.
C.b. A._ a été soumis à une première expertise psychiatrique. Dans un rapport daté du 1er août 2015, le Dr B._ a indiqué que l'intéressé souffrait de schizophrénie paranoïde se manifestant par la présence d'idées délirantes relativement stables, en rémission incomplète mais "traitées" par le cadre. Cet expert a précisé que " la présence de ce diagnostic participe aux facteurs de risque puisqu'il altère, chez Monsieur [A._], des traitements symboliques de stress tant interne qu'externe. Cela constitue objectivement un facteur clinique de risque moyen à élevé de passage à l'acte. Ce risque est actuellement très largement tempéré par le cadre " offert " à Monsieur ".
C.c. Sur ordre du Président du Tribunal criminel de l'arrondissement de Lausanne, A._ a fait l'objet d'une seconde expertise psychiatrique. Dans un rapport daté du 16 décembre 2016, le Dr C._ a exposé que l'intéressé souffrait de troubles spécifiques de la personnalité - trouble de la personnalité dyssociale sévère - et de dépendance à l'alcool, utilisation nocive pour la santé. Cet expert a conclu à l'existence d'un risque élevé de récidive s'agissant d'infractions évoquées à l'<ref-law>. Il a ajouté qu'il n'existait, en l'état actuel des connaissances en psychiatrie, aucun moyen d'amender le trouble dont souffrait A._.
C.d. Il ressort du rapport du Service de médecine et de psychiatrie pénitentiaires du 20 décembre 2019 que le condamné a été vu à quatre reprises régulièrement, depuis novembre 2019 alors qu'il avait jusqu'ici décliné le suivi proposé.
C.e. Le 31 décembre 2019, la Direction des Établissements pénitentiaires de la plaine de l'Orbe (ci-après: EPO) a préavisé défavorablement à la libération conditionnelle de A._, estimant qu'un élargissement anticipé apparaissait prématuré en l'état.
C.f. Selon l'évaluation criminologique réalisée le 20 janvier 2020, si A._ reconnaît les faits pour lesquels il a été condamné, il minimise sa responsabilité, ainsi que le tort causé à sa victime, estime avoir agi défensivement uniquement et démontre des capacités empathiques limitées. Le risque de récidive générale et violente est considéré comme élevé, alors que le niveau des facteurs de protection est quant à lui jugé comme moyen.
C.g. Le 16 mars 2020, l'Office d'exécution des peines du canton de Vaud (ci-après: l'OEP) a proposé au Collège des Juges d'application des peines de refuser à A._ la libération conditionnelle de l'internement, invoquant notamment l'importance du bien juridiquement protégé, le risque de récidive très élevé ainsi que le fait qu'un engagement volontaire dans un processus thérapeutique n'en était qu'à ses prémisses.
D.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt cantonal du 23 novembre 2020 et conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens que la décision du 15 septembre 2020 est confirmée. Subsidiairement, il conclut à ce que les chiffres I, II, IV, V et VI de l'arrêt attaqué soient annulés et au renvoi de la cause à l'autorité inférieure pour nouvelle décision au sens des considérants. Il sollicite également le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est ouvert contre les décisions sur l'exécution de peines et de mesures (<ref-law>).
2.
Le recourant invoque une violation de l'<ref-law> et du principe de territorialité. Relevant que la libération conditionnelle de l'internement prononcé ne serait, le cas échéant, effective que moyennant une expulsion vers l'Algérie, il reproche aux autorités suisses de " s'immiscer dans la sécurité intérieure de l'Algérie " et de procéder " matériellement à un exercice extra-territorial de la compétence d'exécution ", en violation du droit international public. En outre, s'agissant de la sécurité strictement limitée à l'ordre juridique suisse, il soutient que celle-ci apparaît " suffisamment assurée " dès lors qu'un éventuel retour en zone Schengen après son départ en Algérie ne sera guère possible.
2.1. En vertu du principe de territorialité, un État ne peut en principe exercer les prérogatives liées à sa souveraineté - dont le pouvoir répressif - qu'à l'intérieur de son propre territoire (cf. <ref-ruling> consid. 2.2 p. 41 et les références citées, notamment <ref-ruling> consid. 2.4 p. 89; arrêts 6B_282/2019 du 5 avril 2019 consid. 3; 6B_248/2017 du 17 mai 2017 consid. 3.3). Eu égard à ces principes, un État n'est pas non plus habilité à effectuer des mesures d'instruction et de poursuite pénale sur le territoire d'un autre État sans le consentement de ce dernier (<ref-ruling> consid. 2.2 p. 42 et les références citées, notamment <ref-ruling> consid. 3.2 p. 24; <ref-ruling> consid. 5.3 p. 121). Les États se doivent de respecter réciproquement leur souveraineté. Les actes de puissance publique accomplis par un État ou par ses agents sur le territoire d'un autre sans le consentement de ce dernier sont inadmissibles (<ref-ruling> consid. 2.2 p. 42 et les références citées, notamment <ref-ruling> consid. 9.4.3 p. 50; <ref-ruling> consid. 2.5.1 p. 239) et constituent une atteinte à la souveraineté et à l'intégrité territoriale de l'État concerné, ce qui est une violation du droit international public (<ref-ruling> consid. 2.4 p. 89; arrêts 6B_282/2019 du 5 avril 2019 consid. 3; 6B_248/2017 du 17 mai 2017 consid. 3.3).
2.2. Aux termes de l'<ref-law>, le Code pénal suisse est applicable à quiconque commet un crime ou un délit en Suisse. Cette disposition consacre le principe de territorialité. Il s'agit du principe de base applicable en droit pénal international, selon lequel la compétence pour connaître d'une infraction ressortit à l'État sur le territoire duquel cette dernière a été commise (<ref-ruling> consid. 2.3.1 p. 270; <ref-ruling> consid. 2b/bb p. 148 s.; <ref-ruling> consid. 3 p. 146).
2.3. Selon l'<ref-law>, l'auteur est libéré conditionnellement de l'internement dès qu'il est à prévoir qu'il se conduira correctement en liberté. Le délai d'épreuve est de deux à cinq ans. Une assistance de probation peut être ordonnée et des règles de conduite peuvent lui être imposées pour la durée de la mise à l'épreuve. La libération conditionnelle de l'internement au sens de l'<ref-law> dépend d'un pronostic favorable. Elle ne pourra être ordonnée que s'il est hautement vraisemblable que l'intéressé se comportera correctement en liberté (<ref-ruling> consid. 2.4 p. 62; arrêt 6B_658/2019 du 17 juillet 2019 consid. 4.2). La condition de la prévisibilité d'une conduite correcte en liberté doit être appréciée par rapport aux seules infractions énumérées à l'<ref-law> (<ref-ruling> consid. 2.1.1 p. 167; arrêt 6B_658/2019 précité consid. 4.2). Le pronostic doit être posé en tenant compte du comportement du condamné dans son ensemble et plus particulièrement de sa collaboration face aux traitements prescrits par les médecins, de la prise de conscience des actes à la base de sa condamnation, de ses aptitudes sociales et, notamment, de ses capacités à vivre en communauté et à résoudre des conflits potentiels. Il est difficile d'évaluer, à sa juste valeur, la dangerosité d'un détenu, dès lors que celui-ci évolue précisément dans un milieu conçu aux fins de le neutraliser (<ref-ruling> consid. 2.1.2 p. 167 et plus récemment arrêt 6B_658/2019 précité consid. 4.2). En matière de pronostic, le principe " in dubio pro reo " ne s'applique pas (<ref-ruling> consid. 1.2 p. 203; plus récemment arrêt 6B_658/2019 précité consid. 4.2).
2.4. La cour cantonale a considéré que, même si une réinsertion en Algérie aurait probablement plus de chances de succès, il n'empêchait qu'au vu du risque élevé de récidive relevé par tous les acteurs du terrain, les conditions d'une libération conditionnelle n'étaient pas réunies. Il n'était ainsi pas possible, en l'état actuel, de considérer comme hautement vraisemblable que le recourant se comporte correctement une fois remis en liberté, sans autre cadre que celui qu'il voudrait bien se donner.
2.5. En l'espèce, on ne discerne pas en quoi l'arrêt attaqué violerait le principe de territorialité tel qu'il est prévu à l'<ref-law>, dès lors que celui-ci concerne l'application du Code pénal suisse à toute personne ayant commis une infraction en Suisse. Par ailleurs, contrairement au recourant, on ne voit pas non plus en quoi l'autorité précédente, en refusant de le libérer conditionnellement d'une mesure qui a été prononcée contre lui par les autorités suisses à la suite d'infractions qu'il a commises sur le territoire suisse, aurait " soumis le contrôle d'agissements de l'État algérien ou de ses agents à un tribunal suisse ", en violation du principe d'égalité des États et d'absence de hiérarchie entre eux (cf. <ref-ruling> consid. 2.2 p. 143). Enfin, ce n'est pas parce que l'autorité a examiné de manière générale le risque de récidive, sans se limiter expressément aux seules infractions qui pourraient être commises en Suisse, qu'elle a porté atteinte à la souveraineté de l'État algérien (cf. notamment arrêt 6B_586/2017 du 8 juin 2017 consid. 2).
C'est également en vain que le recourant soutient qu'il n'existerait pas de risque de récidive en Suisse dès lors qu'en cas de libération conditionnelle, il serait expulsé vers l'Algérie avec son accord et le Service d'État aux migrations prononcerait en principe une interdiction d'entrée valable pour tout l'espace Schengen, en application de l'art. 67 al. 1 LEI. Il fonde en effet son argumentation sur des éléments qui ne ressortent pas de l'arrêt attaqué, sans démontrer l'arbitraire de leur omission, de sorte que son argumentation apparaît irrecevable. Au demeurant, contrairement à ce que semble penser le recourant, une perspective d'un départ à l'étranger, soit en l'occurrence une éventuelle expulsion du territoire suisse, voire le prononcé d'une éventuelle interdiction d'entrée en Suisse, ne permet pas à elle seule de justifier une libération conditionnelle de l'internement une fois la peine privative de liberté exécutée (cf. arrêt 6B_481/2017 du 15 septembre 2017 consid. 5.7; cf. aussi arrêt 6B_403/2017 du 10 octobre 2017 consid. 2.3). Par ailleurs, il convient de relever que, même si le recourant était soumis à l'obligation de quitter immédiatement la Suisse en cas de libération conditionnelle et qu'il s'était engagé à le faire, on ne peut pas totalement exclure qu'il y revienne par la suite, étant par ailleurs rappelé que l'intéressé a été condamné dans trois États différents pour séjour illégal.
Compte tenu de ce qui précède, le grief du recourant doit être rejeté dans la mesure où il est recevable.
3.
Le recourant reproche à la cour cantonale d'avoir violé l'<ref-law> et invoque un établissement arbitraire des faits.
2.1. Aux termes de l'<ref-law>, l'autorité compétente examine, d'office ou sur demande, au moins une fois par an et pour la première fois après une période de deux ans, si l'auteur peut être libéré conditionnellement de l'internement et, si tel est le cas, quand il peut l'être (let. a). Elle examine au moins une fois tous les deux ans et pour la première fois avant le début de l'internement, si les conditions d'un traitement thérapeutique institutionnel sont réunies et qu'une demande en ce sens doit être faite auprès du juge compétent (let. b). Selon l'al. 2 de cette disposition, l'autorité prend la décision selon l'al. 1 en se fondant sur un rapport de la direction de l'établissement (let. a), une expertise indépendante au sens de l'<ref-law> (let. b), l'audition d'une commission au sens de l'<ref-law> (let. c) et l'audition de l'auteur (let. d).
Selon la jurisprudence, le juge peut se fonder sur une expertise qui figure déjà au dossier si celle-ci est encore suffisamment actuelle. L'élément déterminant pour trancher de cette question n'est pas le temps qui s'est écoulé depuis le moment où l'expertise a été établie, mais plutôt l'évolution qui s'est produite dans l'intervalle. Il est ainsi parfaitement concevable de se fonder sur une expertise relativement ancienne si la situation ne s'est pas modifiée entre-temps (<ref-ruling> consid. 4.3 p. 254; plus récemment arrêt 6B_72/2020 du 8 avril 2020 consid. 2.1). Savoir si les circonstances se sont modifiées depuis la première expertise relève du fait (<ref-ruling> consid. 2a p. 238; plus récemment arrêt 6B_72/2020 précité consid. 2.1). Déterminer si les circonstances nouvelles dûment constatées imposent de réitérer l'expertise est une question d'appréciation, soit de droit (<ref-ruling> consid. 2 p. 163; arrêt 6B_72/2020 précité consid. 2.1).
2.2. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156).
2.3. La cour cantonale a rappelé que l'élément décisif pour admettre une libération conditionnelle de l'internement était le risque de récidive, lequel était en l'occurrence jugé très élevé par tous les acteurs du terrain. Elle a relevé que le recourant semblait évoluer dans sa prise de conscience mais que celle-ci n'en était qu'à ses débuts. En se référant aux deux expertises de 2015 et 2016, elle a retenu qu'il n'était pas possible de garantir qu'il était hautement vraisemblable que le recourant se comporte correctement une fois remis en liberté. Elle s'est également référée au jugement du 8 juin 2018 et a relevé qu'aucun élément nouveau n'était intervenu depuis celui-ci et qu'aucun intervenant n'avait posé un diagnostic différent.
2.4. En l'espèce, le recourant reproche d'abord à la cour cantonale de ne citer qu'un élément du rapport du Dr B._ du 1er août 2015 relatif au risque de récidive, sans mentionner les considérations de l'expert " quant à la personnalité du recourant ainsi qu'à ses chances de traitement ". Ce faisant, il n'expose cependant pas précisément quels faits auraient été arbitrairement omis, de sorte que son grief est irrecevable (art. 106 al 2 LTF).
2.5. Le recourant reproche ensuite à la cour cantonale de ne pas avoir mentionné qu'il ressortait du plan de sanction du mois de février 2020 qu'il poursuivait son suivi volontaire en se montrant preneur de cet espace de parole, qu'il adoptait un comportement adéquat en entretien et que l'alliance thérapeutique était en cours de construction.
La cour cantonale a retenu que, selon le plan d'exécution de la sanction, seul un maintien au pénitencier des Établissements de la plaine de l'Orbe (EPO) était envisagé. Il ressort cependant de l'arrêt attaqué, en particulier du rapport du Service de médecine et de psychiatrie pénitentiaires du 20 décembre 2019, que le recourant est suivi régulièrement depuis novembre 2019, qu'il sollicite le service médical pour des besoins concrets, qu'il se montre courtois et qu'il se dit prêt à collaborer pour travailler sur sa problématique personnelle. La cour cantonale retient d'ailleurs que le recourant semble évoluer dans sa prise de conscience. Dans ces conditions, le recourant ne parvient pas à démontrer que des éléments de faits auraient été omis de manière arbitraire. Son grief est dès lors rejeté.
2.6. Le recourant soutient que, dès lors qu'il a entamé un suivi psychiatrique volontaire depuis plus d'une année, la situation se serait modifiée depuis les deux expertises de 2015 et 2016, de sorte que celles-ci ne seraient plus d'actualité.
Contrairement à ce que semble soutenir le recourant, la cour cantonale a bel et bien tenu compte du suivi psychiatrique initié par le recourant dans le cadre de l'examen de la libération conditionnelle. Elle a cependant considéré que la prise de conscience du recourant n'en était qu'à ses débuts, alors qu'il était emprisonné depuis plus de 10 ans. Elle a ainsi retenu en substance que les circonstances ne s'étaient pas modifiées depuis le jugement du 8 juin 2018 et les expertises de 2015 et 2016 sur lesquelles celui-ci s'était fondé et qu'en particulier aucun intervenant n'avait posé un diagnostic différent. Dans son recours, le recourant se contente essentiellement de répéter qu'il a initié un suivi, sans toutefois démontrer en quoi l'appréciation de la cour cantonale serait arbitraire ou violerait le droit fédéral, étant au demeurant rappelé que, d'une part, le risque élevé de récidive retenu dans les expertises de 2015 et 2016 a également été mis en évidence dans l'évaluation criminologique du 20 janvier 2020 et que, d'autre part, plusieurs intervenants, dont l'Office d'exécution des peines dans son préavis négatif du 16 mars 2020, ont relevé qu'un engagement volontaire dans un processus thérapeutique n'en était qu'à ses prémisses, de sorte qu'un pronostic favorable quant au comportement futur du recourant ne pouvait pas être posé.
Il s'ensuit que la cour cantonale n'a pas violé le droit fédéral en fondant sa décision sur les expertises de 2015 et de 2016 figurant au dossier.
Pour le surplus, c'est en vain que le recourant reproche à la cour cantonale de s'être " fondée " sur le jugement du 8 juin 2018 rendu par le tribunal criminel, au motif qu'il n'appartiendrait pas à cette autorité de " poser un diagnostic médical ". En effet, comme on l'a vu ci-dessus, la cour cantonale n'a pas fondé le refus de la libération conditionnelle sur ce jugement, mais sur les avis convergents des différents intervenants ainsi que sur deux expertises psychiatriques.
2.7. Le recourant reproche à la cour cantonale de n'avoir retenu que les conclusions de l'évaluation criminologique du 20 janvier 2020, soit que les niveaux de risques de récidive générale et violente étaient élevés, sans mentionner les facteurs de risque et les facteurs de protection retenus. Or, il soutient qu'il a démontré qu'il pouvait vivre auprès de son père en Algérie, avoir un travail et continuer son suivi psychiatrique, de sorte que, selon lui, les facteurs de risque mentionnés dans l'évaluation du 20 janvier 2020 n'existeraient plus lors de son retour dans son pays natal.
La cour cantonale a relevé qu'une insertion en Algérie aurait probablement plus de chances de succès, mais a estimé que, compte tenu du risque de récidive élevé retenu notamment dans les expertises de 2015 et 2016, on ne pouvait pas garantir en l'état qu'il était hautement vraisemblable que le recourant se comporte correctement une fois remis en liberté, sans autre cadre que celui qu'il voudrait bien se donner.
Par son argumentation, le recourant se contente à nouveau d'opposer sa propre appréciation à celle de la cour cantonale, en se fondant notamment sur des éléments qui ne ressortent pas de l'arrêt attaqué, sans démontrer en quoi la cour cantonale aurait arbitrairement omis de retenir ceux-ci (cf. <ref-law>). Au demeurant, le recourant ne peut être suivi lorsqu'il soutient que les facteurs de risque mentionnés n'existeraient plus s'il vivait en Algérie auprès de son père et y travaillait. En effet, si l'évaluation criminologique du 20 janvier 2020 retient bel et bien la famille comme facteur de protection, les facteurs de risque qui y sont décrits comprennent notamment les antécédents et comportements antisociaux du recourant, son absence de formation, le fait qu'il n'a jamais bénéficié d'une situation professionnelle stable, son absence actuelle de participation à l'atelier en détention ainsi que l'isolement social dans lequel il semble se trouver actuellement (cf. <ref-law>; pièce 3/8 du dossier cantonal). Le grief du recourant doit donc être rejeté dans la mesure où il est recevable.
2.8. En définitive, compte tenu du risque élevé de récidive encore présenté par le recourant et de l'importance des biens juridiques menacés, la cour cantonale n'a pas violé le droit fédéral en refusant d'accorder au recourant la libération conditionnelle.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Dès lors que le recourant est dans le besoin et que ses conclusions ne paraissaient pas d'emblée vouées à l'échec, sa requête d'assistance judiciaire doit être admise (<ref-law>). Par conséquent, il y a lieu de le dispenser des frais et d'allouer une indemnité à son mandataire, désigné comme avocat d'office (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est admise. Me Bertrand Demierre est désigné comme conseil d'office et une indemnité de 3'000 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 31 mars 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Thalmann