Faits : A. Par décision du 21 avril 2020, le Tribunal de l'application des peines et des mesures du canton du Valais a prononcé le maintien de la mesure thérapeutique institutionnelle à laquelle A._ est astreint selon le jugement du Tribunal des districts de Martigny et St-Maurice du 21 juin 2016. Il a considéré que les conditions pour ordonner la levée de la mesure thérapeutique institutionnelle, respectivement la libération conditionnelle de ladite mesure n'étaient pas remplies. B. Dans son recours contre cette décision auprès de l'autorité cantonale compétente, A._ a conclu à sa libération conditionnelle de la mesure thérapeutique institutionnelle au sens de l'art. 62 al. 1 CP, arguant que le premier juge avait retenu à tort un pronostic défavorable. Subsidiairement, il a conclu au prononcé d'une mesure ambulatoire, en application du principe de proportionnalité prévu à l'art. 56a CP, précisant qu'un tel traitement pouvait être ordonné dans le cadre de la libération conditionnelle d'une mesure thérapeutique institutionnelle (art. 62 al. 3 CP). Enfin, plus subsidiairement, A._ a conclu à ce qu'il soit placé dans un établissement ouvert afin d'exécuter sa mesure, contestant en particulier l'existence d'un risque de récidive au sens de l'art. 59 al. 3 CP. C. Par ordonnance du 5 juin 2020, la Chambre pénale du Tribunal cantonal du Valais a rejeté le recours formé contre la décision du 21 avril 2020. Elle a également refusé l'assistance judiciaire gratuite et mis les frais à la charge de A._. Il en ressort ce qui suit. C.a. A._, ressortissant irakien né en 1993, est arrivé en Suisse vers l'âge de 8 ans. Son casier judiciaire suisse fait état d'une condamnation en 2009 pour voies de fait, vol, complicité de vol, délit manqué de vol, dommages à la propriété, utilisation frauduleuse d'un ordinateur, violation de domicile, délit manqué de vol d'usage, vol d'usage, conduite sans permis de conduire, contravention selon l'art. 96 OCR et contravention selon l'art. 19a aLStup, d'une condamnation en 2011 pour vol, dommages à la propriété, recel, violation de domicile, vol d'usage, conduite sans permis de conduire, usage abusif de permis et de plaques et contravention selon l'art. 19a LStup, d'une condamnation en 2014 pour vol, brigandage, dommages à la propriété, utilisation frauduleuse d'un ordinateur, tentative d'utilisation frauduleuse d'un ordinateur, violation de domicile, tentative de violation de domicile, contrainte sexuelle, vol d'usage, tentative de vol d'usage, conduite sans autorisation, délit selon l'art. 19 al. 1 let. c LStup et contravention selon l'art. 19a ch. 1 LStup et d'une condamnation en 2015 pour appropriation illégitime et menaces. C.b. Par jugement du 21 juin 2016, le Tribunal des districts de Martigny et St-Maurice a condamné A._ pour voies de fait, extorsion et chantage, tentative d'extorsion et chantage, menaces, contrainte, délit selon l'art. 19 al. 1 let. c et d LStup, contravention selon l'art. 19a ch. 1 LStup et délit selon l'art. 33 al. 1 let. a LArm à une peine privative de liberté de 15 mois et à une amende de 300 francs. Il a en outre ordonné, au profit du prénommé, une mesure thérapeutique institutionnelle au sens de l'art. 59 al. 2 CP. Le 9 mars 2017, A._ a été placé au Centre X._. Il a fugué de cet établissement le 5 octobre 2017 et a été arrêté en France le 15 février 2018. Il a été extradé vers la Suisse le 20 août 2019. C.c. Le 13 août 2019, l'Office des sanctions et des mesures d'accompagnement a déposé une requête aux fins de procéder à l'examen de la libération conditionnelle et de la levée de la mesure thérapeutique institutionnelle. Dans le cadre de cette procédure, une expertise a été mise en oeuvre. Les experts ont rendu un rapport du 4 février 2020, duquel il ressort notamment que A._ souffre d'un retard mental léger ainsi que d'un trouble de la personnalité dyssociale qui se retrouve dans son mépris des obligations sociales, une indifférence froide pour autrui manifeste dans son parcours, une absence d'effet des sanctions, une faible tolérance à la frustration et une tendance à blâmer autrui ou à justifier ses comportements inadaptés. Les experts ont également retenu des troubles mentaux et du comportement liés à l'utilisation de substances psychoactives multiples en raison des antécédents de A._. Les experts ont conclu à un risque de récidive élevé en l'absence d'un cadre protecteur. Ils ont indiqué que A._ nécessitait une prise en charge psychiatrique au long cours de type institutionnel dans un cadre rigoureux avec des approches socio-thérapeutiques pouvant l'aider à développer des stratégies de responsabilisation individuelle, l'engagement dans une activité à visée professionnelle et l'implication dans des activités thérapeutiques de groupe. Ils ont également relevé qu'en parallèle, un traitement médicamenteux antipsychotique serait susceptible d'atténuer l'impulsivité du prénommé et de diminuer un vécu persécutoire. C.d. Selon le rapport de comportement du responsable des établissements de détention avant jugement du 19 février 2020, le comportement de A._ pouvait être qualifié de satisfaisant, tant envers ses codétenus qu'envers le personnel de surveillance. Il participait régulièrement aux promenades quotidiennes et aux activités telles que le sport, n'avait jamais fait l'objet d'aucun rapport ni sanction et occupait actuellement le poste "putz d'aile" à la satisfaction de son responsable. C.e. Le 16 mars 2020, le chef de l'Office des sanctions et des mesures d'accompagnement a émis un avis défavorable quant à une levée du traitement des troubles mentaux de A._ et à une libération conditionnelle de l'exécution institutionnelle de cette mesure. D. A._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance du 5 juin 2020. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que la mesure thérapeutique institutionnelle à laquelle il est astreint selon le jugement du 21 juin 2016 est levée et qu'il est immédiatement libéré. Subsidiairement, il conclut à l'annulation de l'ordonnance et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.