Faits :
A.
Par jugement du Tribunal cantonal du canton du Valais du 10 avril 2015, A._ a été reconnu irresponsable et acquitté des chefs de prévention de diffamation, d'injure et de menaces. Le tribunal a par ailleurs - sur la base d'un rapport d'expertise psychiatrique du 26 juin 2014 et de son complément du 8 septembre 2014 - ordonné que le prénommé soit soumis à un traitement thérapeutique institutionnel.
B.
Par décision du 12 avril 2017, le Tribunal d'application des peines et mesures valaisan (ci-après : TAPEM) a levé le traitement des troubles mentaux de A._ en milieu ouvert et a ordonné, à la place, un traitement des troubles mentaux en laissant le soin au service d'application des peines et mesures de déterminer si la mesure thérapeutique institutionnelle devait être exécutée en milieu ouvert ou fermé.
Par décision du 13 novembre 2018, le TAPEM a refusé d'accorder à A._ la libération conditionnelle de l'exécution institutionnelle de la mesure et a maintenu celle-ci. Par ordonnance du 30 avril 2019, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours formé par A._, décision confirmée par le Tribunal fédéral (arrêt 6B_660/2019).
C.
Par requête du 11 novembre 2019, l'Office des sanctions et mesures d'accompagnement (OSAMA) a invité le TAPEM à examiner le maintien ou la levée de la mesure ainsi que son éventuelle prolongation au sens de l'<ref-law>.
Dans le cadre de cette procédure, un complément d'expertise a été ordonné donnant lieu au dépôt d'un rapport, le 10 juin 2020, du Dr B._ du Centre neuchâtelois de psychiatrie.
Par décision du 2 juillet 2020, le TAPEM a refusé la libération conditionnelle de la mesure thérapeutique institutionnelle, a maintenu celle-ci et l'a prolongée pour une durée de deux ans, soit jusqu'au 10 avril 2022.
Par ordonnance du 31 juillet 2020, la Chambre pénale du Tribunal cantonal valaisan a rejeté le recours interjeté par A._ contre la décision du 2 juillet 2020.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance précitée concluant, avec suite de frais et dépens, à sa libération immédiate. Il requiert, par ailleurs, l'octroi de l'assistance judiciaire et la désignation de Me Olivier Derivaz en qualité d'avocat d'office.

Considérant en droit :
1.
Le recours en matière pénale est ouvert contre les décisions relatives à l'exécution de peines et de mesures (<ref-law>).
2.
Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156).
Le recourant débute son écriture par une présentation personnelle du déroulement de la procédure. De la sorte, il ne cherche pas à démontrer que les faits auraient été établis arbitrairement et ne formule ainsi aucun grief recevable au regard des art. 42 al. 2 et 106 al. 2 LTF.
3.
Le recourant se plaint de ce que la cour cantonale a rejeté son grief de violation de son droit d'être entendu. Il soutient qu'avant que la décision de première instance ne soit prise, deux certificats médicaux des 5 et 15 mai 2020 n'auraient pas été " transmis " à son avocat et qu'un rapport du service médical pénitentiaire du 30 septembre 2019 n'aurait pas été " divulgué " à celui-ci.
3.1. Tel que garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit, pour les parties, de prendre connaissance du dossier (<ref-ruling> consid. 3.1.1 p. 222 s.; <ref-ruling> consid. 3.1 p. 434; <ref-ruling> consid. 4.1 p. 72).
3.2. En substance, la cour cantonale a retenu que si le dossier ne contenait pas de trace de la notification des pièces en question au recourant, celui-ci n'avait toutefois pas jugé utile, après réception de la décision du 2 juillet 2020 faisant état de celles-ci, de requérir la consultation du dossier afin de pouvoir se déterminer sur celles-ci dans son écriture de recours. Quoi qu'il en était, le recourant ne précisait pas quelle influence la violation de son droit d'être entendu aurait pu avoir sur la procédure. Un renvoi à l'autorité précédente conduirait seulement à prolonger la procédure. Dans ces circonstances, il ne se justifiait pas d'annuler la décision pour ce seul motif.
3.3. La décision de la cour cantonale est fondée sur une double motivation. Lorsque la décision attaquée comporte plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes pour sceller le sort de la cause, la partie recourante doit, sous peine d'irrecevabilité, démontrer que chacune d'elles est contraire au droit (<ref-ruling> consid. 2.4 in fine p. 368; <ref-ruling> consid. 4.1.4 p. 100). En l'occurrence, le recourant s'en prend uniquement à la seconde motivation soutenant, en substance, que le contenu des pièces en question serait à décharge si bien qu'elles auraient pu avoir une influence sur la cause. En revanche, il ne conteste pas la première. A cet égard, il ressort de l'arrêt attaqué (p. 5) et du dossier cantonal (cf. pièces 10, 105 et 125; cf. <ref-law>) que les pièces litigieuses figurent au dossier cantonal. Le recourant - assisté d'un avocat durant la procédure - ne prétend, ni ne démontre avoir requis la consultation du dossier ou que l'accès au dossier lui aurait été refusé, pas plus qu'il n'explique en quoi il ne lui aurait pas été loisible, à tout le moins après avoir pris connaissance de la décision de première instance, de consulter les pièces litigieuses. Au demeurant, il n'indique pas sur quelle base il disposerait d'un droit à ce que ces pièces soient spontanément transmises par l'autorité à son avocat. On ne distingue dès lors pas en quoi son droit d'être entendu aurait été violé. Faute de discuter les deux pans de la motivation cantonale, le grief du recourant ne répond pas aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF; partant il est irrecevable.
4.
Le recourant conteste la prolongation de la mesure thérapeutique institutionnelle dont il fait l'objet.
4.1. L'<ref-law> prévoit que la privation de liberté entraînée par le traitement institutionnel ne peut en règle générale excéder cinq ans. Si les conditions d'une libération conditionnelle ne sont pas réunies après cinq ans et qu'il est à prévoir que le maintien de la mesure détournera l'auteur de nouveaux crimes ou de nouveaux délits en relation avec son trouble mental, le juge peut, à la requête de l'autorité d'exécution, ordonner la prolongation de la mesure de cinq ans au plus à chaque fois.
Le traitement thérapeutique institutionnel peut se poursuivre au-delà du délai de cinq ans, mais non sans un examen. Après l'écoulement de ce délai, la mesure nécessite un examen judiciaire. Si elle se révèle toujours nécessaire et appropriée, notamment au vu de l'état psychique de l'intéressé et des risques de récidive, elle peut être prolongée de cinq ans au plus à chaque fois. Lors de cet examen, le juge doit donner une importance accrue au respect du principe de la proportionnalité, d'autant plus que la prolongation revêt un caractère exceptionnel et qu'elle doit être particulièrement motivée. Une expertise n'est toutefois pas exigée (cf. <ref-law>; <ref-ruling> consid. 2.1 p. 141; arrêts 6B_438/2018 du 27 juillet 2018 consid. 2.1; 6B_172/2017 du 16 novembre 2017 consid. 1.1.2).
La possibilité de prolonger la mesure est subordonnée à deux conditions. Elle suppose d'abord que les conditions pour une libération conditionnelle ne soient pas données, à savoir qu'un pronostic favorable ne puisse pas être posé quant au comportement futur de l'auteur en liberté (cf. <ref-law>; <ref-ruling> consid. 2.2.1 p. 141; arrêts 6B_438/2018 précité consid. 2.1; 6B_172/2017 précité consid. 1.1.2). Par ailleurs, le maintien de la mesure doit permettre de détourner l'auteur de nouveaux crimes et délits en relation avec son trouble (<ref-law>; <ref-ruling> consid. 2.3.1 p. 143; arrêts 6B_438/2018 précité consid. 2.1; 6B_172/2017 précité consid. 1.1.2).
Si les conditions légales sont réalisées, le juge peut prolonger la mesure, selon l'énoncé légal, " de cinq ans au plus à chaque fois ". De cette formulation, il résulte d'abord qu'une prolongation de la mesure n'est pas impérative (" Kann-Vorschrift "). Le juge doit déterminer si le danger que représente l'intéressé peut justifier l'atteinte aux droits de la personnalité qu'entraîne la prolongation de la mesure. A cet égard, seul le danger de délits relativement graves peut justifier une prolongation. Le principe de la proportionnalité doit s'appliquer non seulement en ce qui concerne le prononcé ordonnant la prolongation de la mesure, mais également en ce qui concerne sa durée (<ref-law>). Selon l'énoncé légal, comme déjà mentionné, la mesure peut être prolongée au plus de cinq ans. Il en résulte clairement qu'une prolongation inférieure à cinq ans est également possible (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 2.4 p. 143 s.; arrêts 6B_438/2018 précité consid. 2.1; 6B_172/2017 précité consid. 1.1.2).
Au contraire de l'internement, qui consiste principalement à neutraliser l'auteur, la mesure thérapeutique institutionnelle cherche à réduire le risque de récidive par une amélioration des facteurs inhérents à l'intéressé. Il s'ensuit que, pour qu'une mesure thérapeutique institutionnelle puisse être maintenue, c'est le traitement médical, non la privation de liberté qui lui est associée, qui doit conserver une chance de succès du point de vue de la prévention spéciale. La notion de traitement médical doit être entendue largement. Même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement, si elle a pour effet prévisible d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société (cf. <ref-ruling> consid. 1.3 p. 204; arrêts 6B_438/2018 précité consid. 2.1; 6B_347/2018 du 28 juin 2018 consid. 4.1.2).
4.2. La cour cantonale a retenu que le recourant ne contestait pas l'existence d'un risque de récidive concernant les infractions de même genre que celles commises dans le passé. Dans son rapport d'expertise du 10 juin 2020, l'expert avait considéré le risque de récidive comme élevé " notamment pour les actes de même nature ". S'agissant d'un éventuel risque de violence physique envers autrui, l'expert avait relevé que le recourant n'avait " peu ou pas d'antécédents d'actes de violence physique " ce qui permettait de considérer le risque " comme faible ". En revanche, le risque devait être considéré comme élevé " en ce qui concerne la violence verbale ". La cour cantonale a encore relevé que le recourant ne semblait pas avoir pris conscience de la gravité - certes relative - des insultes et des menaces qu'il proférait puisqu'il qualifiait celles-ci de " choses qui font rigoler ", témoignant ainsi de la banalisation de ses actes. En définitive, le risque de récidive, quand bien même il ne se rapportait pas à des infractions particulièrement graves, ne pouvait être minimisé. Les précédents experts avaient d'ailleurs relevé que le risque était atténué tant que l'intéressé bénéficiait d'un cadre et de limites strictes, tels ceux imposés dans l'établissement dans lequel il était actuellement placé. La cour cantonale a en outre souligné qu'il existait un risque concret - dans l'hypothèse d'une libération du recourant qui aurait vraisemblablement pour conséquence de provoquer à terme une décompensation - de voir celui-ci commettre de nouvelles infractions, y compris contre l'intégrité physique puisqu'il ne serait alors plus uniquement confronté à des membres du personnel médical ou carcéral mais à des tiers susceptibles de réagir de manière variable à d'éventuelles insultes ou menaces. La cour cantonale a ainsi considéré que, dans ces conditions, il se justifiait de refuser la libération conditionnelle.
La cour cantonale a en outre estimé que la mesure n'était pas considérée comme vouée à l'échec. La Dre du Service de médecine pénitentiaire, signataire du rapport du 30 septembre 2019, avait noté que le recourant se montrait sensible au cadre apporté par le centre de détention et qu'il n'avait refusé qu'une seule fois son injection de médicament depuis l'instauration de ce cadre. Elle avait également souligné que l'objectif restait de maintenir ce cadre structurant, sans avoir d'attente plus définie en terme d'évolution de la situation clinique. Il ressortait du rapport social et d'évaluation de l'Établissement pénitentiaire de Crêtelongue du 15 octobre 2019 que le cadre et la médication avaient permis une stabilisation et l'assouplissement du trouble dont souffrait le recourant. L'expert avait certes évoqué le fait que le processus clinique et principalement le processus de réhabilitation semblait à l'arrêt, il avait cependant relevé qu'il lui semblait adéquat de promouvoir un nouveau placement dans une institution, telle que Curabilis, soit un établissement suffisamment solide (souple et cadrant à la fois) pour faire face aux injonctions du recourant. La cour cantonale a ainsi relevé que, contrairement à ce que semblait soutenir le recourant, l'expert n'avait pas considéré que la mesure était vouée à l'échec puisqu'il avait, au contraire, proposé la prolongation de celle-ci pour une durée de deux ans. Elle a en outre indiqué, s'agissant du caractère approprié de l'Établissement pénitentiaire de Crêtelongue, qu'il convenait de renvoyer aux considérations émises par le Tribunal fédéral dans son arrêt du 20 août 2019 concernant le recourant (arrêt 6B_660/2019 consid. 4.4) qui précisait que le traitement au sens de l'<ref-law> pouvait s'effectuer dans un établissement pénitentiaire.
La cour cantonale a de plus exposé que, dans la mesure où le recourant soutenait que la prolongation de la mesure thérapeutique institutionnelle contrevenait de manière trop incisive à ses droits de la personnalité et qu'une mesure moindre, soit en particulier un traitement ambulatoire, devait être préconisé, une telle affirmation allait clairement à l'encontre de l'avis de l'expert. Celui-ci avait d'ailleurs insisté sur la nécessité d'un cadre. Il avait souligné que dans l'hypothèse d'un cadre trop faible - et donc a fortiori en cas d'absence de tout cadre - le trouble de l'estime de soi confronterait l'expertisé à ses manques et à ses angoisses d'anéantissement et risquerait de produire des défenses de type maniforme (surestimation de soi, attitude orgueilleuse, mépris des autres), voire une exacerbation du délire.
4.3. Le recourant ne remet pas en cause le pronostic effectué par la cour cantonale, partant que les conditions pour une libération conditionnelle ne sont pas réalisées, pas plus qu'il ne conteste l'aptitude de la mesure à le détourner de nouveaux délits en relation avec son trouble. En revanche, il soutient que la prolongation de la mesure thérapeutique institutionnelle violerait le principe de proportionnalité. Il relève, en substance, que le risque de récidive ne concernerait pas des délits suffisamment graves pour justifier l'atteinte à ses droits découlant de la prolongation de la mesure. Il se contente toutefois d'affirmer que le risque d'infractions contre l'intégrité physique aurait été jugé comme faible par l'expert. A cet égard, la cour cantonale, si elle a bien souligné ce point, a également retenu que les précédents experts avaient relevé que le risque était atténué tant que l'intéressé bénéficiait d'un cadre et de limites strictes, tels ceux imposés dans l'établissement dans lequel il était actuellement placé. Elle a en outre indiqué qu'il existait un risque concret - dans l'hypothèse d'une libération du recourant qui aurait vraisemblablement pour conséquence de provoquer à terme une décompensation - de voir celui-ci commettre de nouvelles infractions, y compris contre l'intégrité physique puisqu'il ne serait alors plus uniquement confronté à des membres du personnel médical ou carcéral mais à des tiers susceptibles de réagir de manière variable à d'éventuelles insultes ou menaces. Le recourant ne discute pas ces éléments et ne remet pas en cause l'appréciation effectuée par la cour cantonale, si bien qu'il apparaît douteux que son grief soit suffisamment motivé (cf. art. 42 al. 2 et 106 al. 2 LTF). Compte tenu de la durée de la privation de liberté déjà subie et de la dangerosité du recourant, qui ne saurait être minimisée, il se justifie de prolonger la mesure thérapeutique institutionnelle - prolongation prononcée pour une durée de deux ans, conformément aux recommandations minimales de l'expert -, l'atteinte aux droits de sa personnalité apparaissant encore proportionnée à la menace que le recourant représente pour la sécurité d'autrui. Il incombera toutefois à l'autorité d'accorder une importance accrue au principe de proportionnalité lors du prochain examen de la mesure et de motiver avec soin son appréciation (conformément à la jurisprudence citée supra consid. 4.1). Le grief doit être rejeté, dans la mesure où il est recevable.
4.4. Le recourant affirme qu'il ne bénéficierait d'aucun soin idoine, ce qui aurait été reconnu par l'expert lui-même. A l'appui de son affirmation, le recourant se contente d'indiquer le numéro d'une page de l'expertise. Outre que cette simple mention ne remplit pas les exigences de motivation accrue de l'<ref-law> permettant de remettre en cause cet élément factuel, on ne distingue pas une telle affirmation à la page en question. En revanche, il ressort du rapport d'expertise psychiatrique du 10 juin 2020 (p. 143 dossier cantonal; <ref-law>) que le recourant bénéficie d'un suivi psychiatrique dans la prison de Crêtelongue et qu'il est astreint à une injection de Clopixol. Ainsi, le recourant échoue à démontrer en quoi il aurait été manifestement arbitraire de retenir qu'il bénéficie de soins adéquats, étant rappelé que selon la jurisprudence (cf. supra consid. 4.1 in fine), même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement, si elle a pour effet prévisible d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société.
Le recourant soutient en outre qu'il se trouverait dans un établissement inapproprié à l'exécution d'une mesure thérapeutique institutionnelle, " le TC ayant jugé que le SMP valaisan ne possédait ni les locaux ni le personnel qualifié pour l'exécution des mesures thérapeutiques institutionnelles ". Ce faisant, le recourant s'écarte de manière inadmissible des faits constatés dans l'arrêt attaqué, si bien que son grief est irrecevable. Au demeurant, l'arrêt du tribunal cantonal valaisan auquel il se réfère se rapporte à des séjours d'un détenu dans les établissements pénitentiaires d'Orbe (Prison de la Croisée) et de Sion (Prison des Iles), en attente d'une place dans une autre institution. Il en va de même de l'arrêt du Tribunal fédéral qu'il cite (arrêt 6B_817/2014 du 2 avril 2015), qui parvient, en outre, à la conclusion que les périodes de détention examinées dans ces deux établissements ne violent pas l'art. 5 par. 1 let. e CEDH. On ne distingue dès lors pas en quoi il serait pertinent en l'espèce et le recourant ne l'expose pas.
Les critiques du recourant doivent être écartées dans la mesure où elles sont recevables.
5.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 24 septembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Livet