Faits :
A.
Par jugement du Tribunal cantonal du canton du Valais du 10 avril 2015, X._ a été reconnu irresponsable et acquitté des chefs de prévention de diffamation, d'injure et de menaces. Le tribunal a par ailleurs - sur la base d'un rapport d'expertise psychiatrique du 26 juin 2014 et de son complément du 8 septembre 2014 - ordonné que le prénommé soit soumis à un traitement thérapeutique institutionnel.
En 2016, sur demande du Tribunal d'application des peines et mesures valaisan (ci-après : TAPEM), une expertise psycho-légale et psychiatrique a été diligentée en vue d'une éventuelle modification de la mesure thérapeutique institutionnelle ordonnée en faveur de X._. Dans un rapport du 15 février 2017 et un rapport complémentaire du 31 mars 2017, les experts ont rendu leurs conclusions.
Par décision du 12 avril 2017, le TAPEM a levé le traitement des troubles mentaux de X._ en milieu ouvert et a ordonné, à la place, un traitement des troubles mentaux en laissant le soin au service d'application des peines et mesures de déterminer si la mesure thérapeutique institutionnelle devait être exécutée en milieu ouvert ou fermé.
Par requête du 26 mars 2018, l'Office des sanctions et mesures d'accompagnement a demandé au TAPEM de maintenir la mesure thérapeutique institutionnelle, "sous la forme d'une transformation de l'<ref-law> en <ref-law>".
B.
Par décision du 13 novembre 2018, le TAPEM a refusé d'accorder à X._ la libération conditionnelle de l'exécution institutionnelle de la mesure et a maintenu celle-ci.
Par ordonnance du 30 avril 2019, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté - dans la mesure de sa recevabilité - le recours formé par X._ contre la décision du 13 novembre 2018.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance du 30 avril 2019, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que la mesure thérapeutique institutionnelle est levée et, subsidiairement, à sa réforme en ce sens que la libération conditionnelle lui est accordée. Dans tous les cas, il conclut à sa réforme en ce sens que l'illicéité de sa détention est reconnue. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est ouvert contre les décisions relatives à l'exécution de peines et de mesures (<ref-law>).
2.
Dans une section de son mémoire de recours intitulée "Faits", le recourant présente sa propre version des événements, en introduisant plusieurs éléments qui ne ressortent pas de la décision attaquée, sans toutefois démontrer en quoi la cour cantonale aurait arbitrairement omis de retenir ceux-ci (cf. <ref-law>). Ce faisant, il ne formule aucun grief recevable.
3.
Le recourant reproche à la cour cantonale d'avoir violé son droit d'être entendu, en fondant notamment sa décision sur un rapport social et d'évaluation du 21 mars 2018 émanant de l'Etablissement pénitentiaire de A._, lequel ne lui aurait jamais été transmis.
Tel que garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit, pour les parties, de prendre connaissance du dossier (<ref-ruling> consid. 2.2 p. 86; <ref-ruling> consid. 2b p. 10).
En l'espèce, le rapport en question figure dans le dossier de la cause (cf. pièce 8 du dossier cantonal). L'autorité de première instance en a par ailleurs fait mention parmi les pièces sur lesquelles elle a fondé sa décision (cf. décision du 13 novembre 2018, p. 3). Le recourant - assisté d'un défenseur durant la procédure - ne prétend pas que l'accès au dossier lui aurait été refusé ni n'explique en quoi il ne lui aurait pas été loisible, à tout le moins après avoir pris connaissance de la décision de première instance, de consulter la pièce litigieuse. Pour le reste, en dépit de ce que suggère le recourant, on ne voit pas en vertu de quel principe la cour cantonale aurait dû, avant de statuer sur la cause, spontanément transmettre ce document au recourant. Le grief est infondé et doit être rejeté.
4.
Le recourant soutient que la mesure thérapeutique institutionnelle dont il bénéficie aurait dû être levée.
4.1. Conformément à l'<ref-law>, une mesure dont les conditions ne sont plus remplies doit être levée. Comme son prononcé suppose qu'elle soit propre à détourner l'auteur de la commission de nouvelles infractions en relation avec son grave trouble mental (cf. <ref-law>), une mesure thérapeutique institutionnelle ne peut dès lors être maintenue que si elle conserve une chance de succès, ainsi que le prévoit d'ailleurs l'<ref-law>. Selon cette dernière disposition, la mesure thérapeutique institutionnelle doit être levée si son exécution paraît vouée à l'échec. Il en va ainsi lorsque l'auteur n'est pas - ou plus - soignable ou que le traitement n'est plus apte à prévenir la commission de nouvelles infractions. L'échec de la mesure peut résulter de l'insuffisance de possibilités thérapeutiques, du manque de respect des avis ou recommandations des thérapeutes ou du refus d'un traitement. Le traitement n'est voué à l'échec que s'il est définitivement inopérant; une simple crise de l'intéressé ne suffit pas. De manière générale, la levée d'une mesure en raison de son échec doit être admise de manière restrictive (<ref-ruling> consid. 2.3 p. 52; arrêt 6B_82/2019 du 1er juillet 2019 consid. 2.3.3; cf. aussi <ref-ruling> consid. 2.2 p. 447). Par ailleurs, aux termes de l'art. 62c al. 1 let. c CP, la mesure doit être levée s'il n'y a pas ou plus d'établissement approprié.
4.2. La cour cantonale a exposé que la mesure thérapeutique institutionnelle dont bénéficiait le recourant n'était pas vouée à l'échec. Même si les spécialistes avaient précisé que cette mesure ne permettait pas, pour l'heure, de prévenir la commission de nouvelles infractions - car le risque de récidive subsistait même lorsque le trouble mental était traité -, il ressortait du rapport social et d'évaluation du 21 mars 2018 que le recourant s'adaptait au traitement imposé, ce qui avait permis une stabilisation et l'assouplissement des effets dudit trouble.
Par ailleurs, l'autorité précédente a indiqué qu'il existait, en Suisse romande, des établissements répondant aux besoins de prise en charge des personnes souffrant de troubles psychiques, à l'instar de B._ dans le canton de Genève. D'ailleurs, selon le rapport d'expertise du 15 février 2017, tous les foyers ou centres offrant des soins psychiatriques devaient en principe permettre d'exécuter la mesure ordonnée en faveur du recourant. Le déplacement de ce dernier d'établissement en établissement résultait pour l'essentiel de son comportement, l'intéressé ayant ainsi refusé d'intégrer la fondation "C._" à D._ et de se soumettre à un traitement médicamenteux. L'attitude du recourant avait d'ailleurs "épuisé" certaines institutions offrant des soins psychiatriques adaptés. En définitive, le refus du recourant d'intégrer l'une ou l'autre des institutions prêtes à l'accueillir et lui offrant les soins adaptés ne permettait pas de conclure qu'il n'existait pas d'établissements appropriés au sens de l'art. 62c al. 1 let. c CP.
4.3. Le recourant soutient tout d'abord que la mesure thérapeutique institutionnelle dont il bénéficie serait vouée à l'échec. Il prétend, à cet égard, que le traitement suivi ne permettrait aucune amélioration de son état mental et que les médicaments qui lui sont injectés seraient la source d'effets secondaires indésirables. S'agissant de ce dernier aspect, on peut d'emblée relever que le recourant s'écarte de l'état de fait de la cour cantonale, par lequel le Tribunal fédéral est lié (cf. <ref-law>) et dans lequel on cherche en vain une quelconque constatation relative aux effets prétendument néfastes de sa médication.
Concernant les chances de succès de la mesure, le recourant livre une lecture partielle de l'expertise psychiatrique réalisée en 2017, la plus récente figurant au dossier. Dans leur rapport, les experts ont posé le diagnostic de trouble schizo-affectif mixte. Ils ont relevé que la mise en oeuvre de la mesure n'avait jusqu'alors pas permis d'enrayer les troubles du comportement du recourant, puisque celui-ci avait persisté à proférer des injures et des menaces, sans par ailleurs saisir les motifs de son traitement. Les experts ont cependant précisé que cet échec était essentiellement celui du placement en milieu ouvert, puisque l'intéressé ne s'apaisait pas au contact d'autrui (cf. pièce 240 du dossier cantonal, p. 21 s.; <ref-law>). Ils ont ajouté que le seul cadre réaliste susceptible de contenir le recourant afin que celui-ci soit "dans la mesure du possible, stabilisé et apaisé et de ce fait moins à risque de passages à l'acte menaçants", était celui offert par un établissement fermé offrant un traitement médical idoine (cf. Idem, p. 24). Selon eux, si un traitement permettant de supprimer le trouble psychiatrique n'existait pas, le suivi offert au recourant pouvait ponctuellement diminuer le risque de récidive. Un traitement ordonné contre la volonté de l'intéressé avait ainsi des "chances d'être mis en oeuvre", l'état du recourant ayant déjà été stabilisé lors des hospitalisations qui avaient suivi ses décompensations. Les experts ont dès lors émis de grands doutes concernant les chances de succès d'une mesure thérapeutique institutionnelle telle qu'elle avait été exécutée jusqu'alors, mais ont indiqué qu'une telle mesure pouvait être tentée dans un établissement fermé (cf. Idem, p. 26 s.). Dans leur rapport complémentaire, ils ont en outre signalé que le recourant trouvait, dans le milieu carcéral, un apaisement - certes relatif - de son angoisse, et qu'il y éprouvait moins le besoin d'user de la menace pour tenir autrui à distance (cf. pièce 307 du dossier cantonal, p. 2; <ref-law>). Cette appréciation a par la suite été corroborée par le rapport social et d'évaluation du 21 mars 2018, selon lequel le traitement suivi en milieu fermé avait permis une stabilisation et une atténuation des effets du trouble mental de l'intéressé.
Au vu de ce qui précède, même si la mesure thérapeutique institutionnelle n'a pas, au cours des premières années, produit d'effets notables sur le trouble mental du recourant, il n'apparaît pas que celle-ci serait définitivement vouée à l'échec dans un milieu durablement plus contenant et moyennant l'emploi d'une médication adaptée.
Le recourant soutient encore qu'une mesure moins incisive, en particulier un traitement ambulatoire, devrait désormais être préférée à une mesure thérapeutique institutionnelle. Outre que cette affirmation ne trouve aucun appui dans l'expertise psychiatrique réalisée - avec laquelle elle entre en contradiction puisque les experts ont au contraire insisté sur la nécessité d'imposer un cadre strict -, elle s'avère contradictoire, puisque le recourant prétend lui-même qu'il serait inaccessible à tout traitement.
4.4. Par ailleurs, le recourant prétend qu'aucun établissement approprié ne serait disponible pour le prendre en charge. Son argumentation tombe à faux, dès lors qu'il ne ressort nullement de la décision attaquée que l'établissement dans lequel il séjourne ne serait pas approprié au sens de l'art. 62c al. 1 let. c CP. Le recourant suggère que ce dernier ne pourrait être approprié dès lors qu'il s'agit d'un établissement pénitentiaire. Or, l'<ref-law> dispose précisément que le traitement peut s'effectuer dans un établissement pénitentiaire au sens de l'<ref-law>, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié. On rappellera d'ailleurs que, selon la jurisprudence, la notion de traitement doit, dans ce domaine, s'entendre largement (cf. <ref-ruling> consid. 1.3 p. 204; arrêt 6B_438/2018 du 27 juillet 2018 consid. 2.1).
A cet égard, le recourant ne prétend pas que les soins prodigués dans son établissement ou que sa prise en charge ne seraient pas adaptés. Il ressort d'ailleurs du rapport du Service de médecine pénitentiaire du 2 mars 2018 et du rapport social et d'évaluation du 21 mars 2018 que l'intéressé y reçoit un traitement régulier et qu'il y est suivi par du personnel médical et infirmier (cf. pièce 6 du dossier cantonal et pièce 8 du dossier cantonal, p. 4; <ref-law>). On ne voit pas, partant, que la cour cantonale aurait pu violer l'art. 62c al. 1 let. c CP en refusant de lever la mesure dont bénéficie le recourant.
5.
Subsidiairement, le recourant reproche à l'autorité précédente de lui avoir refusé sa libération conditionnelle.
5.1. Selon l'<ref-law>, l'auteur est libéré conditionnellement de l'exécution institutionnelle de la mesure dès que son état justifie de lui donner l'occasion de faire ses preuves en liberté. Une telle libération n'est pas subordonnée à la guérison de l'auteur, mais à une évolution ayant pour effet d'éliminer ou de réduire dans une mesure suffisante le risque de nouvelles infractions. Il n'est donc pas nécessaire que l'auteur soit mentalement normal. Il suffit qu'il ait appris à vivre avec ses déficits, de manière que l'on puisse poser un pronostic favorable quant à son comportement futur, étant rappelé que s'agissant de la décision sur le pronostic, le principe "in dubio pro reo" est inapplicable (<ref-ruling> consid. 1.2 p. 202 s.; arrêts 6B_930/2018 du 21 janvier 2019 consid. 1.3; 6B_643/2018 du 5 septembre 2018 consid. 1.2.1). Ce pronostic doit être posé en tenant compte du principe de la proportionnalité (art. 5 al. 2 Cst. et 56 al. 2 CP) selon lequel l'atteinte aux droits de la personnalité qui résulte pour l'auteur d'une mesure ne doit pas être disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Cette disposition postule de la sorte la pesée à effectuer entre l'atteinte aux droits inhérente à la mesure ordonnée et la dangerosité de l'auteur (<ref-ruling> consid. 1.2 p. 203; arrêt 6B_347/2018 du 28 juin 2018 consid. 4.1.3). Présente un caractère de dangerosité le délinquant dont l'état mental est si gravement atteint qu'il est fortement à craindre qu'il commette de nouvelles infractions. Lors de l'examen du risque de récidive, il convient de tenir compte de l'imminence et de la gravité du danger, ainsi que de la nature et de l'importance du bien juridique menacé. Lorsque des biens juridiques importants, tels que la vie ou l'intégrité corporelle, sont mis en péril, il faut se montrer moins exigeant quant à l'imminence et à la gravité du danger que lorsque des biens de moindre valeur, tels que la propriété ou le patrimoine, sont menacés. Le pronostic doit également tenir compte de la durée de la privation de liberté déjà subie par l'auteur (<ref-ruling> consid. 1.2 p. 203; arrêt 6B_347/2018 précité consid. 4.1.3).
5.2. La cour cantonale a exposé que si le risque de récidive présenté par le recourant ne concernait pas des infractions particulièrement graves, celui-ci ne pouvait être minimisé. Les experts avaient qualifié ce risque d'élevé, en précisant que celui-ci était tributaire de l'état mental du recourant. Le risque de récidive était ainsi atténué tant que l'intéressé séjournait dans un établissement lui imposant un cadre et des limites. Par ailleurs, sous l'angle du principe de la proportionnalité, l'atteinte aux droits de la personnalité du recourant n'était pas exagérée, de sorte que la libération conditionnelle de l'exécution institutionnelle de la mesure ne pouvait être accordée.
5.3. Le recourant soutient qu'il présenterait un risque de récidive limité à des infractions mineures et que, en conséquence, sa privation de liberté ne se justifierait plus au regard du principe de proportionnalité.
A juste titre, le recourant ne conteste pas l'existence d'un risque de récidive concernant des infractions de même genre que celles commises par le passé, puisqu'il ressort de tous les rapports figurant au dossier que l'intéressé profère régulièrement des injures et des menaces afin de manifester son mécontentement et de mettre autrui à distance. S'agissant d'infractions contre l'intégrité physique, les experts ont, dans leur rapport du 15 février 2017, indiqué qu'ils ne pouvaient exclure un risque de passage à l'acte si le recourant devait se trouver confronté à un tiers ne se laissant pas détourner par l'injure ou la menace (cf. pièce 240 du dossier cantonal, p. 18 et 25; <ref-law>). Par ailleurs, après avoir souligné le lien existant entre le risque de récidive et l'état mental du recourant, ils ont précisé qu'il était probable, en cas de libération, que ce dernier cesse toute médication et voie son trouble se décompenser (cf. Idem, p. 27). Il apparaît donc qu'il existe un risque concret - dans l'hypothèse d'une libération du recourant qui aurait vraisemblablement pour conséquence de provoquer à terme une décompensation - de voir celui-ci commettre de nouvelles infractions, y compris contre l'intégrité physique puisqu'il ne serait alors plus uniquement confronté à des membres du personnel médical ou carcéral mais à des tiers susceptibles de réagir de manière variable à d'éventuelles insultes ou menaces.
Compte tenu de la durée de la privation de liberté déjà subie et de la dangerosité du recourant, qui ne saurait être minimisée, il ne se justifiait pas de mettre celui-ci au bénéfice d'une libération conditionnelle, l'atteinte aux droits de sa personnalité demeurant proportionnée à la menace qu'il représente pour la sécurité d'autrui. Le grief doit être rejeté.
6.
Dans un dernier grief, le recourant reproche à l'autorité précédente d'avoir refusé de se prononcer sur la prétendue illicéité de sa privation de liberté au regard de l'art. 5 CEDH.
6.1. Dans la décision attaquée, la cour cantonale a indiqué que le recourant n'avait pas formellement présenté une conclusion tendant à la constatation de l'illicéité de sa détention devant l'autorité de première instance et que cette dernière s'était donc contentée de "rappeler la jurisprudence en la matière" sans examiner concrètement les conditions de détention de l'intéressé. Elle en a déduit que le recourant était forclos, au stade de la procédure de recours, concernant la formulation d'une telle conclusion.
6.2. Il ressort du dossier de la cause que, dans sa prise de position du 28 septembre 2018 concernant la libération conditionnelle de l'exécution institutionnelle de la mesure, le recourant n'a pas demandé le constat d'une éventuelle illicéité de sa détention, mais a, dans son argumentation, affirmé que celle-ci contrevenait à ses droits fondamentaux à défaut de se dérouler dans un "établissement approprié" soit - selon lui - non pénitentiaire (cf. pièce 55 du dossier cantonal). Il ressort en outre de la décision du 13 novembre 2018 que le recourant a fait plaider, devant le TAPEM, qu'il avait été placé trop longuement en milieu carcéral et qu'un tel séjour était contraire à la jurisprudence de la Cour européenne des droits de l'Homme (cf. décision du 13 novembre 2018, p. 13). Dans sa décision, le TAPEM a quant à lui examiné les questions du maintien de la mesure à titre de l'<ref-law> et de la libération conditionnelle. Il a de surcroît rappelé, dans un considérant, les périodes passées par le recourant dans des établissements carcéraux depuis 2015, ainsi que la jurisprudence en matière de délai d'attente d'une place dans un établissement approprié au regard de l'art. 5 CEDH, sans toutefois en tirer de conclusions (cf. Idem, p. 16). Enfin, dans son mémoire de recours du 26 novembre 2018 adressé à la cour cantonale, le recourant s'est à nouveau référé à la même jurisprudence pour en déduire que sa détention en milieu carcéral était - compte tenu de sa durée - devenue illégale et qu'il convenait de le libérer immédiatement (cf. pièce 98 du dossier cantonal, p. 12). Il a encore conclu, au pied de ce mémoire de recours, à ce que sa "détention en milieu carcéral" soit reconnue illégale.
6.3. Au vu de ce qui précède, l'argumentation du recourant procède d'une confusion de sa part. En effet, celle-ci repose sur la prémisse selon laquelle une détention en milieu carcéral, en l'occurrence dans l'Etablissement pénitentiaire de A._, serait nécessairement inappropriée et assimilable à une détention provisoire dans l'attente d'une place disponible dans une institution spécialisée. Or, comme rappelé précédemment (cf. consid. 4.4 supra), l'<ref-law> prévoit expressément que le traitement peut s'effectuer dans un établissement pénitentiaire au sens de l'<ref-law>, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié. En l'occurrence, il ne ressort pas de la décision attaquée que le recourant séjournerait dans l'établissement précité dans l'attente d'une place dans une institution spécialisée, mais qu'il y effectue sa mesure à titre de l'<ref-law>, en bénéficiant de la prise en charge thérapeutique appropriée. Ainsi, malgré des considérations quelque peu confuses de la cour cantonale s'agissant de la situation du recourant au sein de l'Etablissement pénitentiaire de A._, l'autorité précédente a bien répondu à l'argumentation du recourant en considérant que ce lieu de détention était adapté à ses besoins thérapeutiques, de sorte qu'il n'y avait pas lieu d'examiner si la durée du séjour pouvait s'y avérer excessive. Le recourant ne saurait, partant, reprocher à l'autorité précédente un déni de justice formel sur ce point.
Pour le reste, le recourant ne présente aucune argumentation - répondant aux exigences de motivation découlant des art. 42 al. 2 et 106 al. 2 LTF - propre à démontrer que les conditions de sa détention à l'Etablissement pénitentiaire de A._ seraient contraires à l'art. 5 CEDH, en particulier qu'il n'y bénéficierait pas de soins médicaux et psychiatriques adaptés à ses besoins eu égard à son affection mentale. Au demeurant, il ne ressort pas de la décision attaquée ou du dossier de la cause que les membres du personnel médical prenant en charge l'intéressé auraient indiqué que celui-ci serait actuellement, en raison de son lieu de détention, privé d'un quelconque soin ou suivi thérapeutique nécessaire.
Mal fondé, le grief doit donc être rejeté.
7.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dépourvu de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 20 août 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Graa