Faits :
A.
Par jugement du 6 avril 2018, le Tribunal régional du Jura bernois-Seeland a condamné X._, pour violation de domicile, dommages à la propriété, vols, vols d'importance mineure, utilisation frauduleuse d'un ordinateur, tentative d'utilisation frauduleuse d'un ordinateur, infractions à la LCR, désagrément causé par la confrontation à un acte d'ordre sexuel et contravention à la LStup, à une peine privative de liberté de 24 mois ainsi qu'à une amende de 1'000 francs. Il a en outre ordonné, en faveur du prénommé, une mesure thérapeutique institutionnelle à titre de l'<ref-law>.
Par décision du 22 mai 2018, la Section de la probation et de l'exécution des sanctions pénales (ci-après : SPESP) a formellement mis en exécution la mesure précitée, dont la date de début a été fixée au 6 avril 2018. L'exécution de la peine a été suspendue au profit de la mesure.
Le 13 juin 2018, la SPESP a effectué des annonces en vue de l'admission de X._ auprès des établissements de A._, de B._, de C._ et de la Justizvollzugsanstalt de D._.
Le 31 août 2018, X._ a demandé la levée de la mesure thérapeutique institutionnelle ainsi que son transfert dans un établissement mieux adapté, tout en sollicitant le bénéfice de l'assistance judiciaire.
Le 2 octobre 2018, la Justizvollzugsanstalt de D._ a annoncé qu'elle pouvait accueillir X._ et, le 10 octobre suivant, ce dernier a intégré cet établissement afin d'y exécuter sa mesure en milieu fermé.
Par décision du 22 octobre 2018, la SPESP a rejeté les demandes du prénommé et a refusé de lui accorder l'assistance judiciaire.
Le 22 novembre 2018, X._ a formé un recours contre la décision du 22 octobre 2018 dans la mesure où celle-ci emportait un refus de lui accorder l'assistance judiciaire. Il a également, dans le cadre de ce recours, sollicité le bénéfice de l'assistance judiciaire. Par décision du 7 mars 2019, la Direction de la police et des affaires militaires du canton de Berne (ci-après : POM) a rejeté le recours du prénommé et a refusé de lui accorder l'assistance judiciaire.
B.
Par décision du 25 juin 2019, la 2e Chambre pénale de la Cour suprême du canton de Berne a rejeté le recours formé par X._ contre cette décision et a refusé de lui accorder le bénéfice de l'assistance judiciaire.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre la décision du 25 juin 2019, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que l'assistance judiciaire lui est accordée pour les procédures devant la SPESP, la POM et la cour cantonale, que l'avocat Julian Burkhalter est désigné en qualité de défenseur d'office, que des indemnités sont allouées à ce dernier à raison de 2'200 fr. pour la procédure devant la POM et de 1'700 fr. pour la procédure devant la cour cantonale. Subsidiairement, il conclut à sa réforme en ce sens que l'assistance judiciaire lui est accordée pour la procédure devant la POM et la cour cantonale, que l'avocat Julian Burkhalter est désigné en qualité de défenseur d'office, que des indemnités sont allouées à ce dernier à raison de 1'800 fr. pour la procédure devant la POM et de 1'500 fr. pour la procédure devant la cour cantonale. Plus subsidiairement, il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est ouvert à l'encontre des décisions concernant l'exécution de peines et de mesures (<ref-law>).
2.
Dans une section de son mémoire de recours intitulée "Faits essentiels", le recourant présente sa propre version des événements, en introduisant plusieurs éléments qui ne ressortent pas de la décision attaquée, sans toutefois démontrer en quoi la cour cantonale aurait arbitrairement omis de retenir ceux-ci (cf. <ref-law>). Les éléments en question ressortent d'ailleurs pour partie de photocopies d'actes du dossier intégrées aux motifs du mémoire de recours, ce qui ne constitue pas une motivation admissible au regard des art. 42 al. 2 et 106 al. 2 LTF. Ce faisant, le recourant ne formule donc aucun grief recevable.
3.
Le recourant conteste le refus, dans le cadre des procédures conduites devant les instances cantonales successives, de lui accorder l'assistance judiciaire. Il dénonce une violation des art. 29 al. 3 Cst. et 6 par. 1 CEDH à cet égard.
Le recourant ne se plaint pas, en revanche, d'une éventuelle application arbitraire du droit cantonal - en l'occurrence de la loi sur la procédure et la juridiction administratives (LPJA/BE; RS/BE 155.21) - sur la base duquel la cour cantonale a justifié le refus de lui accorder l'assistance judiciaire.
3.1. Le Tribunal fédéral examine librement les conditions d'octroi de l'assistance judiciaire sous l'angle de l'art. 29 al. 3 Cst., à l'exception des constatations de fait qui s'y rapportent, qu'il n'examine que sous l'angle de l'arbitraire (<ref-ruling> consid. 5.1 p. 223; <ref-ruling> consid. 2.3). L'art. 29 al. 3 Cst. conditionne notamment l'octroi de l'assistance judiciaire gratuite à l'existence de chances de succès dans la cause de celui qui réclame celle-ci (cf. <ref-ruling> consid. 1.2 p. 397; <ref-ruling> consid. 3.3.1 p. 214; <ref-ruling> consid. 2.2.4 p. 18; <ref-ruling> consid. 5 p. 616; <ref-ruling> consid. 2.3.1 p. 135 s.). Déterminer s'il existe des chances de succès est une question de droit, que le Tribunal fédéral examine librement (ATF <ref-ruling> consid. 2.1 p. 133).
Un procès est dépourvu de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre, et qu'elles ne peuvent donc être considérées comme sérieuses, de sorte qu'une personne raisonnable et de condition aisée renoncerait à s'y engager en raison des frais qu'elle s'exposerait à devoir supporter; il ne l'est en revanche pas lorsque les chances de succès et les risques d'échec s'équilibrent à peu près, ou que les premières ne sont que légèrement inférieures aux secondes. L'élément déterminant réside dans le fait que l'indigent ne doit pas se lancer, parce qu'il plaide aux frais de la collectivité, dans des démarches vaines qu'une personne raisonnable n'entreprendrait pas si, disposant de moyens suffisants, elle devait les financer de ses propres deniers (cf. <ref-ruling> consid. 1.2 p. 397; <ref-ruling> consid. 2.2.4 p. 218; <ref-ruling> consid. 2.2 p. 133 ss). Le point de savoir si la cause présente dans le cas particulier des chances de succès suffisantes se détermine d'après les circonstances prévalant au moment où la requête d'assistance judiciaire est déposée (<ref-ruling> consid. 9.1 p. 537).
3.2. La cour cantonale a exposé que les chances de succès des démarches effectuées devant la SPESP puis la POM pouvaient être examinées simultanément, puisque les griefs développés par le recourant y avaient été presque identiques et que les perspectives d'obtenir gain de cause dans la procédure de recours avaient étroitement dépendu de celles de la demande de levée de la mesure. L'autorité précédente a indiqué que le recourant avait motivé sa demande du 31 août 2018 tendant à la levée de la mesure et à son transfert dans un autre établissement pénitentiaire en expliquant qu'il ne s'estimait pas malade et avait été victime d'un diagnostic erroné. L'intéressé avait ajouté qu'il n'avait pas de motivation pour suivre une thérapie et qu'il n'existait de toute manière aucun établissement adapté à sa situation. A cet égard, la cour cantonale a repris à son compte les conclusions de l'expertise psychiatrique sur la base desquelles le tribunal avait, par jugement du 6 avril 2018, institué la mesure litigieuse. Elle a par ailleurs indiqué que l'absence de motivation du recourant concernant sa thérapie ne pouvait d'emblée conduire à considérer que la mesure était vouée à l'échec puisque cet état d'esprit découlait précisément des troubles mentaux dont souffrait l'intéressé. En outre, il apparaissait, au vu de l'expertise psychiatrique la plus récente, que le traitement du recourant avait des chances de succès, cela même s'il devait être prodigué contre la volonté de celui-ci. D'ailleurs, au moment du dépôt de la demande du 31 août 2018, aucun traitement du recourant au sein d'un établissement adapté à ses troubles - soit en milieu fermé - n'avait encore été mis en place, de sorte qu'il était alors prématuré de conclure à un échec de la mesure. Par le passé, les mesures ordonnées en faveur du recourant avaient toujours été exécutées en milieu ouvert, de sorte que, le 31 août 2018, le recourant ne s'était jamais trouvé en exécution de mesure dans un milieu fermé tel que préconisé par l'expertise psychiatrique de 2018.
La cour cantonale a par ailleurs exposé qu'à l'époque du dépôt de la demande du 31 août 2018, le recourant séjournait dans une prison régionale. L'exécution de la mesure n'avait pu être mise en oeuvre immédiatement puisqu'aucune place n'était disponible dans un établissement adapté aux troubles de l'intéressé. Cette situation ne permettait cependant pas encore de conclure qu'il n'existait pas d'établissements appropriés et que la mesure pouvait être levée. En outre, le placement temporaire du recourant dans une prison régionale avait été conforme à l'art. 10 let. g de la loi bernoise sur l'exécution des peines et mesures (LEPM/BE; RS/BE 341.1), selon lequel les mesures qui ne pouvaient provisoirement être exécutées ailleurs pour des raisons de sécurité, de discipline ou de place pouvaient notamment l'être dans de tels établissements (cette règle figurant depuis le 1er décembre 2018 à l'art. 9 al. 2 let. a de la loi bernoise sur l'exécution judiciaire [LEJ/BE; RS/BE 341.1]). Le recourant n'y avait pas été laissé sans traitement et pouvait y bénéficier de mesures de soutien d'ordre psychologique une fois par semaine.
Dans son recours auprès de la POM, le recourant avait soutenu que la SPESP n'avait entrepris des recherches pour trouver une place dans un établissement approprié qu'après le dépôt de sa demande du 31 août 2018 et qu'il avait, pour cette raison, pu être transféré au sein de la Justizvollzugsanstalt de D._. Selon la cour cantonale, la SPESP avait au contraire entamé des démarches dès que le jugement du 6 avril 2018 était entré en force et s'était en particulier adressée à quatre établissements, dont celui précité, par courrier du 13 juin 2018. Dès le 10 octobre 2018, le recourant avait pu intégrer la Justizvollzugsanstalt de D._, établissement adapté à ses troubles mentaux. Les arguments du recourant tendant à démontrer que la SPESP n'avait pas effectué consciencieusement son travail s'étaient donc avérés contraire à la réalité et étaient dénués de chances de succès, l'intéressé ayant quant à lui été informé des démarches entreprises par courrier du 8 août 2018. Le recourant ne pouvait, pour le reste, fonder ses procédures sur de simples spéculations relatives au temps qui pouvait encore s'écouler jusqu'à son transfert de la prison régionale vers un établissement adapté.
3.3. Le recourant soutient que ses démarches n'auraient pas été dénuées de chances de succès, dans la mesure où l'art. 62c al. 1 let. c CP, disposant que la mesure doit être levée s'il n'y a pas ou plus d'établissement approprié, ne précise aucun délai particulier et que le temps passé dans la prison régionale aurait été - au moment du dépôt de sa demande du 31 août 2018 - excessif au regard des exigences déduites de l'art. 5 par. 1 let. e CEDH par la Cour européenne des droits de l'Homme. Ce dernier aspect n'était cependant pas pertinent, dès lors que le recourant demandait la levée de sa mesure en raison d'une prétendue absence, en Suisse, d'un établissement approprié au sens de l'art. 62c al. 1 let. c CP. Il ne s'agissait pas, en l'occurrence, de se plaindre de l'éventuelle lenteur des autorités compétentes en matière d'exécution des mesures afin de se voir placé plus rapidement dans une structure adaptée ni de faire constater que sa privation de liberté n'était plus justifiées au regard de l'art. 5 par. 1 let. e CEDH, mais de faire admettre la levée de la mesure thérapeutique institutionnelle. Partant, le recourant ne pouvait tirer argument, dans ses procédures, des principes déduits de la CEDH en matière de détention provisoire dans un établissement inapproprié.
Il s'agissait donc, en substance, de déterminer si le recourant pouvait, le 31 août 2018, espérer obtenir la levée de sa mesure thérapeutique institutionnelle sur la base de l'art. 62c al. 1 let. c CP, en raison du temps écoulé depuis les démarches amorcées par la SPESP le 13 juin 2018. Or, tel n'était pas le cas.
Selon la jurisprudence du Tribunal fédéral, l'art. 62c al. 1 let. c CP n'est pas seulement applicable quand aucune institution adaptée n'existe, mais aussi lorsqu'aucune place n'est disponible pour l'intéressé dans une institution adaptée (cf. arrêts 6B_1293/2016 du 23 octobre 2017 consid. 2.1; 6B_1001/2015 du 29 décembre 2015 consid. 3.2). Cette disposition doit cependant être interprétée de manière restrictive (cf. arrêt 6B_1001/2015 précité consid. 3.2).
En l'espèce, le recourant ne précise pas sur quelle base - jurisprudentielle ou doctrinale - il aurait été fondé à considérer que le laps de temps écoulé indiquait qu'il n'existait pas, en Suisse, d'établissement approprié. L'arrêt du Tribunal fédéral auquel il se réfère (1B_10/2010 du 2 février 2010) ne concernait pas la problématique de l'absence d'établissement approprié au sens de l'art. 62c al. 1 let. c CP. Lorsque le recourant a déposé sa demande du 31 août 2018, seuls deux établissements sur les quatre approchés avaient rendu une réponse à la SPESP. Si la direction de C._ avait rappelé que le dossier se trouvait sur liste d'attente depuis 2017 déjà sans fournir plus de précision concernant le délai d'attente (cf. pièce 1167 du dossier cantonal), les autorités vaudoises avaient indiqué que le recourant pourrait intégrer les Etablissements de A._, moyennant "plusieurs mois d'attente" (cf. pièce 1173 du dossier cantonal). L'intéressé ignorait donc alors quelle était la situation dans les deux autres structures saisies par la SPESP. Son argumentation reposait essentiellement sur la prémisse selon laquelle il n'aurait pas existé suffisamment de places dans des établissements appropriés. Or, cette allégation reposait largement sur son expérience passée concernant une autre modalité d'exécution de mesure à titre de l'<ref-law> et n'était étayée par aucun élément permettant de penser que des places dans une structure fermée - voire pénitentiaire - au sens de l'<ref-law> faisaient chroniquement et durablement défaut en Suisse. La réponse positive de la Justizvollzugsanstalt de D._ dès le 2 octobre 2018 a, a posteriori, invalidé le postulat du recourant. Ce dernier ne saurait par ailleurs être suivi lorsqu'il affirme qu'il aurait "obtenu en quelque sorte gain de cause" puisqu'une place dans un établissement approprié a été trouvée peu après le dépôt de sa demande du 31 août 2018. Il ressort en effet de la décision attaquée que des démarches pour trouver une telle place avaient été entreprises dès que le jugement du 6 avril 2018 était devenu exécutoire et que les procédures conduites par l'intéressé n'avaient aucunement influé sur son transfert à la Justizvollzugsanstalt de D._.
Compte tenu de ce qui précède, la demande effectuée le 31 août 2018 était à tout le moins prématurée. Le recourant ne pouvait espérer obtenir gain de cause, puisque les demandes qui avaient été adressées à différents établissements n'avaient pas toutes essuyé des réponses négatives qui auraient permis de déduire qu'aucune place dans un établissement approprié ne serait trouvée. Il ne pouvait davantage se prévaloir d'un éventuel délai d'attente de quelques mois - tel qu'annoncé par les autorités vaudoises dans leur réponse - pour réclamer d'emblée une levée de la mesure fondée sur l'art. 62c al. 1 let. c CP, de sorte que sa démarche était dépourvue de chances de succès.
Il en va de même s'agissant des procédures de recours conduites à la suite de la décision de la SPESP du 22 octobre 2018. Peu importe que le recourant n'eût pas été convaincu par l'un ou l'autre des motifs développés par la SPESP dans ladite décision ou par la POM dans sa décision du 7 mars 2019, puisqu'il n'a en définitive que rediscuté le bien-fondé des conclusions prises dans sa demande du 31 août 2018, lesquelles étaient pourtant dépourvues de chances de succès.
Enfin, le recourant ne saurait être suivi lorsqu'il affirme, sans aucune motivation spécifique répondant aux exigences découlant de l'<ref-law>, que la cour cantonale aurait violé son droit d'être entendu en n'expliquant pas pourquoi le recours formé devant elle était lui aussi dépourvu de chances de succès. Celle-ci a consacré une section de la décision attaquée à cette question, en relevant en substance que le recourant s'était borné, devant elle, à répéter que sa demande du 31 août 2018 n'avait pas été dénuée de chances de succès. Outre qu'une telle considération répondait aux réquisits en matière de motivation des décisions (cf. <ref-ruling> consid. 3.1 p. 109; <ref-ruling> consid. 3.4.3 p. 46; <ref-ruling> consid. 5.3 p. 70), celle-ci était pertinente et ne prêtait pas le flanc à la critique.
Ainsi, la cour cantonale n'a pas violé le droit constitutionnel en refusant d'accorder au recourant l'assistance judiciaire pour les diverses étapes de la procédure ouverte ensuite de sa demande du 31 août 2018, y compris au stade du recours devant l'autorité précédente. Pour le surplus, le recourant n'expose nullement, au moyen d'une argumentation répondant aux exigences de motivation découlant des art. 42 al. 2 et 106 al. 2 LTF, en quoi l'art. 6 par. 1 CEDH lui aurait offert une protection plus étendue, en la matière, que l'art. 29 al. 3 Cst.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dépourvu de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, au Parquet général du canton de Berne et à la Cour suprême du canton de Berne, 2e Chambre pénale.
Lausanne, le 10 septembre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Graa