Faits : A. Par jugement du 6 avril 2018, le Tribunal régional du Jura bernois-Seeland a condamné X._, pour violation de domicile, dommages à la propriété, vols, vols d'importance mineure, utilisation frauduleuse d'un ordinateur, tentative d'utilisation frauduleuse d'un ordinateur, infractions à la LCR, désagrément causé par la confrontation à un acte d'ordre sexuel et contravention à la LStup, à une peine privative de liberté de 24 mois ainsi qu'à une amende de 1'000 francs. Il a en outre ordonné, en faveur du prénommé, une mesure thérapeutique institutionnelle à titre de l'art. 59 CP. Par décision du 22 mai 2018, la Section de la probation et de l'exécution des sanctions pénales (ci-après : SPESP) a formellement mis en exécution la mesure précitée, dont la date de début a été fixée au 6 avril 2018. L'exécution de la peine a été suspendue au profit de la mesure. Le 13 juin 2018, la SPESP a effectué des annonces en vue de l'admission de X._ auprès des établissements de A._, de B._, de C._ et de la Justizvollzugsanstalt de D._. Le 31 août 2018, X._ a demandé la levée de la mesure thérapeutique institutionnelle ainsi que son transfert dans un établissement mieux adapté, tout en sollicitant le bénéfice de l'assistance judiciaire. Le 2 octobre 2018, la Justizvollzugsanstalt de D._ a annoncé qu'elle pouvait accueillir X._ et, le 10 octobre suivant, ce dernier a intégré cet établissement afin d'y exécuter sa mesure en milieu fermé. Par décision du 22 octobre 2018, la SPESP a rejeté les demandes du prénommé et a refusé de lui accorder l'assistance judiciaire. Le 22 novembre 2018, X._ a formé un recours contre la décision du 22 octobre 2018 dans la mesure où celle-ci emportait un refus de lui accorder l'assistance judiciaire. Il a également, dans le cadre de ce recours, sollicité le bénéfice de l'assistance judiciaire. Par décision du 7 mars 2019, la Direction de la police et des affaires militaires du canton de Berne (ci-après : POM) a rejeté le recours du prénommé et a refusé de lui accorder l'assistance judiciaire. B. Par décision du 25 juin 2019, la 2e Chambre pénale de la Cour suprême du canton de Berne a rejeté le recours formé par X._ contre cette décision et a refusé de lui accorder le bénéfice de l'assistance judiciaire. C. X._ forme un recours en matière pénale au Tribunal fédéral contre la décision du 25 juin 2019, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que l'assistance judiciaire lui est accordée pour les procédures devant la SPESP, la POM et la cour cantonale, que l'avocat Julian Burkhalter est désigné en qualité de défenseur d'office, que des indemnités sont allouées à ce dernier à raison de 2'200 fr. pour la procédure devant la POM et de 1'700 fr. pour la procédure devant la cour cantonale. Subsidiairement, il conclut à sa réforme en ce sens que l'assistance judiciaire lui est accordée pour la procédure devant la POM et la cour cantonale, que l'avocat Julian Burkhalter est désigné en qualité de défenseur d'office, que des indemnités sont allouées à ce dernier à raison de 1'800 fr. pour la procédure devant la POM et de 1'500 fr. pour la procédure devant la cour cantonale. Plus subsidiairement, il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.