Faits : A. Par jugement du 28 juin 2016, la Cour pénale du Tribunal cantonal de la République et canton du Jura a condamné A._, pour tentatives de violence ou menace contre les autorités et les fonctionnaires, injure, conduite inconvenante, tapage nocturne et conduite inconvenante ainsi que mise en danger de la vie d'autrui, à une peine privative de liberté de huit mois et à une amende de 200 francs. Elle a par ailleurs instauré une mesure thérapeutique institutionnelle en sa faveur. Afin de prononcer ce jugement, la Cour pénale du Tribunal cantonal jurassien s'est fondée sur une expertise psychiatrique réalisée par le Dr B._ en 2012 et complétée en 2014 puis 2015. Il en ressortait en substance que A._ souffrait d'un trouble mixte de la personnalité à traits psychopathiques marqués, complété par un trouble affectif bipolaire et un syndrome de dépendance au cannabis en utilisation épisodique. L'expert avait préconisé l'instauration d'une mesure thérapeutique institutionnelle afin d'encadrer le traitement psychiatrique de l'intéressé. B. Par décision du 1er mars 2019, confirmée sur opposition le 17 mai 2019, le Département des finances jurassien a refusé de lever la mesure thérapeutique institutionnelle et d'accorder à A._ la libération conditionnelle de ladite mesure. C. Par arrêt du 29 août 2019, la Cour administrative du Tribunal cantonal jurassien a rejeté le recours formé par A._ contre cette décision. La cour cantonale a retenu les faits suivants. C.a. A._ est né en 1988. Depuis le 10 octobre 2016, il exécute sa mesure à l'Etablissement pénitentiaire de C._. Son casier judiciaire fait état de nombreuses condamnations, dont une - à une peine privative de liberté de 24 mois - prononcée en 2009 notamment pour lésions corporelles simples et violence ou menace contre les autorités et les fonctionnaires. C.b. Le 12 mai 2018, A._ a fait l'objet d'une expertise psychiatrique réalisée par le Dr D._. Ce dernier a posé le diagnostic principal de schizophrénie indifférenciée partiellement compensée (CIM-10 F 20.3). Il a également constaté l'existence de troubles mentaux et du comportement liés à l'utilisation d'alcool et de cannabis. L'expert a en revanche écarté le diagnostic de trouble bipolaire. Selon lui, le fait que le trouble dont souffrait A._ ne soit pas complètement compensé pouvait contribuer à augmenter un risque de passage à l'acte violent en cas de décompensation aiguë du trouble. Le Dr D._ a ajouté que la mesure thérapeutique institutionnelle restait cliniquement et criminologiquement pertinente. Selon lui, A._ n'était pas encore "pleinement entré dans les soins" et sa psychose n'était pas encore stabilisée. C.c. Dans un rapport de suivi médico-psychologique daté du 10 septembre 2018, le Pr E._ et le Dr F._ se sont ralliés à cet avis, écartant le diagnostic de trouble bipolaire. Ils ont pour leur part diagnostiqué un trouble psychotique pouvant être catégorisé comme une schizophrénie indifférenciée. C.d. Le 6 novembre 2018, le directeur de C._ s'est prononcé en faveur du maintien de la mesure thérapeutique institutionnelle et de la poursuite du placement de A._ dans son établissement. C.e. Le 5 décembre 2018, la Commission spécialisée du Service juridique du Département des finances a préavisé contre la levée de la mesure thérapeutique institutionnelle. D. Par arrêt du 16 octobre 2019 (6B_1091/2019), le Tribunal fédéral a rejeté - dans la mesure de sa recevabilité - le recours qui avait été formé par A._ contre un arrêt de la Cour administrative du Tribunal cantonal jurassien ayant confirmé l'autorisation, donnée au Service médical de C._, de mettre en oeuvre une médication sous contrainte dans le cadre du traitement thérapeutique institutionnel, aussi longtemps que cela serait indiqué pour atteindre l'objectif de la mesure. E. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 29 août 2019, en concluant, avec suite de frais et dépens, à sa réforme en ce sens que la mesure thérapeutique institutionnelle dont il bénéficie est immédiatement levée. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.