Faits :
A.
A._, ressortissant suisse né en 1957, a été condamné en septembre 2007 à une peine privative de liberté de 4 ans pour la séquestration et l'enlèvement de sa fille. Il a été placé en détention le 23 janvier 2007 aux Etablissements de Bellechasse (actuellement: Etablissement de détention fribourgeois [EDFR], site de Bellechasse). Le 31 mai 2008, il n'est pas rentré d'un congé et s'est enfui en Turquie.
Le 14 décembre 2009, l'intéressé a été arrêté en Géorgie pour avoir franchi illégalement la frontière et présenté un document de voyage falsifié. Il a été condamné dans ce pays à une peine de 3 ans de prison. Durant son incarcération, il a fait l'objet de mauvais traitements qui ont provoqué un trouble post-traumatique. L'intéressé a également développé une hypertrophie de la prostate (prostatite).
Après avoir purgé sa peine, A._ a été extradé en Suisse le 11 janvier 2013 et a été placé en détention aux Etablissements de Bellechasse, où il est resté jusqu'au 30 janvier 2015, date de sa libération conditionnelle.
Le 19 juin 2013, l'intéressé a déposé auprès de la Confédération une demande de dommages-intérêts et d'indemnité à titre de réparation pour tort moral pour une somme de 1'219'313 fr. 20, en raison notamment des obstacles opposés à son transfèrement en Suisse, qui avaient prolongé son emprisonnement en Géorgie et son exposition à des traitements inhumains. Cette demande a été rejetée en dernière instance par arrêt du 12 décembre 2018 du Tribunal administratif fédéral.
B.
Parallèlement, le 29 janvier 2018, A._ a fait valoir à l'encontre de l'Etat de Fribourg le paiement d'une indemnité de 1'093'749 fr. 35, soutenant qu'en raison des manquements aux obligations de diligence du service médical et de la direction de la prison de Bellechasse, les défauts de traitement de sa prostatite chronique et de son trouble post-traumatique auraient aggravé son état de santé et lui auraient causé un dommage économique, qu'il appartenait à la collectivité publique de réparer.
Par décision du 11 mars 2019, l'Etablissement de détention fribourgeois a refusé d'entrer en matière sur la requête d'indemnisation de l'intéressé, au motif que celle-ci avait été déposée tardivement.
Par acte du 29 avril 2019, A._ a contesté la décision de non-entrée en matière précitée auprès du Tribunal cantonal de l'Etat de Fribourg (ci-après: le Tribunal cantonal). Au cours de la procédure, il a produit deux rapports médicaux des 1eret 12 décembre 2020 relevant qu'il présentait des séquelles liées aux actes de torture subis lors de sa détention en Géorgie, en particulier des déformations de sa boîte crânienne, respectivement qu'il souffrait d'un stress post-traumatique. Il a également produit deux rapports urologiques du 10 mars 2020 et du 10 juin 2020, selon lesquels il souffrait d'importants troubles le contraignant à uriner chaque heure des doses de 50 ml et à se réveiller toutes les 15 minutes durant la nuit, ce qui influait de manière négative sur la qualité de son sommeil et par la même occasion sur sa capacité de travail.
Par arrêt du 18 janvier 2021, le Tribunal cantonal a rejeté le recours de A._ et a confirmé la décision de non-entrée en matière du 28 février 2019 de l'Etablissement de détention fribourgeois, retenant en substance que l'intéressé n'avait pas, s'agissant de ses problèmes prostatiques, fait valoir ses prétentions dans le délai de péremption d'un an à compter du jour où il avait eu connaissance de son préjudice et de la collectivité débitrice, respectivement n'avait pas fait usage des moyens de droit qui étaient à sa disposition pour s'opposer au prétendu défaut d'accès aux soins médicaux. Quant à son trouble post-traumatique, le Tribunal cantonal a également retenu que l'intéressé n'avait pas usé des moyens de droit à sa disposition pour s'opposer aux rejets de ses demandes exigeant de pouvoir suivre un traitement auprès d'un psychiatre externe à la prison de Bellechasse, demandes qui faisaient suite à son refus de suivre une psychothérapie mise en oeuvre par le Centre de psychiatrie forensique.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et de dépens, d'annuler l'arrêt du Tribunal cantonal du 18 janvier 2021 et de renvoyer la cause à cette autorité pour qu'elle entre en matière sur le fond. Il requiert en outre le bénéfice de l'assistance judiciaire.
Le 2 mars 2021, le Tribunal fédéral a renoncé provisoirement à exiger une avance de frais, en précisant qu'il serait statué ultérieurement sur la demande d'assistance judiciaire.
Le Tribunal cantonal renvoie aux considérants de l'arrêt attaqué et conclut au rejet du recours. L'autorité intimée dépose une réponse et conclut au rejet du recours et de la demande d'assistance judiciaire. Le recourant a répliqué.

Considérant en droit :
1.
1.1. Le litige porte sur la question de savoir si c'est à juste titre que le Tribunal cantonal, en application de la loi fribourgeoise du 19 septembre 1986 sur la responsabilité civile des collectivités publiques et de leurs agents (LResp/FR; RSF 16.1), a confirmé la décision de l'Etablissement de détention fribourgeois (établissement de droit public cantonal doté de la personnalité juridique, cf. art. 2 al. 2 LResp/FR et art. 10 al. 1 de la loi fribourgeoise du 7 octobre 2016 sur l'exécution des peines et des mesures [LEPM/FR; RSF 340.1]) refusant d'entrer en matière sur l'action en responsabilité déposée le 29 janvier 2018 par le recourant. Il relève ainsi du droit public et l'arrêt attaqué, qui ne tombe pas sous le coup de l'une des exceptions prévues à l'<ref-law>, et dont la valeur litigieuse dépasse largement la limite de 30'000 fr. de l'<ref-law>, peut faire l'objet d'un recours en matière de droit public au Tribunal fédéral (cf. <ref-law>).
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). Le recourant est légitimé à agir sur la base de l'<ref-law>. Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), le recours en matière de droit public est recevable, étant précisé que la présente procédure ne peut porter que sur le bien-fondé du refus d'entrée en matière (cf. arrêt 2C_170/2018 du 18 avril 2018 consid. 1.3 et les arrêts cités).
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF). Sauf dans les cas cités expressément à l'<ref-law>, le recours en matière de droit public ne peut toutefois pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est possible de faire valoir que l'application du droit cantonal consacre une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à un autre droit fondamental (cf. <ref-ruling> consid. 6.1; <ref-ruling> consid. 1.2; arrêt 2C_300/2019 du 31 janvier 2000 consid. 2.1 non publié in <ref-ruling>). Le Tribunal fédéral n'examine cependant de tels moyens que s'ils sont invoqués et motivés de manière précise par le recourant (<ref-law>; cf. <ref-ruling> consid. 1.1).
La violation de normes de droit fédéral appliquées à titre de droit cantonal supplétif constitue une violation du droit cantonal, et non du droit fédéral (<ref-ruling> consid. 1a; <ref-ruling> consid. 1b; arrêt 4A_352/2018 du 25 février 2019 consid. 2.2). Dans ce contexte, le Tribunal ne peut en contrôler l'application que sous l'angle des droits constitutionnels (cf. <ref-ruling> consid. 4.4.1; FLORENCE AUBRY GIRARDIN, Responsabilité de l'Etat: un aperçu de la jurisprudence du Tribunal fédéral, in: La responsabilité de l'Etat, Favre/Martenet/Poltier [éd.], 2012, p. 123). Il appartient donc au recourant, sous cet angle, de démontrer l'arbitraire de la décision cantonale conformément aux exigences de l'<ref-law>.
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2; <ref-ruling> consid. 6). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3).
En l'espèce, le recourant reproche aux juges précédents d'avoir procédé à une appréciation insoutenable des faits en retenant que son état de santé en lien avec sa prostatite chronique était déjà stabilisé en 2015/2016. Cet élément est, comme on le verra (cf. infra consid. 3.3), sans incidence sur l'issue de la cause, de sorte qu'il n'y a pas lieu, sous cet angle, d'entrer en matière sur le grief d'arbitraire. Pour le reste, en tant qu'il reproche au Tribunal cantonal de ne pas avoir retenu qu'un diagnostic relatif à son trouble psychique n'avait pu être posé de manière précise qu'en mars 2017, avec pour conséquence que l'on ne pouvait pas lui reprocher de ne pas avoir recouru contre les décisions de 2014 lui ayant refusé l'accès à un psychiatre externe à la prison de Bellechasse, puisque l'étendue de son dommage sur le plan psychiatrique n'était à cette époque pas encore connue, il ne s'agit pas là d'un grief relatif à une appréciation erronée des faits, mais bien d'une question de droit liée au principe de la subsidiarité de l'action en responsabilité qui sera examinée ci-dessous (cf. infra consid. 4).
3.
Le recourant se plaint tout d'abord de la violation arbitraire (art. 9 Cst.) de l'art. 24 al. 1 LResp/FR en lien avec l'art. 60 al. 1 du Code des obligations (applicable en l'espèce à titre de droit cantonal supplétif [cf. art. 9 LResp/FR; <ref-ruling> consid. 4.1; FLORENCE AUBRY GIRARDIN, op. cit., p. 122]). Il reproche aux juges précédents d'avoir confirmé que sa demande en indemnisation du préjudice subi à cause du défaut de traitement, par l'autorité intimée, de sa prostatite chronique était irrecevable du fait qu'il aurait eu une connaissance suffisante du dommage lié à cette maladie en 2015/2016 déjà, et qu'il était donc forclos pour agir en responsabilité contre l'Etat de Fribourg le 29 janvier 2018 seulement.
3.1. Le Tribunal cantonal a confirmé la décision de non-entrée en matière de l'autorité intimée, s'agissant des prétentions du recourant en lien avec ses troubles de la prostate, en adoptant une double motivation. D'une part, il a estimé que l'action en responsabilité formée par le recourant le 29 janvier 2018 était tardive car, dans la mesure où son état de santé était stabilisé en 2015/2016 déjà, il lui aurait été possible, à cette époque, d'estimer son dommage et d'agir ainsi dans le délai d'un an à compter de la connaissance de celui-ci, conformément à l'art. 24 al. 1 let. a LResp/FR en lien avec l'<ref-law>. D'autre part, il a retenu que le recourant n'avait pas contesté la décision de la Direction de la sécurité et de la justice de l'Etat de Fribourg du 27 juillet 2015 rejetant sa plainte pour défaut d'accès aux soins médicaux liés à sa prostatite chronique, que celui-ci avait formée contre l'autorité intimée le 19 janvier 2015, si bien que la responsabilité de la collectivité était exclue, faute pour l'intéressé de ne pas avoir utilisé tous les moyens de droit à sa disposition pour s'opposer à l'acte (prétendument) préjudiciable, conformément à l'art. 6 al. 3 LResp/FR.
3.2. Selon la jurisprudence, lorsque la décision attaquée repose sur une double motivation dont chaque pan est indépendant et suffit à sceller le sort de la cause, il appartient au recourant, sous peine d'irrecevabilité, de démontrer que chacune d'entre elles est contraire au droit (cf. <ref-ruling> consid. 2.4 et les arrêts cités; arrêt 2C_1083/2017 du 4 juin 2019 consid. 1.3 non publié in <ref-ruling>).
3.3. En l'occurrence, force est de constater que le recourant ne discute qu'une seule des deux motivations alternatives de l'arrêt attaqué, dont chacune suffit à confirmer la décision d'irrecevabilité de sa demande d'indemnisation en lien avec un défaut de traitement de sa prostatite chronique, ce qui entraîne ipso jure l'irrecevabilité du moyen examiné.
4.
Le recourant se plaint ensuite de la violation arbitraire de l'art. 6 al. 3 LResp/FR en lien avec le préjudice qu'il aurait subi en raison du défaut de traitement, par l'autorité intimée, de son trouble post-traumatique.
4.1. Lorsqu'il examine une décision sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution, éventuellement plus judicieuse, paraît possible (<ref-ruling> consid. 4.4.1 et les arrêts cités).
4.2. L'arrêt entrepris retient qu'une psychothérapie mise en oeuvre par le Centre de psychiatrie forensique avait été proposée au recourant en décembre 2013. Celui-ci l'avait toutefois refusée en janvier 2014, au motif que le secret médical n'était pas garanti, avant d'exiger de suivre un traitement auprès d'un psychiatre externe à la prison de Bellechasse. Sa demande avait été rejetée par décision du 20 janvier 2014 du directeur de l'autorité intimée puis, après avoir été renouvelée en février 2014, par décision du 13 février 2014 du Service de l'exécution des sanctions pénales et de la probation. Ces décisions, qui pouvaient faire l'objet d'une plainte auprès de la Direction de la sécurité et de la justice de l'Etat de Fribourg, puis d'un recours au Tribunal cantonal, n'avaient toutefois pas été contestées par le recourant et étaient entrées en force. Sous cet angle, les juges cantonaux ont confirmé que, faute d'avoir utilisé les moyens de droit à sa disposition pour s'opposer à l'acte préjudiciable, au sens de l'art. 6 al. 3 LResp/FR, le recourant ne pouvait plus agir en responsabilité contre l'Etat pour invoquer sa responsabilité civile en lien avec le défaut de traitement de son syndrome post-traumatique.
Le recourant est d'avis que l'on ne peut lui reprocher de ne pas avoir contesté les décisions précitées. Il affirme qu'à l'époque de celles-ci, aucun diagnostic précis quant à son trouble psychique n'avait été posé par le corps médical, de sorte que l'étendue de son préjudice sur le plan psychiatrique n'était pas encore connue. Dans ces circonstances, il était excessif de lui opposer l'art. 6 al. 3 LResp/FR, car les moyens de droit qui étaient à sa disposition n'auraient de toute façon pas permis de réparer pleinement le préjudice causé par l'Etat.
4.3. Conformément à l'art. 6 al. 3 LResp/FR, la responsabilité de la collectivité est exclue lorsque le lésé n'a pas fait usage des moyens de droit qui étaient à sa disposition pour s'opposer à l'acte ou à l'omission préjudiciable.
4.4. L'art. 6 al. 3. LResp/FR exprime, sous une forme négative, le principe de la subsidiarité de l'action en responsabilité (cf. arrêt 2A.584/2002 du 25 janvier 2006 consid. 1.1.1). Il oblige le destinataire d'une décision qu'il considère comme préjudiciable à ses intérêts à la contester immédiatement par la voie d'un recours, sous peine d'être ultérieurement déchu du droit d'agir en responsabilité contre la collectivité publique dont elle émane (cf. arrêt 2C_227/2020 du 21 août 2020 consid. 8.1 et l'arrêt et les références cités). Autrement dit, celui qui n'a pas utilisé tous les moyens de droit qui étaient à sa disposition n'est pas en droit de contester la licéité de cette décision (encore une fois) dans le procès en responsabilité (cf. <ref-ruling> consid. 2a; <ref-ruling> consid. 3c; arrêt 2C_227/2020 précité consid. 8.1) Le justiciable n'a donc pas la possibilité d' "accepter" le prononcé en cause, tout en saisissant ultérieurement la voie d'une procédure en responsabilité pour obtenir réparation du préjudice qui en découle; s'il subit de ce fait un dommage, il doit donc le supporter lui-même (cf. ETIENNE POLTIER, La responsabilité de l'Etat pour acte illicite: l'exigence de l'illicéité, in: La responsabilité de l'Etat, Favre/Martenet/Poltier [éd.], 2012, p. 62).
Cela suppose que le justiciable ait effectivement la possibilité d'attaquer la décision préjudiciable à ses intérêts et qu'il n'en fasse pas usage ou en a fasse usage sans succès; en revanche, si une voie de droit ne permet pas de corriger l'acte attaqué mais conduit seulement à la constatation de son illicéité, l'examen de cette décision reste possible dans une procédure en responsabilité (cf. <ref-ruling> consid. 3.1; <ref-ruling> consid. 2a; arrêt 2C_227/2020 précité consid. 8.2 et les arrêts cités; FLORENCE AUBRY GIRARDIN, op. cit., p. 129).
4.5. En l'occurrence, l'acte préjudiciable dont se plaint le recourant trouve son fondement dans les décisions respectivement de l'autorité intimée du 20 janvier 2014 et du Service de l'exécution des sanctions pénales et de la probation du 13 février 2014 rejetant ses demandes d'accès à un traitement auprès d'un psychiatre externe à la prison de Bellechasse. Ces rejets, selon ce que laisse entendre l'intéressé, auraient eu pour conséquence de ne pas lui permettre de bénéficier d'un soutien psychothérapeutique destiné à le soulager du trouble post-traumatique consécutif aux sévices qu'il avait subis en Géorgie, ce qui aurait eu pour effet préjudiciable d'aggraver celui-ci.
4.6. C'est en vain que le recourant tente de justifier l'absence de contestation des décisions précitées au motif qu'il ne connaissait pas encore, à cette époque, l'étendue du préjudice causé par celles-ci.
L'intéressé - dont il ressort du reste du dossier qu'un diagnostic de stress post-traumatique chronique "évident" (constituant même un cas d'école) avait déjà été clairement posé par expertise psychiatrique du 9 mai 2013 (<ref-law>) - perd en effet de vue que c'est justement pour prévenir le dommage prétendument causé par les décisions litigieuses qu'il était attendu qu'il fasse immédiatement usage des moyens de droit à sa disposition. Il importe peu, dans ce contexte, que l'étendue du préjudice prétendument causé par celles-ci ne lui soit pas encore connue. Seul importait le fait que les voies de droit à sa disposition permettaient de corriger les actes attaqués en lui octroyant l'accès à un psychiatre externe durant la période de détention qu'il lui restait encore à accomplir, à savoir près d'un an au moment de la dernière décision de rejet de sa demande. Or, le recourant ne prétend pas que tel n'aurait pas été le cas. Il ne soutient pas non plus qu'aucun recours effectif ne lui était disponible, au sens de l'art. 29a Cst., ni encore que les voies de droit à sa disposition ne lui auraient pas été ouvertes. L'arrêt attaqué précise à cet égard que, conformément à l'ancienne loi fribourgeoise du 2 octobre 1996 sur les Etablissements de Bellechasse (ROF 2016_127), et de l'ancien règlement du 9 décembre 1998 des détenus de l'Etablissement de Bellechasse (ROF 217_17), tous deux abrogés au 1er janvier 2018 mais encore en vigueur lors de l'exécution de la peine par le recourant, la décision de l'autorité intimée du 20 janvier 2014 pouvait faire l'objet d'une plainte auprès de la Direction de la sécurité et de la justice de l'Etat de Fribourg, puis d'un recours au Tribunal cantonal. Il en allait de même de la décision du Service de l'exécution des sanctions pénales et de la probation du 13 février 2014, dans la mesure où ledit Service était, conformément à l'art. 116 al. 1 du Code fribourgeois de procédure et de juridiction administrative du 23 mai 1991 (CPJA/FR; RSF 150.1), subordonné à la Direction précitée. Or, malgré l'existence de telles voies de recours effectives (notamment auprès du Tribunal cantonal, qui dispose d'un plein pouvoir d'examen en fait et en droit [cf. art. 77 et 95 al. 3 CPJA/FR]), le recourant, bien que représenté par un mandataire professionnel, n'avait pas contesté les deux rejets successifs de ses demandes d'accès à un thérapeute externe, qui étaient depuis lors entrés en force.
Dans ces circonstances, en renonçant à contester immédiatement les prononcés qu'il estimait préjudiciables à sa santé (où à tout le moins le dernier en date, à savoir celui du 13 février 2014), l'intéressé ne saurait se plaindre ultérieurement, dans le cadre d'un procès en responsabilité, du préjudice qui en serait découlé. C'est partant sans arbitraire que le Tribunal cantonal a confirmé que le recourant ne satisfaisait pas aux exigences de l'art. 6 al. 3 LResp/FR et ne pouvait donc plus agir en responsabilité contre la collectivité publique. Il ne saurait, dans ces conditions, être question d'application arbitraire de l'art. 6 al. 3 LResp/FR en l'espèce.
4.7. Pour le surplus, le fait, pour le recourant, de reprocher à l'autorité intimée de ne pas avoir démontré que la psychothérapie qui lui avait été proposée le 26 décembre 2013 aurait été propre à conduire à une amélioration de son état de santé, est à la limite de la témérité, dès lors que c'est l'intéressé lui-même qui a refusé celle-ci, non pas parce qu'elle n'aurait prétendument pas permis de soulager sa maladie psychique, mais parce qu'il considérait que le secret médical n'était pas garanti.
5.
En définitive, c'est sans arbitraire dans l'application du droit cantonal que le Tribunal cantonal a confirmé la décision de l'autorité intimée refusant d'entrer en matière sur la requête d'indemnisation du recourant.
6.
Les considérants qui précèdent conduisent au rejet du recours. Celui-ci étant d'emblée dénué de chance de succès, la requête d'assistance judiciaire est rejetée (<ref-law>). Succombant, le recourant doit supporter les frais de la procédure fédérale, lesquels seront réduits eu égard à sa situation économique (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'Etablissement de détention fribourgeois EDFR et au Tribunal cantonal de l'Etat de Fribourg, Ie Cour administrative.
Lausanne, le 7 juillet 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Rastorfer