Faits :
A.
Par jugement du 17 février 2009, le Tribunal pénal de la Sarine a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, tentative de viol, pornographie et contravention à la loi fédérale sur les transports publics, à une peine privative de liberté de cinq ans, sous déduction de la détention subie avant jugement. Une mesure thérapeutique institutionnelle en établissement fermé a été ordonnée (art. 59 al. 1 et 3 CP).
B.
Le 29 juillet 2011, le Service de l'application des sanctions pénales et des prisons (ci-après: SASPP) a ordonné l'exécution de la mesure thérapeutique institutionnelle en milieu fermé.
Par décision du 18 août 2011, le SASPP a rejeté la requête de libération conditionnelle de la mesure thérapeutique institutionnelle déposée dans l'intervalle par l'intéressé et confirmé la poursuite du traitement en milieu fermé, décision qui a été maintenue par la Direction de la sécurité et de la justice du canton de Fribourg (ci-après: DSJ) le 25 novembre 2011, par la Cour administrative du Tribunal cantonal fribourgeois le 18 décembre 2013 et par la Cour de droit pénal du Tribunal fédéral le 14 mai 2014 (6B_120/2014).
C.
Par décision du 1 er avril 2015, le SASPP a une nouvelle fois refusé de libérer conditionnellement X._ et a levé la mesure thérapeutique institutionnelle pour cause d'échec, décision qui a été confirmée le 21 septembre 2015 par la DSJ.
D.
Par arrêt du 23 mai 2016, la Cour administrative du Tribunal cantonal fribourgeois a rejeté le recours formé par X._ contre cette dernière décision. Elle s'est notamment fondée sur le rapport d'expertise établi le 27 janvier 2015 par le Docteur A._, dans lequel il pose le diagnostic de trouble mixte de la personnalité, avec une composante de type émotionnelle de type borderline associée avec une composante psychopathique dyssociale marquée ainsi que de pédophilie. Il observe en outre que, dans l'état actuel du développement des méthodes dans les domaines de la psychiatrie, de la psychothérapie, de la sociothérapie et de la pédagogie, les troubles présentés par X._ sont, de manière générale, pratiquement impossibles à traiter, tout particulièrement en raison de la forte composante psychopathique. A cet égard, l'expert expose, en d'autres termes, qu'il n'est pas réaliste d'espérer que des mesures thérapeutiques s'appuyant sur les instruments actuels auront une influence significative sur les troubles du comportement et le risque de récidive. Il relève être particulièrement démuni pour proposer des stratégies autres que contenantes pour gérer le risque potentiel représenté par l'intéressé et admet ne pouvoir formuler à l'heure actuelle aucune autre recommandation que celle de mesures restreignant sa liberté d'action par un cadre fermement structuré. Il observe en outre que X._ conteste souffrir d'une maladie ou d'un trouble psychique, ne reconnaît pas son comportement comme déviant de manière importante de la norme et s'efforce de le banaliser et de dissimuler les aspects problématiques de ses réactions et préoccupations. S'agissant de la capacité de X._ à se confronter avec ses actes, l'expert constate un déni ou une minimisation du comportement criminel, le prénommé attribuant de manière projective la responsabilité de son comportement fautif à la victime, à des tiers, à la « société » ou aux circonstances extérieures.
E.
X._ forme un recours intitulé « recours en matière de droit public » au Tribunal fédéral contre l'arrêt du 23 mai 2016, dans lequel il conclut, avec suite de frais et dépens, à l'annulation de son chiffre I, prononçant le rejet de son recours, et de son chiffre V, fixant les frais de justice mis à sa charge, ainsi qu'au renvoi de la cause à l'instance précédente pour nouvelle décision sur le maintien de la mesure thérapeutique institutionnelle. Il sollicite par ailleurs l'octroi de l'effet suspensif et, par requête séparée du 6 juillet 2016, l'assistance judiciaire ainsi que la désignation de son conseil en qualité d'avocat d'office.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43).
1.1. Conformément à l'<ref-law>, le recours en matière de droit public est recevable contre les décisions rendues dans des causes de droit public. En l'espèce, le litige s'inscrit dans la problématique d'exécution d'une mesure, de sorte que la voie du recours en matière pénale est ouverte (<ref-law>; cf. <ref-ruling> consid. 2.4 p. 52) et non celle du recours en matière de droit public. L'intitulé erroné du recours ne saurait toutefois nuire au recourant dans la mesure où son recours remplit les exigences légales de la voie de droit qui lui est ouverte (cf. <ref-ruling> consid. 1.1 p. 370 et la référence citée).
1.2. Selon l'art. 81 al. 1 let. a et b ch. 1 LTF, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée, à savoir en particulier, l'accusé. Le recourant doit avoir un intérêt actuel et pratique au traitement de son recours, lequel doit exister tant au moment du dépôt du recours qu'à celui où l'arrêt est rendu (<ref-ruling> consid. 4.2 p. 299 et les références citées). En l'espèce, dans la mesure où la décision de levée de la mesure thérapeutique institutionnelle pourrait aboutir à un internement du recourant (cf. infra consid 2.2.2), ce dernier dispose d'un intérêt juridique à la contester.
2.
Le recourant reproche à la cour cantonale d'avoir fait preuve d'arbitraire dans l'établissement des faits et l'appréciation des preuves (art. 9 Cst.) et d'avoir violé l'<ref-law>. Tel qu'ils sont articulés, ces moyens se confondent, de sorte qu'il y a lieu de les examiner ensemble.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur cette notion, <ref-ruling> consid. 3.4 p. 53 et les références citées; <ref-ruling> consid. 6.1 p. 205). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 1.3 p. 41). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368).
2.2.
2.2.1. Conformément à l'<ref-law>, une mesure dont les conditions ne sont plus remplies doit être levée. Comme son prononcé suppose qu'elle soit propre à détourner l'auteur de la commission de nouvelles infractions en relation avec son grave trouble mental (cf. <ref-law>), une mesure thérapeutique institutionnelle ne peut dès lors être maintenue que si elle conserve une chance de succès, ainsi que le prévoit du reste l'<ref-law>. Au contraire de l'internement, qui consiste principalement à neutraliser l'auteur, la mesure thérapeutique institutionnelle cherche à réduire le risque de récidive par une amélioration des facteurs inhérents à l'intéressé. Il s'ensuit que, pour qu'une mesure thérapeutique institutionnelle puisse être maintenue, c'est le traitement médical, non la privation de liberté qui lui est associée, qui doit conserver une chance de succès du point de vue de la prévention spéciale. La notion de traitement médical doit être entendue largement. Même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement, si elle a pour effet prévisible d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société (cf. <ref-ruling> consid. 1.3 p. 204). L'échec de la mesure peut résulter de l'insuffisance de possibilités thérapeutiques, du manque de respect des avis ou recommandations des thérapeutes ou du refus d'un traitement. Le traitement n'est voué à l'échec que s'il est définitivement inopérant. Une simple crise de l'intéressé ne suffit pas. De manière générale, la levée d'une mesure en raison de son échec doit être admise de manière restrictive (arrêts 6B_815/2015 du 11 avril 2016 consid. 2.1.1 et 6B_1160/2013 du 20 février 2014 consid. 3.1.2).
2.2.2. La décision de levée de la mesure est prise par l'autorité d'exécution (<ref-law>). Après l'entrée en force de la levée de la mesure thérapeutique institutionnelle, le tribunal compétent au fond doit statuer, sur requête de l'autorité d'exécution, sur les conséquences juridiques. Cela laisse de la place pour une transformation de la mesure initialement ordonnée et donc pour une rectification du traitement et de l'intensité de la sécurité. Il incombe par conséquent au tribunal de décider si le solde de la peine doit être exécuté (<ref-law>), une autre mesure (<ref-law>; voir également <ref-law>) ou même, le cas échéant, un internement (<ref-law>) doit être ordonné (<ref-ruling> consid. 2.4 et 2.5 p. 52 s.).
2.3. Se fondant notamment sur l'expertise réalisée le 27 janvier 2015, la cour cantonale a retenu que les troubles dont souffrait le recourant ne pouvaient pas s'amender, celui-ci étant dans l'impossibilité d'appréhender sa maladie, respectivement étaient impossibles à traiter, en l'état des méthodes scientifiques à disposition. Dans ces circonstances, la durée relativement brève du traitement depuis qu'il se situait dans une phase continue, demeurait sans pertinence. Le constat net et sévère de l'expert rejoignait par ailleurs ce que disaient ou laissaient entendre déjà d'autres psychiatres en 1991, 2002 et en 2008, bien que de manière plus réservée. En 2011 également, dans le cadre d'une demande de libération conditionnelle, il avait été constaté que l'intéressé se montrait réfractaire à tout suivi thérapeutique et qu'il ne se remettait pas en question. Les nombreuses expériences faites avec des thérapeutes avaient à chaque fois montré que toute tentative visant à engager le recourant dans un mouvement de critique et de remise en question de ses attitudes et de ses comportements, indispensable prélude à un éventuel changement significatif, avait abouti à une détérioration rapide de la relation thérapeutique. Le recourant se référait en vain à l'avis de ses psychiatre et psychologue traitants pour défendre sa thèse, dans la mesure où les objectifs du traitement et les résultats constatés par ces derniers, encore en décembre 2015, ne venaient que confirmer la thèse de l'expert, pourtant développée en janvier 2015, et les déclarations faites par le recourant lui-même lors de son audition par la Commission consultative de libération conditionnelle et d'examen de la dangerosité du canton de Fribourg en 2015, à savoir qu'une prise de conscience du trouble dont il était atteint et des délits qu'il avait commis s'avérait un exercice impossible et qu'il en était fort probablement ainsi depuis les premières expertises. Sur la base de ces éléments, et compte tenu de l'absence de toute avancée dans le traitement instauré depuis 18 mois, la cour cantonale a jugé que la mesure thérapeutique n'était clairement pas susceptible de détourner l'intéressé de nouvelles infractions en relation avec le trouble dont il est atteint, de sorte qu'elle devait être levée.
2.3.1. Le recourant, citant l'expertise du 27 janvier 2015 et le courrier du 9 décembre 2015 de ses psychiatre et psychologue traitants, soutient que la mesure thérapeutique n'aurait pu débuter qu'à partir de la mi-mai 2014, partant qu'il serait trop tôt pour se prononcer sur son efficacité. Il fait en outre valoir que l'autorité précédente n'aurait que partiellement tenu compte des progrès constatés par ses thérapeutes, respectivement passé sous silence leur prise de position sur la nécessité du maintien de la thérapie bifocale - permettant la construction d'un lien thérapeutique et l'entrée dans un processus de soins - et d'un suivi thérapeutique soutenu afin de l'amener à terme à avoir un regard plus introspectif.
La cour cantonale n'a pas ignoré ces éléments (cf. arrêt entrepris p. 10). Elle a toutefois observé qu'en janvier 2015, mais également en décembre 2015, le traitement instauré ne visait toujours pas à détourner l'intéressé de nouvelles infractions en relation avec le trouble dont il était atteint. Elle a ainsi jugé que les objectifs actuels et les résultats constatés après plus de 18 mois de traitement, à tout le moins, ne visaient toujours qu'au maintien d'un certain équilibre chez le recourant et à la gestion de sa souffrance et de ses colères. Ses thérapeutes n'avaient qu'un vague espoir de pouvoir un jour tout au plus « favoriser à terme un travail plus introspectif ». Or aucun délai n'était invoqué. Surtout, la problématique délictuelle n'avait toujours pas été ne serait-ce qu'abordée, pas même en décembre 2015. La cour cantonale a déduit de ces éléments, mis en parallèle avec les conclusions de l'expertise, que la mesure litigieuse avait, tout au plus, un effet palliatif sur le recourant, lui permettant une adaptation un peu meilleure dans le contexte carcéral mais sans réelles perspectives de progrès. Le recourant ne démontre pas que ce raisonnement, qui tient compte des éléments qu'il invoque, serait insoutenable, ce qui n'apparaît au demeurant pas être le cas. Son grief doit en conséquence être rejeté, dans la mesure de sa recevabilité.
2.3.2. Le recourant fait en outre valoir que l'autorité précédente n'aurait que partiellement évoqué la problématique liée à l'insuffisance structurelle de l'unité psychiatrique des Etablissements pénitentiaires de la Plaine de l'Orbe (ci-après: EPO) et qu'elle aurait dû vérifier, selon l'<ref-law>, s'il n'existait pas d'autres mesures thérapeutiques institutionnelles, relevant sur ce point qu'une alternative existerait à Curabilis, institution qui, selon ses thérapeutes, lui serait bénéfique et lui permettrait de s'inscrire dans un nouvel environnement, privilégiant un contexte de soins adapté à ses besoins. Si ses thérapeutes ont en effet relevé qu'il existait un nombre limité de places à l'unité psychiatrique des EPO et qu'ils se heurtaient parfois à la difficulté d'admettre le recourant dans cette unité (<ref-law>; cf. courrier du 9 décembre 2015 ad question 8 p. 2 s.), rien n'indique que l'accès en question lui aurait été refusé, de surcroît pour cette seule raison. En effet, il ressort du questionnaire du 9 décembre 2015 (ad question 8 p. 2 s.), auquel se réfère le recourant, que les difficultés rencontrées dans la mise en place des séjours à l'unité psychiatrique sont davantage liées au fait que l'intéressé n'est pas toujours en mesure d'en respecter les conditions-cadre, ce qui nécessite de travailler sur des séjours relativement courts d'un ou de deux mois afin de limiter le risque que son comportement mette un terme aux séjours. C'est dès lors en vain que le recourant souhaite tirer un argument en sa faveur du manque de places dans cette structure. Pour le reste, dans la mesure où, selon l'expert, les troubles dont souffre le recourant sont pratiquement impossibles à traiter, il n'apparaît pas qu'un placement à Curabilis puisse avoir un effet sur ceux-ci. Quoi qu'il en soit, il appartiendra au tribunal du fond, après l'entrée en force de la décision de levée de la mesure thérapeutique institutionnelle, de statuer sur les conséquences juridiques de cette décision (cf. supra consid. 2.2.2).
2.3.3. Pour le reste, le recourant soutient que l'expertise du 27 janvier 2015 serait lacunaire au motif qu'elle ne prendrait que partiellement en compte les résultats obtenus par l'unité psychiatrique des EPO. Outre que la cour cantonale a tenu compte de ces éléments (cf. supra consid. 2.3.1), il n'apparaît pas et le recourant ne démontre pas qu'il en résulterait un changement significatif dans sa situation permettant de mettre en doute l'actualité de l'expertise (cf. arrêts 6B_815/2015 du 11 avril 2016 consid. 1.2; 6B_120/2014 du 14 mai 2014 consid. 3.2). L'autorité précédente pouvait donc se fonder sur celle-ci.
2.4. En définitive, au vu des éléments retenus, savoir l'absence de toute avancée dans le traitement instauré depuis, à tout le moins, 18 mois, et l'absence de perspectives concrètes d'évolution favorable, compte tenu de l'incapacité du recourant d'appréhender ses troubles et de son absence de prise de conscience en relation avec les actes commis, la cour cantonale pouvait, sans violation du droit fédéral, considérer que la mesure thérapeutique institutionnelle n'était clairement pas susceptible de le détourner de nouvelles infractions en relation avec les troubles dont il est atteint et donc qu'elle était vouée à l'échec, respectivement qu'il y avait lieu de lever la mesure en application de l'<ref-law>.
3.
Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité.
Le recours était d'emblée voué à l'échec, de sorte que l'assistance judiciaire requise en relation avec la présente procédure doit être refusée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>). L'issue du litige rend sans objet la requête d'effet suspensif.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, I e Cour administrative.
Lausanne, le 4 avril 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel