Faits:
A.
Par jugement du 17 février 2009, le Tribunal pénal de la Sarine a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, tentative de viol, pornographie et contravention à la loi fédérale sur les transports publics, à une peine privative de liberté de cinq ans, sous déduction de 390 jours de détention subie avant jugement, et 100 fr. d'amende, la peine privative de liberté de substitution étant fixée à un jour. Une mesure thérapeutique institutionnelle en établissement fermé a été ordonnée (art. 59 al. 1 et 3 CP).
La Cour d'appel pénal du Tribunal cantonal fribourgeois, le 6 septembre 2010, puis la Cour de droit pénal du Tribunal fédéral, le 12 novembre 2010, ont rejeté, respectivement déclaré irrecevable les recours successifs formés par X._ (cf. arrêt 6B_952/2010).
B.
Le 1 er décembre 2010, le Service de l'application des sanctions pénales et des prisons (ci-après: SASPP) a ordonné la mise en oeuvre de la mesure thérapeutique. Faute de notification régulière, la décision est demeurée sans effet. Par décision du 29 juillet 2011, le SASPP a ordonné à nouveau l'exécution de la mesure thérapeutique institutionnelle.
Par décision du 18 août 2011, le SASPP a rejeté la requête de libération conditionnelle de la mesure thérapeutique institutionnelle et confirmé la poursuite du traitement en milieu fermé. Elle a statué sur la base des éléments suivants:
- Le casier judiciaire de X._ comprend trois condamnations préalables au jugement précité, prononcées entre 2005 et 2006, pour violation de la LCR, abus de confiance, vol, utilisation frauduleuse d'un ordinateur, extorsion et faux dans les titres. X._ a également été condamné en 1995 et 2000, en 1995 notamment pour attentat à la pudeur avec violence et viol.
- Le rapport d'expertise psychiatrique du Dr A._ du 18 juin 2008 pose le diagnostic d'un trouble de la personnalité de type état-limite inférieur, présentant des dysfonctionnements narcissiques, immatures et infantiles. X._ présente un risque élevé de dangerosité et de récidive, risque toutefois davantage élevé sur le plan criminel "général" que sur le plan de la dangerosité sexuelle potentielle. "On peut ainsi s'attendre, avec une probabilité élevée, que l'exploré commette des infractions du type de celles qu'il a déjà commises, comme les vols, les abus de confiance, des dommages à la propriété, des menaces. La probabilité est un peu moins élevée pour les actes de violence, les lésions corporelles, les voies de fait, et encore un peu moins probable, sans qu'on puisse l'exclure, pour des actes d'ordre sexuel" (expertise, p. 21, ch. 3.2). Une mesure thérapeutique institutionnelle serait opportune, dans la mesure où c'est dans le cadre institutionnel que les thérapeutiques adéquates peuvent le mieux être mises en oeuvre. Un traitement ambulatoire ne paraît pas suffisant.
- Le rapport relatif à la libération conditionnelle de la Direction des Etablissements de la Plaine de l'Orbe (ci-après: EPO) du 8 avril 2011 indique que le comportement de X._, affecté à la buanderie, est satisfaisant. Son attitude s'est améliorée dès lors qu'il n'a plus eu de crises violentes lors desquelles il poussait les chariots de linge et se frappait avec un bâton. Il se montre en revanche réfractaire à tout suivi psychothérapeutique, se déclare innocent et ne se remet pas en question. Il a en outre reçu une sanction disciplinaire de 5 jours d'arrêt, le 18 juin 2009, pour atteintes à l'honneur, dommages à la propriété et refus d'obtempérer. X._ est immature et colérique. Sa prise en charge s'avère passablement pénible. Il tient des propos infâmes envers ses codétenus, ce qui peut engendrer des tensions. Sa capacité à gérer ses émotions ainsi que ses frustrations est faible et difficile à canaliser. Il se positionne comme victime. Son comportement s'oppose à l'heure actuelle à un élargissement. De l'avis de la Direction, le cadre actuel doit être maintenu et un préavis négatif émis quant à la libération conditionnelle de la mesure.
- X._ a été entendu par la Commission consultative de libération conditionnelle et de dangerosité du canton de Fribourg (ci-après: CLCD) le 12 avril 2011. Il a, à cette occasion, déclaré qu'être honnête et franc ne rapportait rien et avoir la haine contre l'injustice. Il a nié les faits objets de sa condamnation et s'est plaint qu'on ne le laissait pas habiter où il voulait et qu'on lui prenait ses enfants. Il estimait n'avoir pas eu tort de "foutre une baffe" à un employé du Service du patronage. X._ a reconnu avoir vu deux - trois fois un psychologue qui lui aurait dit être à sa disposition si nécessaire. Il a toutefois indiqué que son mental allait très bien et qu'il n'avait pas besoin d'un suivi thérapeutique.
- La CLCD a émis un préavis négatif le 15 avril 2011.
C.
Par décision du 25 novembre 2011, la Direction de la sécurité et de la justice du canton de Fribourg a rejeté le recours de X._ contre les décisions du SASPP des 29 juillet 2011 et 18 août 2011.
D.
Par arrêt du 4 septembre 2012, la Cour administrative du Tribunal cantonal fribourgeois a partiellement admis le recours de X._. Déniant la compétence de l'administration pour statuer en application de l'<ref-law>, elle a annulé la décision en tant qu'elle refusait la libération conditionnelle de la mesure thérapeutique et a renvoyé la cause à la Direction de la sécurité et de la justice pour qu'elle la transmette à une autorité indépendante, en relevant qu'à défaut de législation cantonale spécifique, il s'agissait du juge pénal qui avait ordonné la mesure thérapeutique institutionnelle.
E.
Par arrêt 6B_603/2012 du 14 février 2013, le Tribunal fédéral a jugé que l'organisation cantonale prescrivant que les décisions visées par l'<ref-law> sont prises par une autorité administrative puis revues sur recours par une autre autorité administrative ne violait par principe ni cette disposition ni les garanties constitutionnelles et conventionnelles déduites des art. 31 al. 4 Cst. et 5 par. 4 CEDH, dès lors que le droit cantonal prévoyait ensuite une voie de recours devant une autorité judiciaire disposant d'un plein pouvoir d'examen en fait et en droit. Il a par conséquent admis le recours du ministère public, annulé l'arrêt cantonal et renvoyé la cause à l'autorité précédente pour nouvelle décision.
F.
Par arrêt du 18 décembre 2013, la Cour administrative du Tribunal cantonal fribourgeois a rejeté le recours de X._ contre la décision du 25 novembre 2011.
G.
X._ forme un recours en matière pénale contre cet arrêt. Il en réclame la réforme en ce sens que les décisions du 28 [recte 29] juillet 2011 et 18 août 2011 sont annulées, la mesure est levée et son droit à être libéré est immédiatement examiné. Subsidiairement, il conclut à l'annulation de l'arrêt du 18 décembre 2013 et au renvoi de la cause à l'instance précédente pour nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit:
1.
1.1. Le recourant conclut à la réforme de l'arrêt du 18 décembre 2013 en ce sens que la décision du 29 juillet 2011 ordonnant l'exécution de la mesure est annulée. Il ne présente cependant pas de motivation conforme aux art. 42 al. 2 et 106 al. 2 LTF à l'appui de cette conclusion. Elle est irrecevable.
1.2. La motivation du recours doit se rapporter à l'objet du litige tel qu'il est circonscrit par la décision attaquée (arrêt 6B_1010/2013 du 17 février 2014 consid. 1.2). L'objet du litige ne peut être que ce qui était ou aurait dû être l'objet du litige de la procédure de première instance et qui est encore litigieux en procédure de recours. Durant celle-ci, l'objet du litige peut donc se réduire, notamment au motif que des points ne sont plus litigieux. Il ne peut en revanche s'étendre ou se modifier (cf. <ref-ruling> consid. 4.2 p. 463 et les références citées).
Le recours étant irrecevable s'agissant de la question de l'ordre donné d'exécuter la mesure (cf. supra consid. 1.1 ), seule reste litigieuse celle de savoir si, en août 2011, au moment où l'autorité de première instance a statué, le recourant aurait dû être libéré conditionnellement de la mesure par l'autorité de première instance ou si la mesure aurait dû être levée.
L'objet du litige ne porte ainsi pas sur la nécessité d'examiner si le recourant devait à nouveau être expertisé en 2013, mais s'il le devait au moment où les autorités de première instance ont statué en 2011. Les réflexions de l'autorité précédente, fondées, sur la nécessité fin 2013 d'une nouvelle expertise constituent ainsi uniquement un obiter dictum sans effet juridique sur la procédure pendante. Elles n'ont d'ailleurs pas été transposées dans le dispositif de l'arrêt attaqué, qui se borne à rejeter le recours. Les griefs soulevés par le recourant quant à la nécessité fin 2013 d'une expertise et les suites qui pourraient en découler sont par conséquent irrecevables.
2.
Le recourant allègue de nombreux faits ne résultant pas de l'arrêt attaqué, invoquant pour certains une appréciation des preuves et une constatation des faits arbitraires.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si elles ont été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, v. <ref-ruling> consid. 2.1 p. 18). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 10.1 p. 445). L'invocation d'un tel moyen suppose une argumentation claire, détaillée et circonstanciée (<ref-law>; <ref-ruling> consid. 2.2 p. 232). En vertu de l'<ref-law>, aucun fait nouveau ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
2.2. Il ne sera dès lors pas tenu compte des nombreux faits allégués par le recourant, qui ne résultent pas de l'arrêt attaqué, dans la mesure où l'arbitraire de leur omission n'est pas invoqué et démontré. Il en va en particulier de la prétendue demande anticipée de mesure, de l'insuffisance du traitement qui aurait été proposé au recourant ou encore d'aspects actuels de son état et de ses conditions de détention.
2.3. Le recourant conteste s'être opposé au traitement sans motif sérieux. On comprend qu'il justifie son opposition - qu'il admet (recours, p. 5 et 13) - au traitement par le fait que celui-ci aurait été mis en oeuvre de manière tardive, voire inexistante. Le jugement prononçant la mesure thérapeutique institutionnelle est entré en vigueur le 12 novembre 2010 seulement (cf. supra let. A in fine). Le SASPP a ordonné l'exécution de cette mesure par décision du 1er décembre 2010, renouvelée le 29 juillet 2011. Si ce délai - 8 mois et non un an et demi ou quatre ans (recours, p. 14) - n'est pas optimal, il ne justifie aucunement un refus de collaborer au traitement. Au demeurant, il ressort des propres déclarations du recourant qu'un psychologue l'a approché à plusieurs reprises mais que le recourant, qui niait les faits lui ayant valu sa dernière condamnation, ne voulait pas à l'époque suivre un traitement car il estimait n'en avoir pas besoin (cf. audition du 12 avril 2011, let. B quatrième tiret ci-dessus). Le grief d'arbitraire, dans la mesure où il est recevable, est infondé.
2.4. Le recourant reproche à l'autorité précédente d'avoir arbitrairement retenu, en se fondant sur l'expertise, un "niveau de risque élevé [...] à la commission de nouvelles infractions, d'ordre sexuel notamment" (recours, p. 4, 5 et 6). L'autorité précédente a retenu que "compte tenu du niveau de risque élevé existant en l'espèce, il est exclu d'exposer qui que ce soit à la commission de nouvelles infractions, d'ordre sexuel notamment" (arrêt attaqué, p. 8). Elle n'a donc pas constaté que l'expert aurait retenu un risque de récidive élevé s'agissant d'infraction d'ordre sexuel. Le grief est infondé. Au demeurant, la décision n'est pas arbitraire dans son résultat (cf. infra consid. 4), ce qui conduit également au rejet du grief.
3.
Le recourant se plaint qu'une nouvelle expertise n'ait pas été ordonnée, y voyant une violation de son droit d'être entendu (art. 6 CEDH et 29 al. 2 Cst.) et de l'<ref-law>.
3.1. Tel qu'il est garanti à l'art. 29 al. 2 Cst., le droit d'être entendu comprend celui de produire ou de faire administrer des preuves, mais à condition qu'elles soient pertinentes (<ref-ruling> consid. 2.2 p. 190; <ref-ruling> consid. 5.1 p. 293). Il n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236). L'appréciation (anticipée) des preuves n'est revue par le Tribunal fédéral que sous l'angle de l'arbitraire (cf. <ref-ruling> consid. 4.3.2 p. 376).
3.2. En vertu de l'<ref-law>, l'autorité compétente examine, d'office ou sur demande, si l'auteur peut être libéré conditionnellement de l'exécution de la mesure ou si la mesure peut être levée et, si tel est le cas, quand elle peut l'être. Elle prend une décision à ce sujet au moins une fois par an. Au préalable, elle entend l'auteur et demande un rapport à la direction de l'établissement chargé de l'exécution de la mesure. Aux termes de l'<ref-law>, si l'auteur a commis une infraction prévue à l'<ref-law>, l'autorité compétente prend une décision sur la base d'une expertise indépendante, après avoir entendu une commission composée de représentants des autorités de poursuite pénale, des autorités d'exécution et des milieux de la psychiatrie. L'expert et les représentants des milieux de la psychiatrie ne doivent ni avoir traité l'auteur ni s'être occupés de lui d'une quelconque manière.
A l'instar de l'obligation identique posée par l'<ref-law>, celle prévue par l'<ref-law> de se fonder sur une expertise indépendante ne peut être interprétée dans le sens d'une obligation de procéder à une expertise à chaque révision annuelle. Le critère déterminant demeure ainsi l'actualité du contenu de la dernière expertise. Si aucun changement significatif dans la situation du condamné permettant de mettre en doute l'actualité de l'expertise ne s'est produit, l'autorité compétente peut se fonder sur celle-ci. Toutefois, elle devra tenir compte du fait que, selon les milieux de la psychiatrie, un pronostic de dangerosité fiable ne peut être établi pour une longue période. La doctrine évoque un délai de l'ordre de trois ans pour un renouvellement de l'expertise (cf. arrêt 6B_413/2012 du 28 septembre 2012 consid. 2.1 et les références citées).
3.3. Il résulte de ce qui précède que le refus des autorités précédentes d'ordonner une nouvelle expertise ne viole pas par principe l'<ref-law>, ici applicable au vu des infractions commises. Il convient au contraire d'examiner si les circonstances d'espèces, au moment où l'autorité de première instance a pris sa décision, imposaient une nouvelle expertise ou un complément d'expertise.
3.4. Le recourant estime que la situation existant au moment de l'établissement de l'expertise du Dr A._ du 18 juin 2008 a passablement évolué et n'était déjà plus pertinente au moment de la décision du SASPP, le 18 août 2011. A l'appui de cette affirmation, il invoque avoir refusé de suivre son traitement, durant au moins un an et demi, et que la mesure ordonnée aurait alors été vouée à l'échec. Sa longue détention depuis l'établissement de l'expertise serait également "susceptible de modifier considérablement le caractère d'une personne" (recours, p. 9).
Ce faisant, le recourant ne démontre pas que sa personnalité aurait effectivement changé, et de quelle manière, entre le moment où l'expertise a été établie et celui où l'autorité de première instance a statué. Le jugement ordonnant la mesure thérapeutique institutionnelle est devenu définitif le 12 novembre 2010. L'exécution de la mesure a été ordonnée par décision du 1 er décembre 2010, renouvelée le 29 juillet 2011. C'est dire que le recourant, au moment de la décision du 18 août 2011, ne s'opposait à un traitement que depuis quelques mois. Une telle opposition, à ce moment, ne permettait pas de conclure que la mesure était vouée à l'échec, ni ne justifiait la mise en oeuvre d'une nouvelle expertise ou d'un complément. L'ancienneté de l'expertise, trois ans et deux mois, restait quant à elle acceptable. Dans ces circonstances, le refus, en août 2011, d'ordonner une nouvelle expertise ne prête pas flanc à la critique.
4.
Le recourant conteste l'appréciation du risque de récidive par l'autorité précédente. Il estime, citant l'expertise du Dr A._, que ce risque était faible et permettait de lever la mesure thérapeutique ou de prononcer la libération conditionnelle.
4.1. Les principes juridiques applicables en ce domaine ont été exposés dans l'<ref-ruling> consid. 1 p. 202 ss auquel on peut renvoyer.
4.2. L'autorité précédente a estimé que le recourant était un multirécidiviste, d'une dangerosité sexuelle potentielle confirmée, présentant un risque élevé de dangerosité et de récidive, risque certes plus élevé sur le plan criminel général, qu'il a été condamné en 1995 pour viol et attentat à la pudeur avec violence, qu'il souffre d'un trouble de la personnalité d'une gravité suffisante pour justifier un traitement thérapeutique et, enfin, qu'il est dénué de prise de conscience. Aucun élément ne démontrait que ce risque, tel qu'il a été évalué notamment par le juge pénal et les instances précédentes, avait pu être écarté du fait d'une longue détention. Le déni que le recourant avait encore récemment manifesté auprès des autorités pénitentiaires, confirmait, si besoin est, qu'aucune prise de conscience ne s'était produite à la suite de son incarcération. Au surplus, l'expert avait estimé qu'un traitement dans un cadre institutionnel serait susceptible de diminuer de 20 à 30% le risque de récidive. On pouvait ainsi sérieusement craindre qu'en l'absence de traitement et de prise de conscience, aucune amélioration ne puisse en principe être attendue. La demande de libération conditionnelle de la mesure avait ainsi été rejetée et le traitement en milieu fermé confirmé à bon droit sept mois seulement après l'entrée en force du jugement au fond. Il était en effet raisonnable, à cette époque, de laisser à l'intéressé l'opportunité de comprendre la nécessité de se soumettre au traitement ordonné et de commencer une démarche sérieuse avec l'aide du spécialiste qui lui avait été proposé.
4.3. Le recourant n'attaque pas clairement ce raisonnement. Il invoque les conclusions de l'expert. Il cite toutefois celles-ci de manière erronée. Le risque de récidive n'était pas "encore moins probable" (recours, p. 4) pour les actes d'ordre sexuel, mais "encore un peu moins probable" par rapport à un risque élevé pour les infractions de vols, abus de confiance, dommages à la propriété et un peu moins élevée pour les actes de violence, les lésions corporelles, les voies de fait (cf. supra let. B. Il 2ème tiret). Il est également erroné de soutenir que seul le risque de réitération d'infractions d'ordre sexuel, pour lesquelles la mesure aurait été ordonnée, serait pertinent. Dans l'examen de la libération conditionnelle ou de la levée de la mesure, ce sont les biens juridiques menacés par le comportement futur de l'intéressé, et non uniquement ceux qui ont été lésés par son comportement passé, qui sont décisifs. Or à cet égard, l'expertise retenait un risque de récidive élevé pour les infractions contre le patrimoine et seulement un peu moins probable pour les actes de violence. Le rapport de la Direction des EPO du 8 avril 2011 et l'audition du recourant par la CLCD du 12 avril 2011 démontrent que peu avant la décision de première instance le recourant avait encore une faible capacité à gérer ses émotions et ses frustrations, niait les faits commis et sa responsabilité dans ceux-ci, ne se remettait pas en question, se posant au contraire en victime, et pouvait s'avérer violent. De tels éléments ne permettent pas de penser qu'en août 2011, le risque de récidive, constaté par l'expert, ait diminué, ce d'autant plus que le recourant refusait le traitement susceptible de limiter ce risque. Dans ces circonstances, un mois après que l'exécution de la mesure thérapeutique institutionnelle ait été ordonnée, l'autorité précédente pouvait considérer que cette mesure n'était pas vouée à l'échec de sorte que sa levée s'imposait ou que les conditions permettant une libération conditionnelle n'étaient pas remplies.
5.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Le recours étant dénué de chance de succès, la requête d'assistance judiciaire doit également être rejetée. Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, I e Cour administrative.
Lausanne, le 14 mai 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod