Faits :
A.
Par jugement du 18 octobre 2010, le Tribunal pénal de l'arrondissement de la Sarine a condamné X._, notamment pour tentative de brigandage, à une peine privative de liberté de huit mois fermes, ainsi qu'à une amende. Cette autorité a ordonné un traitement institutionnel au sens de l'<ref-law>, avec suspension de l'exécution de la peine.
Le Service d'application des sanctions pénales et des prisons du canton de Fribourg (SASPP) a rejeté une première demande de libération conditionnelle par décision du 5 décembre 2012, non contestée.
Par décision du 3 février 2014, le SASPP a de nouveau refusé la libération conditionnelle. Saisi d'un recours de X._ contre cette décision, le Département de la sécurité et de la justice du canton de Fribourg l'a rejeté par décision du 26 juin 2014.
B.
Par arrêt du 9 mars 2015, la I e Cour administrative du Tribunal cantonal du canton de Fribourg a rejeté le recours de X._ contre la décision du 26 juin 2014. Elle a statué sans prélever de frais et alloué une indemnité à l'avocat d'office.
Dans l'intervalle, par décision du 29 janvier 2015, le SASPP a constaté que les buts de la mesure thérapeutique n'avaient pas été atteints, a prononcé la levée de la mesure et a saisi le Tribunal pénal de la Sarine pour qu'il se prononce sur la suite à donner. Par décision du 4 février 2015, le SASPP a révoqué la décision du 29 janvier 2015, pour le motif que celle-ci ne reposait pas sur une expertise psychiatrique.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 9 mars 2015. Il conclut, avec suite de dépens, à sa réforme, en ce sens qu'il est constaté que la mesure thérapeutique est vouée à l'échec et qu'il est libéré, le dossier étant transmis au Tribunal pénal pour qu'il lève formellement la mesure, conformément à l'<ref-law>. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral n'examine, en général, que les questions juridiques que la partie recourante soulève, conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2.1 p. 93). De plus, il n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.3 p. 387). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 5.1 p. 356).
2.
L'arrêt attaqué a retenu qu'au moment où le SASPP puis le département ont statué les 3 février et 26 juin 2014, les conditions pour une libération conditionnelle n'étaient pas réunies, ce qui justifiait le rejet du recours (cf. arrêt p. 9). Le recourant ne formule aucune critique à cet égard. Dans une large partie de son argumentation, il prétend que la cour cantonale aurait dû prendre en compte l'évolution de la situation postérieure au 26 juin 2014 et ainsi parvenir à la conclusion que le but de la mesure thérapeutique ne pouvait plus être atteint. La cour cantonale a fait état des décisions du SASPP des 29 janvier et 4 février 2015. Il s'agit de décisions qui ne concernaient pas directement l'objet du recours cantonal, qui était déterminé par la décision du département du 26 juin 2014. Le recourant admet avoir déposé un recours cantonal contre la dernière décision du SASPP du 4 février 2015. Il se limite à une argumentation de nature appellatoire, sans chercher à dire en quoi le droit fédéral, respectivement le droit de procédure cantonal imposait à la cour cantonale de tenir compte de l'évolution de la situation après le 26 juin 2014. Son argumentation est irrecevable. Au demeurant, dès lors que l'examen de la libération conditionnelle, respectivement de la levée de la mesure, doit être tenu périodiquement (une fois par an, cf. <ref-law>), il n'est pas exclu qu'il puisse exister un chevauchement de procédures, en particulier lorsqu'un nouvel examen est initié alors que la décision précédente fait encore l'objet d'un recours. Les procédures en étant à des stades différents devant des autorités distinctes, les décisions rendues sont indépendantes, la seule réserve étant qu'une décision puisse rendre sans objet une autre décision, ce que le recourant ne prétend pas.
3.
Le recourant discute aussi des décisions des 29 janvier et 4 février 2015 et de la procédure initiée à la suite de cette dernière décision. Il met en cause la nécessité d'une nouvelle expertise et considère que les conditions pour prononcer un internement à la place de la mesure thérapeutique ne sont pas réalisées. Ce faisant, le recourant discute de décisions rendues en première instance cantonale, sur lesquelles il n'y a pas lieu d'entrer en matière (cf. <ref-law>). Son argumentation est irrecevable.
4.
Le recourant laisse entendre que la cour cantonale a violé l'<ref-law> dès lors que plus d'un an s'est écoulé entre son arrêt et la décision du SASPP du 3 février 2014.
4.1. Le contrôle annuel prévu par l'<ref-law> doit être opéré par une autorité judiciaire. Néanmoins, la compétence d'une autorité administrative en première instance est admissible dès lors qu'une voie de recours avec plein pouvoir d'examen devant une autorité judiciaire est aménagée. Le système mis en place dans le canton de Fribourg est conforme. Toutefois, la décision du SASPP n'est pas directement attaquable devant la Cour administrative du Tribunal cantonal, mais doit préalablement faire l'objet d'un recours devant une autorité administrative, soit la Direction de la sécurité et de la justice. Un tel aménagement des voies de droit est susceptible dans certaines circonstances d'être à l'origine d'une durée de traitement peu compatible avec le délai d'une année posé par l'<ref-law>, qui implique qu'une autorité judiciaire puisse s'être prononcée (cf. <ref-ruling> consid. 3.2.3 p. 54 s.).
Le délai d'un an prévu par l'<ref-law> est certes contraignant mais n'a pas à être tenu sans réserve, au risque sinon, suivant les circonstances, de rendre une décision ne reposant pas sur tous les éléments nécessaires, respectivement sur des éléments actualisés. Que la question de la libération conditionnelle n'ait pas été examinée un an après le prononcé de la mesure ne viole dès lors pas nécessairement l'<ref-law> si le dépassement peut légitimement s'expliquer par les circonstances d'espèce (cf. arrêt 6B_471/2012 - 6B_517/2012 du 21 janvier 2013 consid. 5.3).
4.2. En l'occurrence, la mesure a été instituée par jugement du 18 octobre 2010. Le SASPP a rendu une première décision de refus de libération conditionnelle le 5 décembre 2012, qui n'a pas été contestée. Il a rendu une nouvelle décision de refus le 3 février 2014, qui a été contestée devant le département qui a confirmé le refus le 26 juin 2014. Le recourant a déposé un recours le 30 juillet 2014, sur lequel la cour cantonale a statué par arrêt du 9 mars 2015. Il y a donc quatorze mois qui se sont écoulés entre la décision du SASPP du 3 janvier 2014 et l'arrêt cantonal, qui constitue la décision émanant d'une autorité judiciaire. L'arrêt précité publié aux <ref-ruling> consid. 3.2.3 a déjà signalé que l'aménagement des voies de droit cantonales pouvait poser problème. L'arrêt attaqué ne fournit aucune explication permettant de justifier le temps mis par la cour cantonale pour statuer. En outre, si une voie de recours devant une autorité judiciaire est suffisante (supra, consid. 4.1), il n'en reste pas moins que le délai annuel prévu par l'<ref-law> doit être respecté globalement et non pas uniquement pour la procédure de recours devant l'autorité judiciaire. Or, il s'est écoulé plus de trois ans depuis le dernier contrôle non contesté de décembre 2012 jusqu'à l'arrêt du 9 mars 2015.
La durée globale mise pour statuer consacre une violation de l'<ref-law>. Le canton de Fribourg est invité à mettre en oeuvre une procédure permettant le respect du délai d'un an posé par cette disposition. Toutefois, cette violation ne conduit pas en elle-même à l'annulation de l'arrêt attaqué ni ne constitue un motif de prononcer la libération conditionnelle, les conditions pour l'octroi de celle-ci étant autonomes.
Il y a lieu de constater la violation de l'<ref-law> dans le présent considérant. Cette violation implique, pour cet aspect de la contestation, une renonciation aux frais et l'octroi de l'assistance judiciaire.
5.
Le recours doit être rejeté dans la mesure où il est recevable. Vu la violation constatée (supra consid. 4.2), il convient de mettre le recourant au bénéfice d'une assistance judiciaire partielle (<ref-ruling> consid. 4 p. 399 s.; <ref-law>), les autres griefs soulevés étant dépourvus de chances de succès. Il y a lieu de désigner Me Kathrin Gruber en qualité d'avocate d'office et de lui allouer une indemnité réduite à titre d'honoraires, qui sera supportée par la caisse du Tribunal fédéral (<ref-law>). Le recourant supportera des frais judiciaires réduits (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est partiellement admise pour la procédure devant le Tribunal fédéral et Me Kathrin Gruber est désignée en qualité d'avocat d'office. Elle est rejetée pour le surplus.
3.
Une part des frais judiciaires, arrêtés à 400 fr., est mise à la charge du recourant.
4.
Une indemnité réduite de 1'500 fr., à payer à Me Kathrin Gruber à titre d'honoraires, est mise à la charge de la caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Fribourg, I e Cour administrative.
Lausanne, le 21 avril 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod