Faits :
A.
Par jugement du 17 août 2010, le Juge des districts de Martigny et St-Maurice a condamné X._ pour contravention à la loi fédérale sur les stupéfiants (<ref-law>) et violation de l'art. 33 al. 1 let. a LArm à une peine pécuniaire de 15 jours-amende, à 100 fr. le jour, et à une amende de 500 fr., sous déduction de la détention avant jugement subie depuis le 30 décembre 2009. Il l'a exempté de toute peine pour les faits en relation avec la violation des art. 123 al. 1 et 180 al. 1 CP (lésions corporelles simples et menaces) et a ordonné un traitement institutionnel dans un établissement psychiatrique ou pénitentiaire fermé ou dans la section fermée d'un établissement pénitentiaire ouvert (<ref-law>).
Durant l'enquête, une expertise psychiatrique avait été ordonnée. Dans leur rapport du 14 avril 2010, les experts ont posé le diagnostic de schizophrénie paranoïde et préconisé une mesure institutionnelle au sens de l'<ref-law>, réalisée en milieu fermé et accompagnée d'un traitement psychiatrique avec un accent particulier sur la médication neuroleptique.
X._ est demeuré à la Prison des Iles jusqu'au 3 mars 2011. A cette date, il a été transféré aux Etablissements de la Plaine de l'Orbe (EPO) où il a séjourné jusqu'au 18 mars 2013.
B.
Par arrêt 6B_445/2013 - 6B_507/2013 du 14 janvier 2014 (ci-après l'arrêt de renvoi), le Tribunal fédéral a partiellement admis le recours formé par X._ contre une ordonnance du 23 avril 2013 de la Chambre pénale du Tribunal cantonal valaisan. Il a annulé cette décision et a renvoyé la cause à cette autorité pour nouvelle décision.
Auprès du Tribunal fédéral, X._ s'était plaint que l'autorité cantonale n'ait pas statué sur ses conclusions d'une part en complément de l'instruction sur la légalité des conditions de sa détention entre le 17 septembre 2010 et le 18 mars 2013, d'autre part en constat d'une violation du principe de célérité. Il dénonçait une violation des art. 5 par. 1 let. e et par. 4 CEDH et 111 al. 3 LTF.
S'agissant de la violation alléguée de l'art. 5 par. 1 let. e CEDH, le Tribunal fédéral a estimé que les autorités précédentes - à savoir le Tribunal de l'application des peines et mesures du canton du Valais (TAPEM) et la Chambre pénale du Tribunal cantonal valaisan - étaient compétentes pour l'examiner et, cas échéant, pour la constater (consid. 4.2), ce qu'elles n'avaient pas fait.
Au vu des circonstances d'espèces, le Tribunal fédéral a jugé qu'en n'entrant pas en matière sur le grief de violation de l'art. 5 par. 1 let. e CEDH invoqué par X._, la Chambre pénale du Tribunal cantonal valaisan l'avait privé de la possibilité de faire valoir ce moyen devant le Tribunal fédéral et avait violé l'<ref-law>. En empêchant le recourant de faire examiner l'illicéité alléguée, l'ordonnance du 23 avril 2013 avait en outre violé l'art. 5 par. 4 CEDH. Le Tribunal fédéral a dès lors renvoyé la cause à l'autorité cantonale pour qu'elle entre en matière sur le grief de violation de l'art. 5. par. 1 let. e CEDH. Si cette autorité aboutissait à la conclusion que la détention subie était illégale, il lui appartiendrait soit de se prononcer elle-même sur l'indemnisation requise, soit de transmettre la cause à l'autorité cantonale compétente en matière de responsabilité de l'Etat (consid. 4.4).
C.
A la suite de l'arrêt de renvoi, la Chambre pénale du Tribunal cantonal valaisan a rejeté le recours formé par X._ par ordonnance du 23 juin 2014. Elle a modifié l'ordonnance du 23 avril 2013 en ce sens que X._ était mis au bénéfice de l'assistance judiciaire totale pour la procédure de recours. En substance, elle a considéré, après complément d'instruction, que la détention de X._ à la Prison des Iles puis aux EPO ne violait ni l'art. 5 par. 1 let. e CEDH, ni l'art. 3 CEDH.
D.
X._ forme un recours en matière pénale contre l'ordonnance du 23 juin 2014. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il est constaté une violation des art. 3 et 5 par. 1 lit. e CEDH et qu'une indemnité au sens de l'art. 5 par. 5 CEDH lui est accordée à hauteur de 100 fr. par jour du 29 décembre 2009 au 18 mars 2013, avec intérêts dès le 17 septembre 2010, à charge de l'Etat du Valais. Il requiert subsidiairement le renvoi de la cause à la juridiction cantonale compétente quant à cette indemnité. Il sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
1.1. Le principe de l'autorité de l'arrêt de renvoi, que prévoyait l'art. 66 al. 1 aOJ, demeure valable sous l'empire de la LTF (<ref-ruling> consid. 2 p. 335). En vertu de ce principe, l'autorité cantonale à laquelle une affaire est renvoyée est tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Sa cognition est limitée par les motifs de l'arrêt de renvoi, en ce sens qu'elle est liée par ce qui a déjà été tranché définitivement par le Tribunal fédéral, ainsi que par les constatations de fait qui n'ont pas été critiquées devant lui. Des faits nouveaux ne peuvent être pris en considération que sur les points qui ont fait l'objet du renvoi, lesquels ne peuvent être ni étendus, ni fixés sur une base juridique nouvelle (<ref-ruling> consid. 5.2 p. 94 et la jurisprudence citée). Les parties, quant à elles, ne peuvent plus faire valoir dans le recours contre la nouvelle décision cantonale des moyens que le Tribunal fédéral avait expressément rejetés dans l'arrêt de renvoi (<ref-ruling> consid. 2 p. 335; <ref-ruling> consid. 4.2 p. 208) ou dont il n'avait pas eu à connaître, faute pour elles de les avoir invoqués dans la première procédure de recours alors qu'elles pouvaient le faire (arrêts 5A_139/2013 du 31 juillet 2013 consid. 3.1, non publié à l'<ref-ruling>, mais in : Praxis 2014 n° 19 p. 136; 4A_278/2012 du 26 septembre 2012 consid. 1.2, non publié à l'<ref-ruling>). Elles ne peuvent non plus formuler des conclusions dépassant celles prises dans leur précédent recours devant le Tribunal fédéral (arrêt 6B_440/2013 du 27 août 2013 consid. 1.1).
1.2. Dans le cadre de la procédure précédente ayant abouti à l'arrêt de renvoi, le recourant n'avait pas invoqué de violation de l'art. 3 CEDH auprès du Tribunal fédéral (cf. supra let. B). Le grief de violation de cette disposition, formulé dans le présent recours en matière pénale, est irrecevable. Il en va de même du grief de violation de l'art. 8 Cst. qui n'avait pas fait l'objet de la procédure ayant abouti à l'arrêt de renvoi.
1.3. Le grief de violation de l'art. 5 par. 1 let. e CEDH, réitéré par le recourant, n'est en outre recevable que pour la période qu'il avait invoquée dans le recours qui avait abouti à l'arrêt de renvoi, soit du 17 septembre 2010 au 18 mars 2013 (cf. supra let. B).
1.4. La recevabilité du recours avait pour le surplus été examinée s'agissant de ce grief dans l'arrêt de renvoi, ad consid. 4. Il n'y a pas lieu d'y revenir.
2.
Le recourant invoque des constats inexacts et illégaux des faits, contraires à l'<ref-law>.
2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.2 p. 266).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2 p. 266).
2.2. Le recourant reproche à l'autorité cantonale de n'avoir pas tenu compte qu'il aurait pu, en Valais, être hébergé dans un établissement non pénitentiaire pour attendre le jugement du 17 août 2010, puis pour effectuer le traitement institutionnel ordonné par celui-ci. Il cite à cet égard le Centre d'accueil pour adultes en difficulté (CAAD) à Saxon et Le Chalet à Servan.
2.2.1. La question des conditions de séjour du recourant avant le 17 septembre 2010 ne fait pas l'objet de la présente procédure (cf. supra consid. 1.3). Le grief est irrecevable sur ce point.
2.2.2. Le jugement du 17 août 2010 avait prononcé un traitement institutionnel dans un établissement psychiatrique ou pénitentiaire fermé ou dans la section fermée d'un établissement pénitentiaire ouvert (<ref-law>). Seuls les établissements acceptant des personnes soumises à un tel traitement auraient donc pu être considérés comme une alternative aux établissements où a séjourné le recourant.
Le recourant invoque que le CAAD ou Le Chalet aurait rempli les conditions de sécurité exigées par l'<ref-law>. Il compare son cas à celui d'un dénommé A._. Il discute librement des différents éléments. Il procède de la sorte de manière purement appellatoire, ce qui n'est pas admissible.
C'est en vain que le recourant allègue qu'il aurait existé en Valais, entre le 17 septembre 2010 et le 18 mars 2013, un établissement non carcéral susceptible de l'accueillir pour qu'il effectue son traitement institutionnel en milieu fermé au sens de l'<ref-law> (cf. pour la période ici litigieuse: arrêt 6B_384/2010 du 15 septembre 2010 consid. 2.1.3). Il ne soutient pour le surplus pas qu'il aurait pu être accueilli dans un établissement approprié hors de son canton et rien dans l'ordonnance entreprise ne le laisse penser.
2.2.3. Le recourant soulève une violation de plusieurs droits fondamentaux dont, comprend-on, l'équité et de le droit d'être entendu. Il semble douteux que ces moyens soient suffisamment motivés (<ref-law>) et donc recevables. Ils sont de toute façon infondés dès lors qu'ils partent de la prémisse erronée de l'existence de lieux d'accueil non carcéraux en Valais pour effectuer un traitement au sens de l'<ref-law>.
Le grief de violation de l'art. 5 par. 1 let. e CEDH ou de l'<ref-law> ne saurait en aucun cas se fonder sur une telle alternative, inexistante.
2.3. Le recourant invoque d'autres passages de l'ordonnance attaquée. Faute pour lui d'exposer en quoi les constatations critiquées auraient conduit à un résultat arbitraire, ce conformément aux exigences rappelées ci-dessus (cf. consid. 2.1) son grief de constatation inexacte des faits est irrecevable.
Il ne sera en outre pas tenu compte des faits allégués par le recourant qui s'écartent de l'ordonnance entreprise sans que l'arbitraire de leur omission ne soit invoqué et démontré conformément aux exigences de motivation posées par l'<ref-law>.
3.
Le recourant reproche à l'autorité cantonale d'avoir considéré que son séjour à la Prison des Iles du 17 septembre 2010 au 3 mars 2011 d'une part, aux EPO du 3 mars 2011 au 18 mars 2013 d'autre part était conforme à l'art. 5 par. 1 let. e CEDH. Il invoque également les ch. 12 et 47 al. 1 de l'annexe de la Recommandation Rec (2006) 2 du 11 janvier 2006 du Comité des Ministres aux Etats membres sur les Règles pénitentiaires européennes (ci-après RPE).
3.1. La RPE 1 prévoit que les personnes privées de liberté doivent être traitées dans le respect des droits de l'homme. La RPE 12 indique que les personnes souffrant de maladies mentales et dont l'état de santé mentale est incompatible avec la détention en prison devraient être détenues dans un établissement spécialement conçu à cet effet (al. 1). Si ces personnes sont néanmoins exceptionnellement détenues dans une prison, leur situation et leurs besoins doivent être régis par des règles spéciales (al. 2). Quant à la RPE 47.1, il prévoit que des institutions ou sections spécialisées placées sous contrôle médical doivent être organisées pour l'observation et le traitement de détenus atteints d'affections ou de troubles mentaux qui ne relèvent pas nécessairement des dispositions de la RPE 12.
Les RPE ont le caractère de simples directives à l'intention des Etats membres du Conseil de l'Europe (arrêt 1B_369/2013 du 26 février 2014 consid. 3.2 et référence citée). Cependant, en tant que reflet des traditions juridiques communes à ces Etats, le Tribunal fédéral en tient compte de longue date dans la concrétisation de la liberté personnelle et des autres droits fondamentaux garantis par la Cst. et par la CEDH (<ref-ruling> consid. 4d/cc p. 121 et la jurisprudence citée; en dernier lieu: <ref-ruling> consid. 3.2 p. 43). On parle à leur propos de "code de la détention pénitentiaire" ou de " soft law ", néanmoins relativement contraignant pour les autorités (arrêt 1B_369/2013 du 26 février 2014 consid. 3.2 et références citées).
3.2.
3.2.1. En vertu de l'art. 5 par. 1 CEDH, toute personne a droit à la liberté et à la sûreté. Nul ne peut être privé de sa liberté, sauf selon les voies légales et s'il s'agit, notamment, de la détention régulière d'un aliéné (art. 5 par. 1 let. e CEDH).
3.2.2. Dans une jurisprudence confirmée encore récemment (arrêt de la CourEDH Papillo contre Suisse du 27 janvier 2015 par. 41 ss et les arrêts cités), la Cour européenne des droits de l'homme considère que pour respecter l'article 5 par. 1 CEDH la détention doit avoir lieu « selon les voies légales » et « être régulière ». En la matière, la CEDH renvoie pour l'essentiel à la législation nationale et consacre l'obligation d'en respecter les normes de fond comme de procédure. Elle exige de surcroît la conformité de toute privation de liberté au but de l'article 5 CEDH: protéger l'individu contre l'arbitraire. Il doit exister un lien entre le motif censé justifier la privation de liberté et le lieu et les conditions de la détention. En principe, la « détention » d'une personne souffrant de troubles mentaux ne peut être considérée comme « régulière » aux fins de l'article 5 par. 1 let. e CEDH que si elle s'effectue dans un hôpital, dans une clinique ou dans un autre établissement approprié. Le seul fait que l'intéressé ne soit pas intégré dans un établissement approprié n'a toutefois pas pour effet automatique de rendre sa détention irrégulière au regard de l'article 5 par. 1 CEDH. Un équilibre raisonnable doit être ménagé entre les intérêts opposés en cause étant entendu qu'un poids particulier doit être accordé au droit à la liberté. Dans cet esprit, la Cour prend en compte les efforts déployés par les autorités internes en vue de trouver un établissement adapté pour évaluer la régularité du maintien dans l'intervalle en détention (arrêts de la CourEDH Papillo précité, par. 43; De Schepper contre Belgique du 13 octobre 2009 par. 48.
Dans le cadre de l'examen des conditions de séjour d'une personne soumis à un traitement ne revêtant pas de caractère punitif, la Cour a en outre estimé qu'on ne saurait considérer comme contraire en soi à l'article 5 par. 1 CEDH le fait de n'entamer qu'après la prise d'effet de dit traitement la procédure de sélection de l'établissement le plus approprié. Une fois la procédure de sélection achevée ce serait de plus manquer de réalisme et adopter une attitude trop rigide que d'escompter que les autorités veillent à ce qu'une place soit immédiatement disponible dans l'établissement choisi. La Cour admet que, pour des motifs liés aux nécessités inhérentes à une gestion efficace des fonds publics, un certain écart entre la capacité disponible et la capacité requise des établissements est inévitable et doit être jugé acceptable (arrêt de la CourEDH Morsink contre Pays-Bas du 11 mai 2004, par. 66 s.).
3.2.3. Dans l'affaire Papillo précitée, la Cour a examiné les conditions de détention d'une personne souffrant de manie avec des symptômes psychotiques, soumise à une mesure institutionnelle au sens de l'art. 43 ch. 1 al. 1 aCP du fait de son irresponsabilité. Après le prononcé de cette mesure, l'intéressé était demeuré en détention durant près de deux mois, puis avait été interné dans une clinique pendant un peu plus de trois mois, avant d'être replacé en détention, où il resta, faute de trouver une place en institution, acceptée par lui, durant dix mois. Sa liberté conditionnelle fut ensuite prononcée. Durant sa détention, il bénéficia de consultations médicales régulières et d'un traitement par neuroleptiques.
La Cour européenne des droits de l'homme a tout d'abord noté, se référant à l'<ref-law>, que la détention et sa prolongation avaient été décidées "selon les voies légales". Relevant qu'elle n'a jamais conclu concernant la Suisse à l'existence d'un problème structurel dans la prise en charge des personnes délinquantes souffrant de troubles mentaux, elle a constaté dans le cas d'espèce que les autorités avaient pris contact avec plusieurs institutions susceptibles d'accueillir le requérant dès que celui-ci s'était dit prêt à suivre un traitement. Ces démarches s'étaient toutefois interrompues lorsque l'intéressé avait refusé de se rendre à l'entretien auprès de la clinique susceptible à l'accueillir. La Cour a ensuite relevé que l'intéressé avait bénéficié de consultations médicales régulières et d'un traitement par neuroleptiques, qui avaient eu pour conséquence une stabilisation de son état et, subséquemment sa remise en liberté. La Cour a dès lors jugé que les soins dont avait bénéficié le requérant lors de sa détention pouvaient être considérés comme appropriés. La détention entre sa remise en détention et sa libération conditionnelle était par conséquent conforme au but de l'art. 5 par. 1 let. e CEDH (par. 44 ss).
3.3. La question ici à trancher n'est pas de savoir si le prononcé d'un traitement institutionnel en milieu fermé au sens de l'<ref-law> était conforme à cette disposition ou à l'art. 5 par. 1 let. e CEDH. Une telle question aurait dû faire l'objet d'un recours contre le jugement du 17 août 2010 prononçant dite mesure, recours que le recourant n'a pas formé en temps utile. Il s'agit uniquement, au vu du grief de violation de l'art. 5 par. 1 let. e CEDH soulevé, de déterminer si l' exécution du traitement ordonné, compte tenu des conditions concrètes dans lesquelles il a eu lieu, respectait l'art. 5 par. 1 let. e CEDH.
3.4. Conformément à l'<ref-law>, le traitement institutionnel s'effectue en règle générale dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures. L'<ref-law> prévoit toutefois que le traitement doit être exécuté dans un établissement fermé, tant qu'il existe un risque de fuite ou de récidive. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'<ref-law> - soit dans un établissement fermé ou dans la section fermée d'un établissement ouvert -, si le traitement thérapeutique nécessaire est assuré par du personnel qualifié (art. 59 al. 3 2e phrase CP).
En introduisant la possibilité d'exécuter une mesure institutionnelle dans un établissement pénitentiaire, le législateur a prévu une exception au principe de la séparation des lieux d'exécution des mesures de ceux d'exécution des peines (<ref-law>; arrêt 6B_629/2009 du 21 décembre 2009 consid. 1.2.2). Un placement dans un établissement pénitentiaire doit toutefois rester l'exception (arrêt 6B_629/2009 précité consid. 1.2.4) et des mesures devront être prises pour que l'intéressé soit transféré aussitôt que possible dans un établissement spécialisé (arrêt 6B_625/2012 du 27 juin 2013 consid. 4.3). Cela rejoint l'esprit de l'<ref-law> qui exige que lorsque plusieurs mesures s'avèrent appropriées, mais qu'une seule est nécessaire, le juge ordonne celle qui porte à l'auteur les atteintes les moins graves.
La privation de liberté litigieuse a été ordonnée conformément à l'<ref-law>. Elle a donc été décidée selon les voies légales.
Il convient d'examiner si elle a été régulière au sens de l'art. 5 par. 1 let. e CEDH, ce en distinguant le séjour à la Prison des Iles de celui effectué aux EPO.
3.5. Séjour à la Prison des Iles du 17 septembre 2010 au 3 mars 2011.
3.5.1. A la suite de l'entrée en force du jugement du 17 août 2010 ordonnant un traitement institutionnel en milieu fermé, la direction des Établissements pénitentiaires du Valais a immédiatement déposé une demande de transfert aux EPO, compte tenu de l'absence d'établissements appropriés en Valais et du fait que le centre "La Pâquerette" à Genève n'était pas adapté aux personnes souffrant de schizophrénie. Le Service de médecine pénitentiaire valaisan (SMP) ne disposait en effet ni des locaux adéquats ni des ressources humaines suffisantes pour assumer la mise en oeuvre d'une mesure fondée sur l'<ref-law>. Le recourant a été inscrit sur liste d'attente. Dans l'attente d'une place, il a bénéficié à la Prison des Iles d'entretiens hebdomadaires avec une psychologue clinicienne, placée sous supervision du médecin psychiatre responsable du SMP, ainsi que d'un traitement psychopharmacologique prescrit par ce dernier, en collaboration avec la psychologue et le service infirmier. Le recourant a pu être transféré aux EPO le 3 mars 2011.
Le recourant se plaint d'avoir été soumis durant son séjour à la Prison des Iles aux mêmes conditions de détention que les détenus de droit commun. Il invoque un confinement 23h sur 24h, dans une cellule où il pouvait fumer au point de déclencher des alarmes, le rationnement des visites et la promiscuité avec des délinquants. Ce faisant, le recourant s'écarte sensiblement des constatations de fait figurant dans l'ordonnance attaquée, sans invoquer conformément aux exigences de l'<ref-law> leur caractère arbitraire. Il convient par conséquent de se fonder uniquement sur les faits résultant de cette ordonnance. Selon cette décision, il n'avait pas été possible d'attribuer une occupation au recourant en raison de son état psychique qui n'était pas adapté aux possibilités qui existaient tant à la cuisine qu'à l'imprimerie. Il avait pour le surplus bénéficié du régime usuel s'appliquant aux détenus, à savoir une heure de promenade par jour et une heure de sport en plus par semaine. Le recourant n'avait toutefois pas effectué tous les jours la promenade, n'étant pas toujours en mesure de sortir au vu de sa consommation de médicaments (ordonnance attaquée, p. 4). Les privations de télévision dont il se plaint, au nombre de deux, sont antérieures à la période litigieuse (cf. idem, p. 5) et donc non pertinentes ici. S'agissant des alarmes fumées, pour la période litigieuse, soit entre le 17 septembre 2010 et le 3 mars 2011, le recourant n'a déclenché l'alarme qu'à une seule reprise, le 8 octobre 2010, la précédente alarme remontant au 17 juillet 2010. Un abus de cigarettes sans aération avait été constaté et les cigarettes enlevées au recourant (<ref-law>).
3.5.2. Au vu de la jurisprudence européenne précitée, la détention du recourant à la Prison des Iles ne viole pas l'art. 5 par. 1 let. e CEDH au seul motif qu'elle a été exécutée dans un établissement carcéral. Il convient au contraire d'examiner les différents intérêts en cause.
Soumettre une personne astreinte à un traitement ne revêtant pas un caractère punitif au même régime que des personnes condamnées à une sanction pénale n'est de loin pas idéal. Il aurait été souhaitable que le régime de détention soit adapté, autant que possible, aux caractéristiques du séjour du recourant. L'art. 2 al. 2 ch. 2 du règlement valaisan concernant la liste des établissements pour l'exécution des privations de liberté à caractère pénal du 29 octobre 2010 (RS/VS 343.310) semble ainsi prévoir des régimes de détention différents selon que la personne exécute une peine ou une mesure. Cela étant, le recourant avait été soumis à un traitement institutionnel en milieu fermé car le risque de récidive de commettre des infractions sous forme de comportements violents à l'égard d'autrui était, à dire d'expert, élevé (cf. jugement du 17 août 2010, p. 10). Un encadrement strict s'imposait donc. A cela s'ajoute que le séjour du recourant dans de telles conditions n'a duré, une fois la mesure entrée en force, soit à mi-septembre 2010, qu'un peu plus de cinq mois. La Prison des Iles a en outre immédiatement entrepris les démarches pour que le recourant soit transféré dans un établissement approprié. Elle l'a, dans l'intervalle, fait bénéficier d'entretiens hebdomadaires avec une psychologue, sous supervision d'un médecin psychiatre, ainsi que d'un traitement psychopharmacologique.
Au vu de ces circonstances et compte tenu de l'impossibilité pratique et financière d'assurer immédiatement une place à toute personne soumise à un traitement, le maintien du recourant à la Prison des Iles dans l'attente d'une place dans un établissement approprié et au bénéfice du traitement mentionné ci-dessus durant un peu plus de cinq mois ne viole pas l'art. 5 par. 1 let. e CEDH.
S'agissant de son séjour à la Prison des Iles, le recourant se plaint de n'avoir pu rencontrer le psychiatre du SMP. Il s'avère qu'il a dans un premier temps refusé de rencontrer ce dernier. Le dossier n'établit pour la période litigieuse qu'une seule demande de voir le psychiatre. Celle-ci a toutefois été écartée, sans être renouvelée, une discussion ayant permis d'établir que ce n'était pas le recourant mais ses parents qui voulaient qu'il rencontre le psychiatre, bien que suivi hebdomadairement par la psychologue sous contrôle de ce dernier (pièce 141). De telles circonstances ne suffisent pas à fonder, au vu des éléments mentionnés ci-dessus, le grief de violation de l'art. 5 par. 1 let. e CEDH s'agissant du séjour à la Prison des Iles.
Le recourant se réfère sans convaincre à l'arrêt de la CourEDH Slawomir Musial contre Pologne du 20 janvier 2009. Celui-ci n'a pas retenu un traitement contraire à l'art. 3 CEDH, dont le recourant déduit une violation de l'art. 5 par. 1 let. e CEDH, au seul motif qu'une personne atteinte de problème mentaux était limitée dans son temps de promenade. Une telle violation n'a été admise que parce qu'outre cette circonstance, les conditions de vie et d'hygiène étaient préoccupantes dans les établissements où le requérant avait séjourné, dont un grave problème de surpopulation, les soins médicaux étaient inadéquats et la durée de la détention litigieuse était très longue (par. 90, 92, 97). De telles conditions ne sont pas établies dans le cas d'espèce.
3.6. Séjour aux EPO du 3 mars 2011 au 18 mars 2013
3.6.1. Les EPO sont reconnus comme établissement d'exécution des peines concordataires. Il dispose d'une unité psychiatrique et propose un programme individualisé de thérapie et de soins (cf. ordonnance attaquée, p. 9 let. 2.2.2.1). Le recourant y a suivi un traitement psychiatrique intégré associant des entretiens psychothérapeutiques tous les deux à quatre semaines, assurés par un psychiatre (pièce 121; <ref-law>), à un traitement psychopharma-cologique. Selon le service médical des EPO, la prise en charge n'aurait pas été différente si le recourant n'avait pas été incarcéré. Il n'y avait aucune indication à un séjour à l'unité psychiatrique des EPO.
Dans le cadre de ce séjour, le recourant a passé par plusieurs étapes, à savoir tout d'abord une période d'évaluation dans une petite structure cadrante durant laquelle il a pu sortir 1h 30 le matin et 1 h l'après-midi pour la promenade et avait 1 h de sport un jour sur deux, ainsi que deux fois 30 min pour les douches, puis une phase de responsabilisation dans un secteur offrant plus d'interactions, d'activités, de travail et de loisir, ouvert de 6 h à 20 h 15, avec de brefs retours en cellule au moment de la rentrée des ateliers et des repas et, enfin, un passage à la Colonie, ouverte de 6 h 30 à 21 h, où les activités pouvaient se faire dans des secteurs non délimités et des sorties avaient été organisées.
La thérapie psychiatrique dispensée aux EPO a permis le prononcé, le 1er mars 2013, de la libération conditionnelle de la mesure et le transfert du recourant au CAAD le 18 mars 2013.
3.6.2. Le recourant invoque que les EPO n'auraient pas été un établissement approprié dans le sens de la jurisprudence "sur ce sujet" (recours, p. 8 let. h). L'examen du respect de l'art. 5 par. 1 let. e CEDH n'est pas fait uniquement à l'aune de l'établissement où se déroule le traitement, mais et surtout compte tenu des conditions dans lesquelles celui-ci se déroule. Les généralités invoquées par le recourant sur les EPO, outre qu'elles ne résultent pas de l'ordonnance attaquée, sont impropres à prouver une quelconque violation. Le recourant déclare avoir fréquenté des condamnés de droit commun. Il n'expose toutefois pas que cela lui aurait causé un préjudice, étant précisé qu'il bénéficiait durant son séjour d'une cellule individuelle. Au demeurant, dès lors que son état ne justifiait pas un placement dans l'unité psychiatrique de l'établissement, on ne voit pas que son maintien hors de cette unité fonde son grief.
Pour le surplus, on ne peut que constater que le recourant a vu ses conditions de séjour adaptées à ses possibilités et évoluer avec celles-ci. Il ne conteste au demeurant pas avoir bénéficié d'un traitement psychiatrique régulier, ni que c'est grâce à ce dernier et à sa réussite qu'il a pu obtenir sa libération conditionnelle de la mesure. Dans ces circonstances, les soins dont il a bénéficié lors de sa détention aux EPO peuvent être considérés comme appropriés. Le grief de violation de l'art. 5 par. 1 let. e CEDH est infondé.
3.7. Le recourant cite les RPE et en particulier ses règles 12 et 47.1. Que l'établissement où il a séjourné n'ait pas appliqué scrupuleusement l'ensemble de ces règles ne suffit pas, au vu des considérations qui précèdent, à fonder une violation de l'art. 5 par. 1 let. e CEDH concernant le séjour du recourant.
3.8. Le grief de violation de l'art. 5 par. 5 CEDH, dès lors qu'il se recoupe avec celui rejeté ci-dessus, suit le même sort.
4.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure où il est recevable.
Dès lors que le recourant est dans le besoin et que ses conclusions ne paraissaient pas d'emblée vouées à l'échec, sa requête d'assistance judiciaire doit être admise (<ref-law>). Par conséquent, il y a lieu de le dispenser des frais et d'allouer une indemnité à son mandataire, désigné comme avocat d'office (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est admise.
3.
Il n'est pas perçu de frais judiciaires.
4.
Me Henri Carron est désigné comme défenseur d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 3'000 francs.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 2 avril 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod