Faits :
A.
Par jugement du 4 juillet 2011, le Tribunal cantonal du canton du Valais a condamné X._ pour viol, tentative de viol et contrainte sexuelle à une peine privative de liberté de 5 ans, sous déduction de la détention avant jugement, et à une mesure d'internement.
B.
Par ordonnance du 24 juin 2015, le Tribunal d'application des peines et mesures du canton du Valais (ci-après: TAPEM) a constaté que les conditions d'un traitement thérapeutique institutionnel, en lieu et place de l'internement ordonné, n'étaient pas réunies et qu'il n'y avait dès lors pas lieu à saisir l'autorité de jugement. Dite ordonnance se fondait notamment sur les conclusions du rapport d'expertise psychiatrique du 2 mars 2015 du Professeur A._ et du Docteur B._ du Département de santé mentale et de psychiatrie des Hôpitaux Universitaires de Genève.
Par arrêt du 25 mai 2016 (réf. 6B_1269/2015), le Tribunal fédéral a rejeté le recours formé par X._ contre l'ordonnance du Tribunal cantonal valaisan du 9 novembre 2015 rejetant le recours de l'intéressé contre l'ordonnance du 24 juin 2015.
C.
Par décision du 12 juillet 2017, le TAPEM a refusé d'accorder à X._ la libération conditionnelle de l'internement et a constaté que les conditions d'un traitement thérapeutique institutionnel en lieu et place de l'internement n'étaient pas réunies et qu'il n'y avait en conséquence pas lieu de saisir l'autorité de jugement.
D.
Par ordonnance du 19 décembre 2017, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours formé contre cette décision par X._.
E.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cette ordonnance. Il requiert, avec suite de frais et dépens, l'annulation de cette décision, le constat que les conditions d'application d'un traitement thérapeutique institutionnel au sens de l'<ref-law> sont remplies et le prononcé d'un tel traitement en lieu et place d'un internement. A titre subsidiaire, il requiert l'annulation de l'ordonnance du 19 décembre 2017 et la mise en oeuvre d'une nouvelle expe rtise. Il sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 244; <ref-ruling> consid. 6 p. 358), ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'<ref-law> (<ref-ruling> consid. 1.1 p. 503).
Il résulte de ce qui précède que les faits allégués par le recourant qui ne résultent pas de l'ordonnance attaquée et qui ne sont pas accompagnés d'un grief d'arbitraire sont irrecevables. Il en va en particulier des faits exposés en pages 2 à 21 du recours, une telle présentation étant totalement inutile. Il en va également de tous les autres faits qui ne ressortent pas de l'ordonnance attaquée et que le recourant invoque librement au cours de sa discussion juridique, en pages 25 à 45. Les griefs que le recourant tente d'en tirer sont irrecevables. Le renvoi à des écritures annexes l'est également.
2.
Le recourant reproche à l'autorité précédente de ne pas avoir administré les nombreuses preuves requises par lui dans son recours cantonal, en substance son audition et l'édition de plusieurs dossiers. Il y voit une violation de son droit d'être entendu.
2.1. L'autorité précédente s'est référée sur ce point aux règles de la procédure du recours prévue par l'art. 389 al. 3 et 393 à 397 CPP. Ces règles ne sont applicables qu'à titre de droit cantonal supplétif car à teneur de l'<ref-law>, il appartient aux cantons de régler la procédure d'exécution des peines et des mesures. En particulier, l'examen prévu à l'<ref-law> relève de l'autorité compétente et ne constitue pas une décision judiciaire ultérieure indépendante selon l'<ref-law>. Le Tribunal fédéral ne contrôle l'application du droit cantonal qu'avec un pouvoir d'examen limité à l'arbitraire (<ref-ruling> consid. 3.3.1 p. 108).
Aux termes de l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours administre, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_1173/2016 du 7 août 2017 consid. 2.1; 6B_71/2016 du 5 avril 2017 consid. 2.1.3). Le magistrat peut ainsi refuser des preuves nouvelles, lorsqu'une administration anticipée de ces preuves démontre qu'elles ne seront pas de nature à modifier le résultat de celles déjà administrées (<ref-ruling> consid. 5.3 p. 236 s.). Ce refus d'instruire ne viole le droit d'être entendu des parties et l'<ref-law> que si l'appréciation anticipée effectuée est entachée d'arbitraire (cf. <ref-ruling> consid. 3.3 p. 64).
2.2. S'agissant de son audition par l'autorité précédente, le recourant invoque l'<ref-law>, dont la lettre d prévoit que la décision sur la libération conditionnelle de l'internement doit être prise après audition de l'auteur. Le recourant a été entendu par l'autorité de première instance lors de son audience du 13 juin 2017. Il n'expose pas, de manière recevable, en quoi une nouvelle audition par l'autorité précédente aurait été nécessaire. Son grief est sur ce point irrecevable.
2.3. S'agissant des nombreux dossiers dont le recourant demande la production, il n'indique pas quel élément précis figurant dans l'un ou l'autre de ces dossiers aurait dû être pris en compte par l'autorité précédente, sous peine de conduire à un résultat insoutenable. Son grief, insuffisamment motivé, est irrecevable.
3.
Le recourant estime qu'un fort risque de récidive n'existe plus, de sorte qu'un internement ne se justifiait plus. Il invoque également qu'il remplissait les conditions d'une mesure thérapeutique institutionnelle au sens de l'<ref-law>. Celle-ci aurait en conséquence dû être ordonnée en remplacement de l'internement actuel. Etant donné les nombreux changements survenus, une nouvelle expertise aurait dû être mise en oeuvre. Le recourant invoque également une violation du principe de proportionnalité.
3.1.
3.1.1. L'autorité compétente examine, d'office ou sur demande, au moins une fois tous les deux ans et pour la première fois avant le début de l'internement, si les conditions d'un traitement thérapeutique institutionnel sont réunies et si une demande en ce sens doit par conséquent être faite auprès du juge compétent (<ref-law>). S'il est saisi, celui-ci tranchera en application de l'<ref-law>.
L'<ref-law> subordonne le prononcé d'un traitement institutionnel à la condition qu'il soit à prévoir que cette mesure détournera l'intéressé de nouvelles infractions en relation avec son trouble. Selon la jurisprudence, une mesure thérapeutique institutionnelle selon l'<ref-law> peut ainsi être ordonnée en lieu et place de la poursuite d'un internement s'il est suffisamment vraisemblable, au moment de la décision, qu'une telle mesure entraînera, dans les cinq ans de sa durée normale, une réduction nette du risque que l'intéressé commette, en raison de son trouble mental, un crime prévu à l'<ref-law>. La possibilité vague d'une diminution du risque de récidive ou l'espoir d'une diminution seulement minimale de ce risque ne sont pas suffisants (<ref-ruling> consid. 3.2.4 p. 9; <ref-ruling> consid. 3.4.1 p. 321; plus récemment arrêt 6B_1397/2017 du 26 avril 2018 consid. 1.1.2).
L'exigence du pronostic découlant de l'<ref-law> ne signifie pas qu'un condamné souffrant de trouble mental ne pourra recevoir l'assistance nécessaire, mais seulement que la mesure préconisée par l'<ref-law> n'est pas adéquate, tout au moins dans l'état des choses au moment où la décision est rendue. La personne soumise à l'internement peut du reste bénéficier d'un traitement psychiatrique (<ref-law>). Plus généralement, même si elles ne visent pas prioritairement l'amélioration du pronostic, respectivement si elles ne sont pas aptes à l'améliorer nettement à cinq ans de vue, des possibilités thérapeutiques doivent être offertes, tout au moins dans la perspective, même éloignée, de la fin de l'internement (arrêts 6B_1397/2017 du 26 avril 2018 consid. 1.1.2; 6B_1269/2015 du 25 mai 2016 consid. 3.2).
3.1.2. L'autorité compétente procède aux examens prévus par l'<ref-law> en se fondant sur un rapport de la direction de l'établissement, une expertise indépendante au sens de l'<ref-law>, l'audition d'une commission au sens de l'<ref-law> et l'audition de l'auteur (<ref-law>).
L'expertise doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions, la nature de celles-ci et les possibilités de faire exécuter la mesure (<ref-law>). Selon la jurisprudence, le juge peut se fonder sur une expertise qui figure déjà au dossier si celle-ci est encore suffisamment actuelle. L'élément déterminant pour trancher de cette question n'est pas le temps qui s'est écoulé depuis le moment où l'expertise a été établie, mais plutôt l'évolution qui s'est produite dans l'intervalle. Il est ainsi parfaitement concevable de se fonder sur une expertise relativement ancienne si la situation ne s'est pas modifiée entre-temps (<ref-ruling> consid. 4.3 p. 254; plus récemment arrêt 6B_835/2017 du 22 mars 2018 consid. 5.3.2 non destiné à la publication). Savoir si les circonstances se sont modifiées depuis la première expertise relève du fait (<ref-ruling> consid. 2a p. 238; plus récemment arrêt 6B_352/2014 du 22 mai 2015 consid. 5.1 non publié aux <ref-ruling>). Déterminer si les circonstances nouvelles dûment constatées imposent de réitérer l'expertise est une question d'appréciation, soit de droit (<ref-ruling> consid. 2 p. 163; également arrêt 6B_352/2014 précité consid. 5.1).
3.1.3. Aux termes de l'<ref-law>, le prononcé d'une mesure suppose que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. L'<ref-law> rappelle que si plusieurs mesures s'avèrent appropriées, mais qu'une seule est nécessaire, le juge ordonne celle qui porte à l'auteur les atteintes les moins graves.
3.2. En l'occurrence, l'autorité précédente a jugé qu'au moment où le TAPEM avait statué, le 12 juillet 2017, la situation du recourant n'avait guère évolué depuis l'expertise établie en 2015 et que le TAPEM avait partagé les préavis négatifs formulés les 28 avril et 2 mai 2017 par le chef de l'Office des sanctions et des mesures d'accompagnement (ci-après: OSAMA), respectivement par la Commission pour l'examen de la dangerosité. Ainsi tout au plus avait-il été établi par le rapport de la Direction de la prison de Sion du 24 janvier 2017 que le recourant avait un comportement en détention qui, non irréprochable, était qualifié de globalement passable. L'autorité précédente prenait également acte du rapport du 15 mai 2017 de l'Etablissement pénitentiaire de Lenzburg. Ce document indiquait que le recourant semblait bénéficier de la confiance des autorités de la prison après un début difficile. L'autorité précédente a toutefois estimé qu'il tombait sous le sens que l'attitude positive, voire même très positive, dans un nouveau cadre de détention à durée limitée, d'une personne à l'endroit de qui il avait fallu ordonner une mesure d'internement en raison d'infractions graves énoncées à l'<ref-law> ne constituait pas un élément nouveau à soumettre à expertise dans la perspective de la réalisation des conditions restrictives permettant une mesure thérapeutique institutionnelle. Le TAPEM pouvait ainsi fonder sa décision sur l'expertise du Professeur A._ et du Docteur B._ du 2 mars 2015. Sur cette base, il pouvait retenir que les conditions nécessaires au prononcé d'une mesure thérapeutique institutionnelle n'étaient pas réunies dès lors qu'il n'était pas suffisamment vraisemblable qu'un tel traitement entrainerait, dans les cinq ans de sa durée normale, une réduction nette du risque de récidive de crimes prévus par l'<ref-law>.
L'autorité précédente a également pris en considération le rapport final de suivi thérapeutique établi le 7 novembre 2017 par les psychologues C._ et D._ au nom du Forensisches Institut Zentralschweiz. L'autorité précédente relevait que ce rapport recommandait la mise en oeuvre, en tant que mesure thérapeutique institutionnelle, du traitement préconisé par les experts A._ et B._. Or, le programme de sociothérapie en question n'avait pas été évoqué par ces praticiens hors du contexte de la " poursuite de l'incarcération sous <ref-law> ". De plus si ledit rapport relatait des progrès dans la résolution des conflits et la régulation des émotions, cela ne concernait qu'une brève période et ne rendait pas ipso facto obsolètes les restrictions formulées par l'expertise faite en 2015 s'agissant de procédés éprouvés à réitérées reprises, consistant à relever d'une pseudo-adaptation au monde de la détention et à ses exigences ou encore une tendance à s'approprier le discours des thérapeutes sans évolution réelle sur le plan affectif. Pour l'autorité précédente, cette question devrait être réétudiée lors du prochain examen de la mesure, à partir d'une nouvelle évaluation de dangerosité qui pourrait être faite par les psychologues-criminologues de l'OSAMA. Elle estimait ainsi que le démarrage d'un tel processus, avec une nouvelle expertise à la clé, voire un complément de celle de 2015, ne pourrait pas être reporté à une échéance éloignée si le recourant confirmait, dans son nouvel établissement carcéral, les dispositions favorables affichées lors de la seconde partie de son séjour à Lenzburg comme semblait le laisser augurer la première évaluation opérée par les Etablissements de la plaine de l'Orbe, où le recourant séjournait au moment de l'ordonnance attaquée.
En conclusion, l'autorité précédente a jugé qu'au vu de la gravité des infractions dont la réitération était redoutée et de la haute valeur des biens juridiques en cause, soit l'intégrité physique et sexuelle d'autrui, le recours tendant à ce qu'un traitement thérapeutique institutionnel soit ordonné en lieu et place de l'internement devait être rejeté, le principe " in dubio pro reo " ne s'appliquant pas et la seule volonté du recourant de suivre un tel traitement ne suffisant pas à éviter le maintien de l'internement.
3.3. A l'encontre de ce raisonnement, le recourant invoque une appréciation des preuves arbitraires, contraire à l'art. 9 Cst. Contestant le contenu des rapports du 24 janvier 2017 des Etablissements de détention avant jugement du canton du Valais et du 2 mai 2017 de la Commission pour l'examen de la dangerosité du canton du Valais, tel que constaté par l'autorité précédente et jugé probant par elle, le recourant invoque que son comportement devrait être qualifié non pas de " passable ", mais de très bon, voire d'exemplaire.
Son argumentation, principalement fondée sur de multiples éléments non constatés par l'ordonnance attaquée, sans que le recourant n'invoque ni l'arbitraire de leur omission, ni les éléments au dossier qui les établiraient, est purement appellatoire et dès lors irrecevable.
3.4. Le recourant conteste le refus de l'autorité précédente de mettre en oeuvre une nouvelle expertise.
3.4.1. Il résulte de l'ordonnance attaquée, complétée conformément à l'<ref-law>, que l'expertise établie le 2 mars 2015 retenait qu'à l'époque déjà le recourant demandait un suivi thérapeutique. L'objectif du recourant n'était toutefois pas clair : il disait vouloir comprendre son fonctionnement sans élaboration supplémentaire et en affirmant qu'il avait de toute manière changé. Les experts se posaient dès lors la question de l'utilité de la démarche, dès lors que le résultat serait atteint avant que celle-ci n'ait été entreprise. Ils soulignaient toutefois également qu'au vu de l'imperméabilité du recourant à une réelle remise en question et la tendance à s'approprier le discours des thérapeutes sans évolution sur le plan affectif, un travail thérapeutique classique serait voué à l'échec et ne ferait que renforcer le fonctionnement du recourant de type faux-self comme c'était le cas fréquemment chez les agresseurs sexuels. Les experts concluaient que le recourant souffrait d'un trouble de la personnalité narcissique grave associé à des traits psychopatiques qui étaient progressivement en augmentation comme souvent lors de détentions prolongées. Son adaptation à l'époque de l'expertise au monde carcéral et la perspective d'allégement du cadre d'exécution de peine ordonnée en 2011 lui avaient fait adopter un discours de remise en question qui est en partie inauthentique. Les experts relevaient encore que le soutien familial dont il bénéficiait au moment de l'expertise lui offrait des points de repère mais qui ne pouvaient être considérés comme suffisants pour diminuer massivement le risque de récidive. Compte tenu de la pathologie et du caractère du recourant ainsi que des expériences passées (viols, tentatives de viol, multiples contraintes sexuelles et lésions corporelles simples et graves en 2001; détention depuis 2001; mesure ambulatoire préconisée par une première expertise, jugée inefficace quatre ans après les faits; mesure institutionnelle en milieu fermé préconisée par une seconde expertise en 2004, exécutée dès le mois de mars 2006; cette seconde expertise soulignant le risque d'adaptation superficielle caractérisant souvent le type de troubles de la personnalité dont souffrait le recourant; rapports d'évolution positifs essentiellement basés sur la capacité du recourant à s'adapter dans le monde carcéral; transfert en unité semi-ouverte en septembre 2006; fugue en avril 2007 grâce à une permission accompagnée d'une femme d'un codétenu; tentative de viol de cette femme et viol à plusieurs reprises et de manière particulièrement brutale d'une autre femme l'ayant hébergé; troisième expertise en 2009 indiquant notamment que le recourant donnait l'image d'un délinquant sexuel guéri, qui aurait appris beaucoup en thérapie et pouvait ainsi contrôler son comportement, il niait alors les actes, l'expert avait conclu à l'absence d'utilité d'une mesure thérapeutique), les experts ont estimé en 2015 qu'une mesure thérapeutique en milieu fermé n'aurait que peu d'utilité. La poursuite de l'incarcération sous l'<ref-law> sans adjonction de mesures de resocialisation était également contre-indiquée. Les deux facteurs pouvant diminuer le risque de récidive étaient le renforcement des contacts avec sa femme pouvant permettre à terme des permissions et l'exploration du comportement du recourant in situet l'investissement structuré du monde du travail. Dans ce sens, l'inscription du recourant dans un programme de sociothérapie au sens des " offender resettlement programmes " appliqués dans le monde anglophone mais aussi en Suisse alémanique était recommandée en cours d'exécution de peine. Une nouvelle évaluation des aptitudes devrait être effectuée à l'échéance d'un tel programme, mais au plus tôt après une période de deux ans.
3.4.2. A l'appui de son grief, le recourant invoque son bon comportement en prison, ses contacts fréquents avec la femme qu'il a épousée religieusement et la thérapie qu'il a entreprise dans l'établissement pénitentiaire de Lenzburg.
Le comportement du recourant en prison avait été qualifié de passable à l'époque de l'expertise du 2 mars 2015 (cf. expertise, pièce 65 ch. II). Il résulte du rapport du 24 janvier 2017 de la Direction de la prison de Sion, établi en application de l'<ref-law>, que le comportement du recourant était toujours qualifié de passable jusque-là. Le 15 mai 2017, l'Etablissement pénitentiaire de Lenzburg, où le recourant avait été transféré le 6 avril 2017 attestait encore de difficultés du recourant lors de son arrivée, le recourant refusant ses conditions initiales de détention. Ce rapport et celui du 13 juillet 2017 du même établissement indiquaient toutefois que le recourant se comportait depuis de manière convenable et avait commencé à travailler au jardin le 9 juin 2017. Une telle évolution survient après plus de 6 ans d'incarcération et quelques mois seulement avant que la décision ici entreprise soit prononcée.
S'agissant des contacts du recourant avec la femme qu'il avait épousée religieusement en détention en septembre 2011, l'expertise établie en mars 2015 retenait déjà que le recourant la rencontrait deux fois par semaine et bénéficiait d'une visite libre une fois par mois. Il voyait également les enfants de celle-ci et son fils cadet (cf. expertise, pièce 66; également procédure ayant abouti à l'arrêt 6B_1269/2015 du 25 mai 2016 consid. 4.2.2 dans lequel cet élément était déjà invoqué). La manière dont le recourant peut aujourd'hui voir son épouse peut ainsi difficilement être qualifiée d'évolution nouvelle.
Enfin, il résulte du rapport final de thérapie des psychologues C._ et D._ du Forensisches Institut Zentralschweiz du 7 novembre 2017 que le recourant a suivi une thérapie en détention à Lenzburg du 27 juin 2017 à début novembre 2017. Il s'agit d'une circonstance nouvelle par rapport à la situation prévalant lors de l'expertise faite en 2015.
Il convient d'examiner si ces circonstances imposaient de mettre en oeuvre une nouvelle expertise.
3.4.3. Le rapport précité du 7 novembre 2017 a été établi alors que le recourant avait quitté le quartier sécurisé de la prison de Lenzburg le 23 mai 2017, pour rejoindre le quartier normal de détention, et commencé une thérapie le 27 juin 2017, à raison de séances hebdomadaires. Avant l'établissement du rapport, le suivi avait ainsi duré à peine plus de quatre mois et seules treize rencontres avec le recourant avaient eu lieu. La thérapie visait à réduire le risque de récidive. Les auteurs dudit rapport prenaient acte de la capacité et de la volonté du recourant d'être soumis à une thérapie, dans le cadre d'une mesure thérapeutique institutionnelle au sens de l'<ref-law>. Ils indiquaient également que l'expertise du 2 mars 2015 avait jugé nécessaire une approche socio-thérapeutique, qui pourrait avoir lieu dans une institution pour mesures thérapeutiques institutionnelles au sens de l'<ref-law>. Au vu de cet élément, ils estimaient indiqué d'examiner la question d'un changement de la mesure d'internement, examen dans lequel une nouvelle expertise pourrait être mise en oeuvre afin de procéder à une évaluation objective des faits.
Comme déjà exposé dans l'arrêt 6B_1269/2015 du 25 mai 2016, ad consid. 4.2.2, le passage précité de l'expertise du 2 mars 2015 doit être compris dans le sens que les experts n'excluaient pas toute possibilité thérapeutique, dès lors qu'ils préconisaient une approche sociothérapeutique. Il ressortait toutefois sans ambiguïté des explications de ces spécialistes que ceux-ci excluaient une thérapie institutionnelle et que la sociothérapie préconisée devait, à leurs yeux, constituer le corollaire de l'internement. ll résulte de ce qui précède que les auteurs du rapport du 7 novembre 2017 ont mal compris les réflexions de l'expertise. Les conclusions qu'ils en tirent, reposant sur cet élément, ne sont ainsi pas probantes et donc non susceptibles à elles seules de justifier, au moment de l'ordonnance attaquée, la mise en oeuvre d'une nouvelle expertise.
Pour le surplus, l'investissement manifesté par le recourant, s'il est authentique, est un élément positif. Il n'était toutefois pas suffisant notamment en durée, au vu des conclusions des experts en 2015, pour remettre en question l'actualité de dites conclusions et donc imposer une nouvelle expertise ou un complément d'expertise à ce stade. En effet, le traitement suivi ne l'a été que quelques mois. Le recourant n'a commencé à travailler en détention que quelques mois avant l'ordonnance attaquée, le mode de rencontre avec la femme qu'il a épousée religieusement a quant à lui évolué depuis quelques mois seulement, alors que les experts parlaient d'une nouvelle évaluation après que de telles mesures (renforcement des contacts avec la femme du recourant et investissement structuré du monde du travail) avaient commencé depuis au moins deux ans. Au jour de l'ordonnance attaquée, force est ainsi de constater que les changements survenus n'étaient pas suffisamment significatifs pour imposer de considérer que les conclusions de l'expertise de mars 2015, anciennes de seulement deux ans, n'auraient plus été pertinentes, ce tant quant au risque de récidive modéré à élevé (expertise, pièce 70), qu'à la non-adéquation d'un traitement thérapeutique institutionnel à la pathologie du recourant. On relève encore que le rapport du 7 novembre 2017 indique que la thérapie suivie vise la réduction du risque de récidive, non qu'elle ou une autre thérapie effectuée dans le cadre d'une mesure thérapeutique institutionnelle serait propre, dans un délai de cinq ans, à obtenir une réduction nette du risque de récidive, comme l'exige la jurisprudence pour entrer en matière sur la nécessité d'ordonner un traitement thérapeutique institutionnel. Dans ces circonstances, le refus de l'autorité précédente de mettre en oeuvre une nouvelle expertise, malgré le traitement entrepris, le travail débuté et les rapports que le recourant entretient avec sa famille, ne prête pas flanc à la critique.
3.5. Le recourant estime qu'un internement ne pouvait être ordonné. La question ici n'est toutefois pas de savoir si un internement pouvait être prononcé, question régie par l'<ref-law> qui ne fait pas l'objet du litige, mais si la levée conditionnelle de cette mesure devait être ordonnée. Au vu des conclusions de l'expertise de mars 2015, mais également des faits constatés dans l'ordonnance entreprise, l'autorité précédente n'a pas enfreint les art. 64 al. 1 et 64b al. 1 let. a CP en refusant de libérer conditionnellement le recourant de son internement. Sa situation actuelle, telle que constatée dans l'ordonnance entreprise, ne permet en effet pas de retenir qu'il serait hautement vraisemblable que le recourant se comportera correctement en liberté comme l'exige l'art. 64a al. 1 1ère phrase CP (sur cette condition cf. <ref-ruling> consid. 2.4 p. 62; arrêt 6B_481/2017 du 15 septembre 2017 consid. 5.1).
3.6. Compte tenu de ce qui précède, la question de la nécessité d'ordonner, en lieu et place de l'internement, une mesure thérapeutique institutionnelle devait être tranchée en tenant compte d'une part des éléments nouveaux ci-dessus mentionnés mais également des conclusions de l'expertise effectuée en mars 2015. Or aucun élément ne rendait suffisamment vraisemblable, au moment de la décision attaquée, qu'un traitement thérapeutique institutionnel aurait pu réduire de manière nette le risque élevé de récidive d'actes graves dans un délai de cinq ans. Dans ces conditions, la confirmation par l'autorité précédente du refus de considérer que les conditions d'un tel traitement seraient réunies ne viole ni les art. 59 ou 64b al. 1 let. b CP, ni le principe de proportionnalité consacré par les art. 56 al. 2 et 56a al. 1 CP. Le grief de violation de l'<ref-law> est par conséquent sans objet, le juge n'ayant pas à être saisi dans le cas d'espèce.
4.
Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité.
Dès lors qu'il était voué à l'échec, l'assistance judiciaire doit être refusée au recourant (<ref-law>). Celui-ci assumera les frais judiciaires qui seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, par 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 27 juin 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod