Faits :
A.
Par jugement du 25 janvier 2010, le Tribunal du IIème arrondissement pour le district de Sion a reconnu X._ coupable de tentative de viol à l'encontre de son accompagnante lors d'un premier congé accompagné en avril 2007, durant une précédente incarcération. Il l'a également reconnu coupable de viol et de contrainte sexuelle à l'encontre d'une femme rencontrée au hasard après avoir quitté le domicile de son accompagnante. Le Tribunal du IIème arrondissement a en conséquence prononcé une peine privative de liberté de 5 ans, sous déduction de la détention avant jugement, et une mesure d'internement.
Les recours formés successivement contre cette décision ont été rejetés par jugement du 4 juillet 2011 du Tribunal cantonal valaisan, puis par arrêt 6B_625/2011 du 7 novembre 2011 du Tribunal fédéral.
B.
B.a. Par ordonnance du 24 juin 2015, le Tribunal de l'application des peines et mesures du canton du Valais (ci-après: TAPEM) a constaté que les conditions d'un traitement thérapeutique institutionnel, en lieu et place de l'internement ordonné, n'étaient pas réunies et qu'il n'y avait dès lors pas lieu de saisir l'autorité de jugement.
Les recours formés successivement contre cette décision ont été rejetés par ordonnance du Tribunal cantonal valaisan du 9 novembre 2015, puis par arrêt 6B_1269/2015 du 25 mai 2016 du Tribunal fédéral.
B.b. Par décision du 12 juillet 2017, le TAPEM a refusé d'accorder à X._ la libération conditionnelle de l'internement et a constaté que les conditions d'un traitement thérapeutique institutionnel en lieu et place de l'internement n'étaient pas réunies et qu'il n'y avait en conséquence pas lieu de saisir l'autorité de jugement.
Les recours formés successivement contre cette décision ont été rejetés par ordonnance du Tribunal cantonal valaisan du 19 décembre 2017, puis par arrêt 6B_130/2018 du 27 juin 2018 du Tribunal fédéral.
C.
Par décision du 11 octobre 2018, le TAPEM a refusé d'accorder à X._ la libération conditionnelle de l'internement.
D.
Par ordonnance du 26 avril 2019, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté dans la mesure de sa recevabilité le recours formé contre cette décision par X._.
E.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cette ordonnance. Il requiert, avec suite de frais et dépens, l'annulation de cette décision, le constat que, s'il est libéré de l'internement, les conditions d'un traitement thérapeutique institutionnel au sens de l'<ref-law> sont remplies et le prononcé d'un tel traitement en lieu et place de l'internement. A titre subsidiaire, il requiert l'annulation de l'ordonnance du 26 avril 2019 et la mise en oeuvre d'une nouvelle expertise afin qu'une nouvelle décision relative à la libération conditionnelle de l'internement puisse être rendue. Il sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
En vertu de l'art. 42 al. 1 et 2 LTF, la partie recourante doit motiver son recours en exposant succinctement en quoi la décision attaquée viole le droit. En particulier, la motivation doit se rapporter à l'objet du litige tel qu'il est circonscrit par la décision litigieuse (<ref-ruling> consid. 6.4 p. 121). Lorsque celle-ci est une décision d'irrecevabilité, les motifs développés dans le mémoire de recours doivent porter sur la question de la recevabilité traitée par l'instance précédente à l'exclusion du fond du litige (<ref-ruling> consid. 1b p. 336; plus récemment arrêt 1B_400/2018 du 31 août 2018 consid. 2).
1.1. En l'espèce, l'ordonnance attaquée déclare irrecevables les conclusions du recourant tendant à ce qu'il soit constaté qu'il remplit les conditions d'un traitement thérapeutique institutionnel au sens de l'<ref-law> et à ce qu'il soit mis au bénéfice d'un tel traitement en lieu et place de l'internement. L'ordonnance attaquée rejette pour le surplus le recours en ce qu'il tend à obtenir la libération conditionnelle de l'internement du recourant.
1.2. Le recourant n'expose pas les motifs pour lesquels, à son avis, l'autorité précédente aurait dû entrer en matière sur la problématique d'un changement de mesure. Les moyens qu'il soulève au fond sur ce point sont irrecevables. Il en va de même de ses conclusions principales tendant audit changement.
2.
Le recourant voit une violation de son droit d'être entendu dans le refus par l'autorité précédente d'éditer le rapport de la psychologue A._. Selon lui, elle ne pouvait y renoncer au motif que le rapport du service médical des Etablissements de la Plaine de l'Orbe (ci-après : EPO) du 6 décembre 2018 avait été versé au dossier. Il réclame que le rapport de A._ soit produit.
Comme déjà exposé au recourant, le refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée effectuée est entachée d'arbitraire (cf. arrêt 6B_130/2018 consid. 2.1; également <ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 4.1.1 p. 361).
Le rapport du 6 décembre 2018 précité est cosigné par A._, laquelle a assuré le suivi du recourant depuis juillet 2018, suivi relaté dans ce rapport. Le recourant passe totalement sous silence cette circonstance qui permettait, sans violation de son droit d'être entendu, que l'autorité précédente renonce à ordonner la production d'un rapport distinct par A._. Au vu de ce qui précède, il n'y a pas lieu d'ordonner la mesure requise.
3.
Comme cela avait déjà également été rappelé à l'auteur du présent recours dans l'arrêt 6B_130/2018, ad consid. 3, le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 244; <ref-ruling> consid. 6 p. 358), ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'<ref-law> (<ref-ruling> consid. 1.1 p. 503).
Cela étant, le recours s'ouvre à nouveau par une présentation de faits de quinze pages, non accompagnés d'un semblant de grief d'arbitraire. De tels faits, dès lors qu'ils s'écartent de ceux constatés dans l'ordonnance entreprise, sont irrecevables. Cette présentation, correspondant au surplus à un copié-collé servile du recours cantonal, est irrecevable pour ce motif également.
4.
Le recourant reproche à l'autorité précédente de n'avoir pas mis en oeuvre une nouvelle expertise psychiatrique, celle au dossier datant de 2015.
4.1. Le besoin d'une nouvelle expertise doit être examiné en tenant compte du but de celle-ci. Or dans la présente procédure, il n'était pas question d'analyser la nécessité d'un changement de mesure mais uniquement la question de la libération conditionnelle de l'internement. Le recourant fonde ainsi en vain un prétendu besoin d'une nouvelle expertise en invoquant que celle-ci serait nécessaire pour examiner un changement de mesures.
4.2. Selon l'<ref-law>, l'auteur est libéré conditionnellement de l'internement dès qu'il est à prévoir qu'il se conduira correctement en liberté. Le délai d'épreuve est de deux à cinq ans. Une assistance de probation peut être ordonnée et des règles de conduite peuvent lui être imposées pour la durée de la mise à l'épreuve.
La libération conditionnelle de l'internement au sens de l'<ref-law> dépend d'un pronostic favorable. Elle ne pourra être ordonnée que s'il est hautement vraisemblable que l'intéressé se comportera correctement en liberté (<ref-ruling> consid. 2.4 p. 62; arrêts 6B_1147/2018 du 25 mars 2019 consid. 1.3.1; 6B_823/2018 du 12 septembre 2018 consid. 1.1). La condition de la prévisibilité d'une conduite correcte en liberté doit être appréciée par rapport aux seules infractions énumérées à l'<ref-law> (<ref-ruling> consid. 2.1.1 p. 167; arrêt 6B_823/2018 précité consid. 1.1). Le pronostic doit être posé en tenant compte du comportement du condamné dans son ensemble et plus particuliè rement de sa collaboration face aux traitements prescrits par les médecins, de la prise de conscience des actes à la base de sa condamnation, de ses aptitudes sociales et, notamment, de ses capacités à vivre en communauté et à résoudre des conflits potentiels. Il est difficile d'évaluer, à sa juste valeur, la dangerosité d'un détenu, dès lors que celui-ci évolue précisément dans un milieu conçu aux fins de le neutraliser (<ref-ruling> consid. 2.1.2 p. 167 et plus récemment arrêt 6B_823/2018 précité consid. 1.1). En matière de pronostic, le principe " in dubio pro reo " ne s'applique pas (<ref-ruling> consid. 1.2 p. 203; plus récemment arrêts 6B_823/2018 du 12 septembre 2018 consid. 1.1 et, concernant le recourant, 6B_130/2018 consid. 3.2).
4.3. L'autorité compétente examine, d'office ou sur demande, au moins une fois par an et pour la première fois après une période de deux ans, si l'auteur peut être libéré conditionnellement de l'internement et, si tel est le cas, quand il peut l'être (<ref-law>).
L'autorité compétente procède à cet examen en se fondant sur un rapport de la direction de l'établissement, une expertise indépendante au sens de l'<ref-law>, l'audition d'une commission au sens de l'<ref-law> et l'audition de l'auteur (<ref-law>). L'expertise doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions, la nature de celles-ci et les possibilités de faire exécuter la mesure (<ref-law>).
Selon la jurisprudence, le juge peut se fonder sur une expertise qui figure déjà au dossier si celle-ci est encore suffisamment actuelle. L'élément déterminant pour trancher de cette question n'est pas le temps qui s'est écoulé depuis le moment où l'expertise a été établie, mais plutôt l'évolution qui s'est produite dans l'intervalle. Il est ainsi parfaitement concevable de se fonder sur une expertise relativement ancienne si la situation ne s'est pas modifiée entre-temps (<ref-ruling> consid. 4.3 p. 254; plus récemment arrêt 6B_835/2017 du 22 mars 2018 consid. 5.3.2 non destiné à la publication). Savoir si les circonstances se sont modifiées depuis la première expertise relève du fait (<ref-ruling> consid. 2a p. 238; plus récemment arrêt 6B_352/2014 du 22 mai 2015 consid. 5.1 non publié aux <ref-ruling>). Déterminer si les circonstances nouvelles dûment constatées imposent de réitérer l'expertise est une question d'appréciation, soit de droit (<ref-ruling> consid. 2 p. 163; également concernant le recourant arrêt 6B_130/2018 consid. 3.1.2).
4.4. L'autorité précédente a retenu qu'il ressortait du dossier que le TAPEM avait estimé que la situation du recourant n'avait guère évolué depuis les précédents examens opérés en 2015 et en 2017, dont les conclusions avaient été entérinées par le Tribunal fédéral. Au regard du rapport d'expertise du 2 mars 2015, les changements survenus n'étaient pas suffisamment significatifs pour imposer de considérer que les conclusions des experts n'auraient plus été pertinentes, notamment quant au risque de récidive modéré à élevé pour les délits sexuels. Le TAPEM a en outre partagé les derniers préavis négatifs formulés les 23 mai et 13 juin 2018 par le chef de l'Office des sanctions et des mesures d'accompagnement (ci-après: OSAMA) et la Commission pour l'examen de la dangerosité. Celle-ci estimait par ailleurs que, préalablement à la mise en oeuvre d'une nouvelle expertise psycho-légale, il convenait d'observer le comportement du recourant au sein des EPO et de suivre son évolution dans le cadre du suivi thérapeutique mis en place auprès du service de médecine et psychiatrie pénitentiaire. L'autorité précédente a également relevé que les rapports comportementaux - positifs - de la direction de l'établissement pénitentiaire de Lenzburg des 15 mai et 13 juillet 2017 ainsi que le rapport final de la thérapie entreprise par le recourant dans le but de réduire le risque de récidive établi par les psychologues B._ et C._ avaient déjà été analysés à l'occasion de l'ordonnance précédente du 19 décembre 2017 (cf. let. Bb supra) en lien avec la question alors litigieuse d'un traitement thérapeutique institutionnel et que ce qui avait alors été relevé restait a fortiori d'actualité en matière de libération conditionnelle de l'internement, sous réserve que l'examen doit être opéré sous des conditions plus strictes. L'autorité précédente relevait ensuite que le comportement en milieu carcéral du recourant depuis son départ de Lenzburg et son transfert aux EPO était également qualifié de bon et que le recourant avait travaillé dans différents secteurs à satisfaction de l'autorité de détention. Les liens familiaux entretenus durant sa détention, assortis à différentes reprises de rencontres privées aux EPO ou à Lenzburg, constituaient à l'évidence un point d'ancrage positif. Ces éléments, nullement extraordinaires, ne suffisaient toutefois pas non plus à justifier la mise en oeuvre immédiate d'une nouvelle expertise, dont l'autorité précédente soulignait qu'elle serait abordée prochainement à l'occasion du réexamen des conditions d'une mesure thérapeutique en lieu et place de l'internement, tel que prévu à l'<ref-law>. Au surplus, le rapport/préavis de l'unité d'évaluation criminologique du Service pénitentiaire du canton de Vaud (ci-après: UECSP) du 11 septembre 2018, dont l'objet était certes circonscrit à la question de l'octroi de nouvelles rencontres privées en faveur du recourant, avait estimé à l'appui de son préavis négatif, indépendamment du déroulement des diverses visites de ce type déjà opérées antérieurement aux EPO ou à Lenzburg, que le risque de récidive violente pouvait être qualifié de moyen tandis que le risque de récidive sexuelle se situait à un niveau élevé. Ce préavis allait ainsi dans le même sens que l'expertise de 2015. Quant à l'indication du recourant du 1er octobre 2018 relative à la mise en oeuvre d'un suivi psychologique aux EPO depuis plus de six mois, il apparaissait que la perspective de ce suivi n'avait eu aucune influence sur le préavis négatif émis par cet établissement au sujet de la demande de passage à la colonie fermée (après l'échec de celle concernant la colonie ouverte). D'autre part, le suivi opéré depuis juillet 2018 n'avait pas pour objet et ne permettait donc pas de fournir des éléments nouveaux en matière d'évaluation de la dangerosité et du risque de récidive, selon détermination du service médical des EPO du 6 décembre 2018. Au surplus et surtout, une évaluation même positive du travail accompli depuis lors, à l'instar de ce qui s'était déjà produit à Lenzburg, était en tout état de cause insuffisante pour justifier une nouvelle expertise, d'autant que la procédure portait sur une demande de libération conditionnelle de l'internement et non pas - comme précédemment - sur la mise en place d'une mesure thérapeutique institutionnelle en lieu et place de cette mesure.
4.5. Le recourant fait valoir à l'encontre de ce raisonnement que l'autorité précédente aurait arbitrairement considéré que sa situation n'avait guère évolué depuis les examens effectués en mars 2015 et en novembre 2017 et refusé d'ordonner une nouvelle expertise. Ce faisant, son droit d'être entendu aurait été violé et l'autorité précédente aurait enfreint l'<ref-law>. Pour chacun de ces griefs, le recourant reprend peu ou prou les mêmes arguments, examinés ci-dessous.
4.5.1. Le recourant reproche tout d'abord à l'autorité précédente de ne pas avoir retenu un passage de l'expertise de 2015 indiquant qu'une nouvelle évaluation de ses aptitudes devra être effectuée au plus tôt deux ans après la mise en place du programme de sociothérapie. On comprend mal l'argument dès lors que cette mise en place a eu lieu moins de deux ans avant l'ordonnance attaquée. Au surplus cette évaluation apparaissait nécessaire non pas pour examiner la question de la libération conditionnelle de l'internement, mais uniquement celle - moins stricte - d'un changement de mesure en faveur d'une mesure thérapeutique en milieu fermé (cf. arrêt 6B_130/2018 consid. 3.1.4 reprenant le contenu pertinent de l'expertise).
4.5.2. Le recourant reproche à l'autorité précédente de n'avoir pas tenu compte des préavis des 23 mai et 13 juin 2018 de l'OSAMA et de la Commission pour l'examen de la dangerosité, qui relevaient qu'il y avait lieu préalablement à la mise en oeuvre d'une nouvelle expertise psycho-légale d'observer le comportement du recourant. On ne voit ici à nouveau pas en quoi ces préavis, allant contre la mise en oeuvre immédiate d'une expertise, porteraient le moyen du recourant en faveur d'une telle mise en oeuvre. Le grief apparaît téméraire.
4.5.3. Le recourant soutient que le besoin d'une nouvelle expertise aurait été confirmé dans le rapport du 7 novembre 2017 de la psychologue B._. De telles conclusions ne sont pas probantes, comme cela a été exposé à deux reprises au recourant (arrêts 6B_130/2018 consid. 3.4.3 et 6B_1269/2015 du 25 mai 2016 consid. 4.2.2). Le grief est téméraire.
4.5.4. Le recourant fait valoir que le rapport du service médical des EPO du 6 décembre 2018 retiendrait qu'une nouvelle expertise s'avérerait nécessaire pour évaluer la dangerosité et le risque de récidive. Lecture faite de ce document, tel n'est pas le cas. Le grief est téméraire.
4.5.5. Le recourant invoque de nombreux éléments nouveaux en faveur de son évolution positive. Il fait référence à son bon comportement en milieu carcéral, notamment dans le cadre du travail qu'il y a effectué et y effectue, au suivi par la psychologue A._ depuis juillet 2018 et à ses contacts sociaux, notamment avec sa mère et sa compagne.
Ces aspects sont certes à saluer. Comme le relève le recourant lui-même, les experts avaient toutefois déjà, en 2015, pris en considération les rencontres hebdomadaires entre lui et sa compagne. De plus et comme exposé ci-dessus, le besoin d'une nouvelle expertise doit être examiné en tenant compte de l'objectif de l'expertise dont la mise en oeuvre est requise, soit en l'espèce uniquement la question de savoir si le recourant remplit les conditions strictes permettant sa libération conditionnelle de l'internement. Or l'évolution qui précède que l'on peut considérer comme nouvelle par rapport à la situation existant en 2015, ne suffit clairement pas à contrebalancer les éléments négatifs récoltés auprès de l'ensemble des autorités. Ceux-ci excluent en effet que l'on puisse aujourd'hui retenir comme hautement vraisemblable que le recourant se comportera correctement en liberté, condition posée à la libération conditionnelle d'un internement. Aucune autorité ne va dans ce sens. Le rapport/préavis de l'UECSP du 11 septembre 2018 estime au contraire que le risque de récidive violente peut être qualifié de moyen tandis que le risque de récidive sexuelle se situe à un niveau élevé. L 'évolution du recourant, bien que positive dans les domaines protégés où elle a lieu, est ainsi totalement insuffisante à permettre de croire que le risque de récidive d'infractions d'ordre sexuel graves, telles que celles ayant justifié l'internement, aurait diminué de manière suffisamment importante pour permettre d'envisager, en avril 2019 déjà, une libération conditionnelle de l'internement. Dans ces conditions, il apparaît que les faits invoqués par le recourant n'étaient pas propres à permettre de croire que les circonstances pertinentes pour le sort de la présente cause - soit uniquement la question d'une éventuelle libération conditionnelle du recourant de l'internement - auraient été modifiées depuis l'expertise de 2015 et que celle-ci aurait perdu son actualité, imposant la mise en oeuvre d'une nouvelle expertise. Le refus par l'autorité précédente, dans le cadre de la problématique précitée, de mettre en oeuvre une nouvelle expertise ne prête dès lors pas flanc à la critique.
5.
Le recourant invoque une violation de l'<ref-law>.
Au vu de ce qui précède, il n'était toutefois pas possible, en l'état actuel, de considérer comme hautement vraisemblable que le recourant se comportera correctement en liberté et ne commettra plus d'infractions d'ordre sexuel graves qui ont justifié son internement. Cela excluait le prononcé de la libération conditionnelle du recourant (cf. ordonnance attaquée p. 9 et 10; <ref-law>).
6.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité.
Les conclusions étaient vouées à l'échec de sorte que la demande d'assistance judiciaire du recourant doit être rejetée (<ref-law>). Celui-ci supportera les frais judiciaires qui seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 17 juillet 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod