Faits :
A.
A.a. Par jugement du 25 novembre 2014, le Tribunal cantonal du canton du Valais a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, tentative de contrainte sexuelle et viol à une peine privative de liberté de 43 mois et 20 jours. Il a également prononcé un suivi psychothérapeutique ambulatoire.
A.b.
Par décision du 27 avril 2016, le Tribunal de l'application des peines et mesures du canton du Valais (ci-après: TAPEM) a converti le traitement ambulatoire en une mesure thérapeutique au sens de l'art. 59 al. 2 CP.
B.
B.a. Par requête du 6 octobre 2016, l'Office des sanctions et des mesures d'accompagnement a requis le contrôle de la libération et de la levée de la mesure thérapeutique institutionnelle, à la suite de l'arrestation de X._, un mois après qu'une permission lui ait été accordée, son non-retour à son lieu de détention et son arrestation afin de l'y contraindre.
B.b. Par décision du 21 avril 2017, le TAPEM a levé la mesure thérapeutique institutionnelle en milieu ouvert (art. 59 al. 1 et 2 CP) et ordonné, en lieu et place une mesure thérapeutique institutionnelle (art. 59 CP), précisant qu'il appartiendra à l'autorité d'exécution, en application de l'art. 76 CP, de déterminer si cette mesure doit être exécutée en milieu ouvert (art. 59 al. 1 et 2 CP) ou en milieu fermé (art. 59 al. 3 CP).
C.
Par ordonnance du 28 août 2017, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours formé par X._ contre cette décision.
D.
X._ forme un recours auprès du Tribunal fédéral contre l'ordonnance du 28 août 2017. Il conclut à ce que la mesure thérapeutique institutionnelle en milieu ouvert soit maintenue et immédiatement appliquée par l'autorité d'exécution.
Considérant en droit :
1.
Le recours en matière pénale est ouvert à l'encontre des décisions sur l'exécution des mesures (art. 78 al. 2 let. b LTF).
2.
Le recourant, non assisté, sollicite que son recours puisse être complété avec l'aide d'un avocat.
Au vu du recours et de la motivation qu'il contient, son auteur n'apparaît pas incapable de procéder lui-même au sens de l'art. 41 al. 1 LTF. Le Tribunal fédéral n'a de la sorte pas à lui impartir un délai pour commettre un mandataire, ni lui désigner un avocat.
3.
Le recourant conclut à ce que la mesure thérapeutique institutionnelle en milieu ouvert prononcée le 27 avril 2016 soit maintenue et immédiatement appliquée par l'autorité d'exécution.
3.1. Le traitement institutionnel visé par l'art. 59 CP s'effectue dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures (art. 59 al. 2 CP). Il est exécuté dans un établissement fermé tant qu'il y a lieu de craindre que l'auteur ne s'enfuie ou ne commette de nouvelles infractions. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'art. 76 al. 2 CP dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié (art. 59 al. 3 CP). La question de savoir si le placement doit s'effectuer en milieu fermé ou non relève, à l'instar du choix de l'établissement où s'effectuera la mesure, de la compétence de l'autorité d'exécution. Cela étant, si un placement en milieu fermé apparaît déjà nécessaire au moment du prononcé du jugement, le juge peut et doit l'indiquer dans les considérants - mais non dans le dispositif - en traitant des conditions de l'art. 59 al. 3 CP (ATF 142 IV 1 consid. 2.4.4 p. 7 s. et consid. 2.5 p. 10 s.).
3.2. Aux termes de l'art. 63a al. 1 CP, l'autorité compétente vérifie au moins une fois par an s'il y a lieu de poursuivre le traitement ambulatoire ou de l'arrêter. Elle ordonne l'arrêt du traitement ambulatoire si sa poursuite paraît vouée à l'échec (art. 63a al. 2 let. b CP). Dans ce cas, la peine privative de liberté suspendue doit être exécutée (art. 63b al. 2 CP). Le juge peut toutefois remplacer l'exécution de la peine par une mesure thérapeutique institutionnelle prévue aux art. 59 à 61 CP s'il est à prévoir que cette mesure détournera l'auteur de nouveaux crimes ou de nouveaux délits en relation avec son état (art. 63b al. 5 CP).
Dès lors que l'autorité judiciaire qui prononce une mesure thérapeutique institutionnelle n'a pas la compétence de décider si celle-ci s'effectuera en milieu fermé ou ouvert (cf. supra consid. 3.1), l'autorité judiciaire qui remplace l'exécution de la peine par une mesure thérapeutique institutionnelle ne saurait non plus trancher ce point.
3.3. Aux termes de l'art. 62d al. 1 CP, l'autorité compétente examine, d'office ou sur demande, si l'auteur peut être libéré conditionnellement de l'exécution d'une mesure thérapeutique institutionnelle (art. 62 CP) ou si la mesure peut être levée (art. 62c CP) et, si tel est le cas, quand elle peut l'être. Elle prend une décision à ce sujet au moins une fois par an.
En vertu de l'art. 62c al. 6 CP, le juge peut lever une mesure thérapeutique institutionnelle, avant ou pendant l'exécution de cette mesure, et ordonner, à la place de cette mesure, une autre mesure thérapeutique institutionnelle s'il est à prévoir que cette nouvelle mesure sera manifestement mieux à même de détourner l'auteur d'autres crimes ou délits en relation avec son état. Cette disposition ne vise que la levée d'une mesure thérapeutique institutionnelle (traitement des troubles mentaux [art. 59 CP] ou traitement des addictions [art. 60 CP] ou mesures applicables aux jeunes adultes [art. 61 CP]) et le prononcé, à sa place, d'une autre mesure thérapeutique institutionnelle. Elle n'est en revanche pas applicable pour prononcer la même mesure, mais avec des modalités d'exécution différentes (cf. ATF 142 IV 1 consid. 2.4.4 p. 7).
Pour les mêmes motifs que ce qui précède, le juge qui fait application de l'art. 62c al. 6 CP, n'a pas la compétence de décider dans sa décision des modalités d'exécution de la nouvelle mesure.
3.4. En l'espèce, ni l'autorité précédente ni le recourant ne conteste la nécessité de continuer à soumettre ce dernier à une mesure thérapeutique institutionnelle au sens de l'art. 59 CP. Seul est litigieux le mode d'exécution de cette mesure.
En l'occurrence, le TAPEM n'avait pas à préciser lorsqu'il a prononcé cette mesure le 27 avril 2016, en lieu et place du traitement ambulatoire précédemment ordonné, que celle-ci s'effectuerait en milieu ouvert. Il n'avait pas compétence pour décider de ce mode d'exécution. Cette précision, même formulée dans le dispositif de la décision, ne liait pas l'autorité d'exécution. Le principe ne bis in idem ne s'applique par ailleurs pas en cas de mesure au sens de l'art. 59 CP (arrêt 6B_100/2017 du 9 mars 2017 consid. 4). Le recourant ne saurait dans ces circonstances invoquer le maintien de la décision du 27 avril 2016 pour obtenir que la mesure continue à être exécutée en milieu ouvert. L'autorité de première instance qui souhaitait le maintien de la mesure thérapeutique institutionnelle, n'avait ensuite pas à procéder comme elle l'a fait, levant une mesure pour la prononcer à nouveau, l'art. 62c al. 6 CP n'étant pas ici applicable. Elle pouvait simplement refuser la levée de la mesure, l'autorité administrative d'exécution étant ensuite compétente pour prononcer son exécution en milieu ouvert ou fermé. Le mode d'exécution, ici seul litigieux, ne relève ainsi pas de l'autorité des instances précédentes, mais devra faire l'objet d'une décision future de l'autorité d'exécution. Dans ces circonstances, le recours, ne portant que sur ce point, ne peut qu'être rejeté.
4.
Il s'ensuit que le recours doit être rejeté.
Au vu des circonstances particulières du cas, il se justifie de statuer sans frais.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Il est statué sans frais.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 21 mars 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod