Faits : A. A.a. Par jugement du 25 novembre 2014, le Tribunal cantonal du canton du Valais a condamné X._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, tentative de contrainte sexuelle et viol à une peine privative de liberté de 43 mois et 20 jours. Il a également prononcé un suivi psychothérapeutique ambulatoire. A.b. Par décision du 27 avril 2016, le Tribunal de l'application des peines et mesures du canton du Valais (ci-après: TAPEM) a converti le traitement ambulatoire en une mesure thérapeutique au sens de l'art. 59 al. 2 CP. B. B.a. Par requête du 6 octobre 2016, l'Office des sanctions et des mesures d'accompagnement a requis le contrôle de la libération et de la levée de la mesure thérapeutique institutionnelle, à la suite de l'arrestation de X._, un mois après qu'une permission lui ait été accordée, son non-retour à son lieu de détention et son arrestation afin de l'y contraindre. B.b. Par décision du 21 avril 2017, le TAPEM a levé la mesure thérapeutique institutionnelle en milieu ouvert (art. 59 al. 1 et 2 CP) et ordonné, en lieu et place une mesure thérapeutique institutionnelle (art. 59 CP), précisant qu'il appartiendra à l'autorité d'exécution, en application de l'art. 76 CP, de déterminer si cette mesure doit être exécutée en milieu ouvert (art. 59 al. 1 et 2 CP) ou en milieu fermé (art. 59 al. 3 CP). C. Par ordonnance du 28 août 2017, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours formé par X._ contre cette décision. D. X._ forme un recours auprès du Tribunal fédéral contre l'ordonnance du 28 août 2017. Il conclut à ce que la mesure thérapeutique institutionnelle en milieu ouvert soit maintenue et immédiatement appliquée par l'autorité d'exécution.