Faits : A. Par jugement du 4 juillet 2011, le Tribunal cantonal du canton du Valais a condamné X._ pour viol, tentative de viol et contrainte sexuelle à une peine privative de liberté de 5 ans, sous déduction de la détention avant jugement, et à une mesure d'internement. B. Par ordonnance du 24 juin 2015, le Tribunal d'application des peines et mesures du canton du Valais (ci-après: TAPEM) a constaté que les conditions d'un traitement thérapeutique institutionnel, en lieu et place de l'internement ordonné, n'étaient pas réunies et qu'il n'y avait dès lors pas lieu à saisir l'autorité de jugement. Dite ordonnance se fondait notamment sur les conclusions du rapport d'expertise psychiatrique du 2 mars 2015 du Professeur A._ et du Docteur B._ du Département de santé mentale et de psychiatrie des Hôpitaux Universitaires de Genève. Par arrêt du 25 mai 2016 (réf. 6B_1269/2015), le Tribunal fédéral a rejeté le recours formé par X._ contre l'ordonnance du Tribunal cantonal valaisan du 9 novembre 2015 rejetant le recours de l'intéressé contre l'ordonnance du 24 juin 2015. C. Par décision du 12 juillet 2017, le TAPEM a refusé d'accorder à X._ la libération conditionnelle de l'internement et a constaté que les conditions d'un traitement thérapeutique institutionnel en lieu et place de l'internement n'étaient pas réunies et qu'il n'y avait en conséquence pas lieu de saisir l'autorité de jugement. D. Par ordonnance du 19 décembre 2017, la Chambre pénale du Tribunal cantonal du canton du Valais a rejeté le recours formé contre cette décision par X._. E. Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cette ordonnance. Il requiert, avec suite de frais et dépens, l'annulation de cette décision, le constat que les conditions d'application d'un traitement thérapeutique institutionnel au sens de l'art. 59 CP sont remplies et le prononcé d'un tel traitement en lieu et place d'un internement. A titre subsidiaire, il requiert l'annulation de l'ordonnance du 19 décembre 2017 et la mise en oeuvre d'une nouvelle expe rtise. Il sollicite le bénéfice de l'assistance judiciaire.