Faits : A. Par arrêt du 3 septembre 2007, la Cour pénale II du Tribunal cantonal valaisan a condamné X._ pour diverses violations de la LCR et viol aggravé au sens de l'art. 190 al. 3 CP à quatre ans de réclusion, sanction complémentaire à quatre autres peines dont une pour viol et actes d'ordre sexuel avec un enfant, sous déduction de la détention préventive subie dès le 5 janvier 2006. Elle a prononcé un internement au sens de l'art. 64 al. 1 CP. Par arrêt 6B_604/2007 du 9 janvier 2008, le Tribunal fédéral a rejeté le recours de X._. B. Par décision du 10 février 2010, l'Office du juge d'application des peines et mesures du Valais central a constaté que les conditions d'un traitement thérapeutique institutionnel n'étaient pas réunies. Dans le cadre de cette procédure, une expertise psychiatrique de X._ avait été ordonnée dont le rapport a été déposé le 13 janvier 2010. Le 14 octobre 2010, le Tribunal cantonal valaisan a confirmé cette décision. Par arrêt du 1er septembre 2011 (arrêt 6B_978/2010), le Tribunal fédéral a rejeté le recours de X._ dans la mesure de sa recevabilité. C. A la suite de la demande de libération conditionnelle déposée le 3 juin 2013, le Tribunal de l'application des peines et mesures du canton du Valais l'a, par ordonnance du 26 septembre 2013, refusée et constaté que les conditions d'un traitement thérapeutique institutionnel n'étaient pas réalisées. Par ordonnance du 28 février 2014, la Chambre pénale du Tribunal cantonal valaisan a rejeté le recours déposé par celui-ci. Par arrêt du 10 juillet 2014 (arrêt 6B_323/2014), le Tribunal fédéral a rejeté le recours de X._ dans la mesure de sa recevabilité. D. Par ordonnance du 5 septembre 2016, le Tribunal de l'application des peines et mesures a refusé de libérer conditionnellement X._ de son internement, respectivement constaté que les conditions d'un traitement thérapeutique institutionnel n'étaient pas réunies. Le 10 mars 2017, la Chambre pénale du Tribunal cantonal du Valais a rejeté le recours de X._ contre cette ordonnance. Pour ce faire, elle s'est en particulier fondée sur les éléments suivants : - le préavis négatif de la Direction de la Prison A._ du 13 avril 2015; - le rapport du service médical de la Prison A._ du 16 avril 2015; - le rapport d'expertise psychiatrique du 22 mars 2016 et son complément du 20 juin 2016; - le préavis négatif de la Commission pour l'examen de la dangerosité du 6 juillet 2016; - le préavis négatif de l'office des sanctions et des mesures d'accompagnement du 6 juillet 2016; - l'audition de X._ du 30 août 2016. E. X._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance du 10 mars 2017. Il conclut, avec suite de frais et dépens, principalement à la réforme de la décision entreprise en ce sens que la mesure d'internement est levée et qu'il est remis en liberté, cas échéant à certaines conditions comme le suivi d'une thérapie s'il n'est pas immédiatement expulsé, subsidiairement à ce qu'une deuxième expertise soit ordonnée, laquelle devra dire si le trouble mental dont il souffre est grave ou non et se prononcer concrètement sur les risques de récidive pour des infractions graves et sur la dangerosité, et à ce que le témoin B._ soit entendu. Plus subsidiairement, il conclut à l'annulation de l'ordonnance attaquée et au renvoi du dossier à l'autorité précédente pour nouveau jugement. Il requiert, par ailleurs, l'assistance judiciaire.