Faits : A. Par arrêt du 3 septembre 2007, la Cour pénale II du Tribunal cantonal valaisan a condamné X._ pour diverses violations de la LCR et viol aggravé au sens de l'art. 190 al. 3 CP à 4 ans de réclusion, sanction complémentaire à quatre autres peines dont une pour viol et actes d'ordre sexuel avec un enfant, sous déduction de la détention préventive subie dès le 5 janvier 2006. Elle a prononcé un internement au sens de l'art. 64 al. 1 CP. Par arrêt 6B_604/2007 du 9 janvier 2008, le Tribunal fédéral a rejeté le recours de X._. B. Par décision du 10 février 2010, l'Office du juge d'application des peines et mesures du Valais central a constaté que les conditions d'un traitement thérapeutique institutionnel n'étaient pas réunies. Dans le cadre de cette procédure, une expertise psychiatrique de X._ avait été ordonnée dont le rapport a été déposé le 13 janvier 2010. Le 14 octobre 2010, le Tribunal cantonal valaisan a confirmé cette décision. Par arrêt du 1 er septembre 2011 (arrêt 6B_978/2010), le Tribunal fédéral a rejeté le recours de X._ dans la mesure de sa recevabilité. C. A la suite de la demande de libération conditionnelle déposée le 3 juin 2013, le Tribunal de l'application des peines et mesures du canton du Valais l'a, par ordonnance du 26 septembre 2013, refusée et constaté que les conditions d'un traitement thérapeutique institutionnel n'étaient pas réalisées. Par ordonnance du 28 février 2014, notifiée le 3 mars 2014 au conseil du recourant, la Chambre pénale du Tribunal cantonal valaisan a rejeté le recours déposé par celui-ci. Pour ce faire, elle s'est en particulier fondée sur différents éléments : - le rapport d'expertise psychiatrique du 13 janvier 2010, - le rapport de la Direction des Etablissements de la pleine de l'Orbe (ci-après : EPO) de juin 2013 intitulé « Bilan de phase 1 et proposition de la suite du plan d'exécution de sanctions », - le rapport du service médical des EPO du 18 juin 2013, - le préavis de la Direction des EPO du 12 septembre 2013, - le préavis de la Commission pour l'examen de la dangerosité du 19 août 2013, - l'audition de X._ du 26 septembre 2013. D. Par écriture adressée le 2 avril 2014, X._ forme un recours en matière pénale contre l'ordonnance du 28 février 2014. Il conclut, avec suite de frais et dépens, principalement à la réforme de la décision entreprise en ce sens qu'une nouvelle expertise psychiatrique est ordonnée en vue de déterminer si la mesure d'internement dont il fait l'objet peut être remplacée par une mesure thérapeutique au sens de l'art. 59 CP. Subsidiairement, il conclut à l'annulation de l'ordonnance attaquée et au renvoi du dossier à l'autorité précédente pour nouveau jugement. Il requiert, par ailleurs, l'assistance judiciaire. Par courrier adressé le 7 avril 2014, X._ a déposé de nouvelles écritures visant à annuler et remplacer le recours formé le 2 avril 2014.