Faits :
A.
Par arrêt du 3 septembre 2007, la Cour pénale II du Tribunal cantonal valaisan a condamné X._ pour diverses violations de la LCR et viol aggravé au sens de l'<ref-law> à 4 ans de réclusion, sanction complémentaire à quatre autres peines dont une pour viol et actes d'ordre sexuel avec un enfant, sous déduction de la détention préventive subie dès le 5 janvier 2006. Elle a prononcé un internement au sens de l'<ref-law>. Par arrêt 6B_604/2007 du 9 janvier 2008, le Tribunal fédéral a rejeté le recours de X._.
B.
Par décision du 10 février 2010, l'Office du juge d'application des peines et mesures du Valais central a constaté que les conditions d'un traitement thérapeutique institutionnel n'étaient pas réunies. Dans le cadre de cette procédure, une expertise psychiatrique de X._ avait été ordonnée dont le rapport a été déposé le 13 janvier 2010. Le 14 octobre 2010, le Tribunal cantonal valaisan a confirmé cette décision. Par arrêt du 1 er septembre 2011 (arrêt 6B_978/2010), le Tribunal fédéral a rejeté le recours de X._ dans la mesure de sa recevabilité.
C.
A la suite de la demande de libération conditionnelle déposée le 3 juin 2013, le Tribunal de l'application des peines et mesures du canton du Valais l'a, par ordonnance du 26 septembre 2013, refusée et constaté que les conditions d'un traitement thérapeutique institutionnel n'étaient pas réalisées.
Par ordonnance du 28 février 2014, notifiée le 3 mars 2014 au conseil du recourant, la Chambre pénale du Tribunal cantonal valaisan a rejeté le recours déposé par celui-ci. Pour ce faire, elle s'est en particulier fondée sur différents éléments :
- le rapport d'expertise psychiatrique du 13 janvier 2010,
- le rapport de la Direction des Etablissements de la pleine de l'Orbe (ci-après : EPO) de juin 2013 intitulé « Bilan de phase 1 et proposition de la suite du plan d'exécution de sanctions »,
- le rapport du service médical des EPO du 18 juin 2013,
- le préavis de la Direction des EPO du 12 septembre 2013,
- le préavis de la Commission pour l'examen de la dangerosité du 19 août 2013,
- l'audition de X._ du 26 septembre 2013.
D.
Par écriture adressée le 2 avril 2014, X._ forme un recours en matière pénale contre l'ordonnance du 28 février 2014. Il conclut, avec suite de frais et dépens, principalement à la réforme de la décision entreprise en ce sens qu'une nouvelle expertise psychiatrique est ordonnée en vue de déterminer si la mesure d'internement dont il fait l'objet peut être remplacée par une mesure thérapeutique au sens de l'<ref-law>. Subsidiairement, il conclut à l'annulation de l'ordonnance attaquée et au renvoi du dossier à l'autorité précédente pour nouveau jugement. Il requiert, par ailleurs, l'assistance judiciaire.
Par courrier adressé le 7 avril 2014, X._ a déposé de nouvelles écritures visant à annuler et remplacer le recours formé le 2 avril 2014.

Considérant en droit :
1.
1.1. Dans ses écritures déposées le 2 avril 2014, le recourant sollicite de pouvoir les compléter dès lors qu'en raison d'un problème informatique, son avocate aurait été contrainte de rédiger à nouveau le recours en deux heures et souhaitait introduire par la suite une argumentation plus complète.
Selon l'<ref-law>, les délais fixés par la loi ne peuvent pas être prolongés. L'octroi d'un délai supplémentaire pour déposer un recours ou un mémoire motivé n'entre dès lors pas en considération et il ne saurait être fait droit à la demande du recourant à cet égard. L'inobservation des délais de recours ne peut être corrigée que par la voie de la restitution du délai prévue à l'<ref-law>. Cela suppose que la partie ou son mandataire ait été empêché sans sa faute d'agir. Un « problème informatique », non établi par le recourant et dont on ignore tout, ne constitue manifestement pas un empêchement non fautif propre à justifier une restitution du délai de recours. Postées le 7 avril 2014, les écritures visant à « annuler et remplacer » le recours déposé le 2 avril 2014 l'ont été après l'échéance du délai de recours survenue le 2 avril 2014, de sorte qu'elles sont irrecevables (cf. <ref-law>).
2.
Le recourant se plaint d'une violation de l'art. 5 § 1 let. a et e CEDH.
2.1. L'invocation des moyens déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 105), sous peine d'irrecevabilité.
2.2. Le recourant soutient que sa détention ne pourrait se fonder sur l'art. 5 § 1 let. a CEDH dans la mesure où il a déjà largement purgé sa peine de 4 ans de détention et devrait se fonder sur l'art. 5 § 1 let. e CEDH qui imposerait une expertise psychiatrique. Dès lors que le recourant ne consacre pas d'autre développement à la violation prétendue des dispositions conventionnelles, sa motivation est insuffisante au regard des exigences accrues de l'<ref-law> et son grief est irrecevable.
3.
Invoquant les art. 59 et 64 CP, le recourant soutient que les autorités cantonales auraient dû ordonner une nouvelle expertise pour statuer sur le remplacement de l'internement par une mesure thérapeutique institutionnelle.
3.1. Le Tribunal fédéral est lié par les faits retenus par l'arrêt entrepris (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion v. <ref-ruling> consid. 6.1 p. 379 s.) dans la constatation des faits. Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
3.2. Selon l'<ref-law>, l'autorité compétente doit examiner, d'office ou sur demande, au moins une fois tous les deux ans et pour la première fois avant le début de l'internement, si les conditions d'un traitement thérapeutique institutionnel sont réunies et qu'une demande en ce sens doit être faite auprès du juge compétent. Pour statuer sur cette question, l'autorité compétente s'entoure d'informations provenant de diverses sources : un rapport de la direction de l'établissement; une expertise indépendante au sens de l'<ref-law>; l'audition d'une commission au sens de l'<ref-law>, composée de représentants des autorités de poursuite pénale, des autorités d'exécution et des milieux de la psychiatrie, ainsi que l'audition de l'auteur (<ref-law>).
3.3. L'expertise doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions, la nature de celles-ci et les possibilités de faire exécuter la mesure (<ref-law>).
Selon la jurisprudence rendue sous l'empire de l'ancien droit, le critère formel de la date de l'expertise n'est pas en soi déterminant. Le juge peut se fonder sur une expertise relativement ancienne à condition que la situation n'ait pas changé entre-temps (<ref-ruling> consid. 3.4 p. 247). Si, en revanche, par l'écoulement du temps et à la suite d'un changement de circonstances, l'expertise existante ne reflète plus l'état actuel, une nouvelle évaluation est indispensable (<ref-ruling> consid. 3.4 p. 247). Contrairement au droit actuel (<ref-law>), l'ancien droit n'exigeait pas que la révision annuelle de l'internement se fonde sur une expertise. Selon la jurisprudence récente rendue en matière d'examen annuel de la libération conditionnelle de l'internement (<ref-law>), l'<ref-law> ne peut être interprété dans le sens d'une obligation de procéder à une expertise à chaque révision annuelle. Le critère déterminant demeure l'actualité du contenu de la dernière expertise. Si aucun changement significatif dans la situation du condamné permettant de mettre en doute l'actualité de l'expertise ne s'est produit, l'autorité compétente peut se fonder sur celle-ci. Toutefois, elle devra tenir compte du fait que, selon les milieux de la psychiatrie, un pronostic de dangerosité fiable ne peut pas être établi pour une longue période. La doctrine évoque un délai de l'ordre de trois ans pour un renouvellement de l'expertise. Un complément d'expertise peut s'avérer suffisant (arrêt 6B_413/2012 consid. 2.1 et les références citées, publié in SJ 2013 I 401). Il n'y a pas lieu de s'écarter de cette jurisprudence qui est également applicable à la révision biennale visant à établir si les conditions d'une mesure thérapeutique institutionnelle sont remplies (<ref-law>).
3.4. En substance, la cour cantonale a retenu qu'il ressortait du rapport de la Direction des EPO de juin 2013 intitulé « Bilan de phase 1 et proposition de la suite du plan d'exécution des sanctions » que le recourant était poli, n'avait jamais été sanctionné disciplinairement, respectait les règles de l'institution, en ne consommant ni alcool, ni drogues, et qu'aucun acte agressif, tant verbal que physique, n'était à observer. Le rapport soulignait toutefois que le recourant démontrait par sa conduite qu'il ne gérait pas ses émotions. Il présentait de la difficulté à exprimer une empathie sincère envers sa victime. Il manifestait toujours des comportements provocateurs, à caractère sexuel notamment, envers ses codétenus et pouvait se montrer totalement désinhibé envers ceux-ci. Il avait constamment les mains dans ses poches pour se stimuler sexuellement. Il n'avait pas évolué dans sa manière de percevoir les choses depuis son passage à l'acte. Il demeurait une personne impulsive, qui gérait difficilement la frustration et pourrait aisément et facilement se mettre en colère pour des raisons futiles. Il n'avait pas conscience de ses fragilités, n'avait pas réalisé de travail introspectif sur ses consommations d'alcool et n'avait aucune volonté de s'inscrire dans une dynamique de changement. Quant au rapport du service médical des EPO du 18 juin 2013, il indiquait que, si le recourant bénéficiait d'un suivi psychothérapeutique de soutien régulier depuis plusieurs mois, l'alliance restait cependant encore fragile. En effet, le recourant peinait à prendre en compte l'avis des thérapeutes, pouvant parfois se montrer projectif ou brandir la menace d'interrompre le suivi. De même, il refusait actuellement tout traitement neuroleptique, alors qu'un tel traitement pourrait probablement diminuer son sentiment de persécution.
La cour cantonale a ainsi retenu que, dans ces conditions, nonobstant les dénégations faites par le recourant dans son recours et lors de son audition le 26 septembre 2013, force était d'estimer que sa situation ne s'était pas modifiée depuis le rapport d'expertise du 13 janvier 2010. Il était ainsi tout à fait possible de se fonder sur ledit rapport quand bien même il remontait à trois ans et demi.
3.5. Dans la mesure où l'argumentation du recourant se fonde sur des expertises et avis médicaux de 2005 et 2006, elle s'écarte des faits retenus par la cour cantonale sans démontrer en quoi ceux-ci auraient été arbitrairement omis et partant, est irrecevable.
3.6. Le recourant soutient que la cour cantonale ne pouvait se fonder sur le rapport de la Direction des EPO de juin 2013 dès lors que certains constats figurant dans ledit rapport, tels que son incapacité à gérer ses émotions et la frustration, sa difficulté à exprimer une empathie sincère envers sa victime, l'absence d'évolution dans sa manière de percevoir les choses depuis son passage à l'acte et l'absence de travail introspectif, relèveraient de la seule compétence d'un expert psychiatre. Cela démontrerait la nécessité d'une nouvelle expertise. Ce faisant, le recourant s'en prend à l'appréciation des preuves. Un tel grief n'est recevable que si le recourant démontre que l'appréciation de l'autorité cantonale est arbitraire. Or, le recourant ne démontre pas en quoi les constatations auxquelles il se réfère relèveraient de l'unique compétence d'un psychiatre. En particulier, aucun diagnostic médical n'est posé. Au demeurant, le rapport susmentionné a été rédigé à la suite d'un réseau interdisciplinaire en présence des différents intervenants ayant eu affaire au recourant, en particulier un médecin psychiatre et une infirmière du Service de médecine et psychiatrie pénitentiaire (cf. dossier cantonal P 2 2013 424, p. 11 ss, en particulier p. 14). Ainsi, le recourant ne démontre pas en quoi ces personnes ne seraient pas compétentes pour formuler les remarques dont il se plaint, à tout le moins en quoi il était manifestement insoutenable de se fonder sur ce rapport. Pour le surplus, la loi impose à l'autorité de se fonder notamment sur un rapport de la direction de l'établissement pénitentiaire (cf. <ref-law>), ce qu'a fait la cour cantonale. Le grief du recourant est infondé dans la mesure où il est recevable.
3.7. Le recourant soutient que sa situation aurait changé dès lors qu'il aurait débuté un travail thérapeutique, ce qui était préconisé par la Direction de la prison de Bellevue dans son préavis de 2009, afin d'envisager une mesure thérapeutique. A cet égard, les thérapeutes du recourant ont jugé que l'alliance thérapeutique était encore fragile, le recourant, même s'il était désireux d'investir l'espace thérapeutique, pouvant se montrer projectif ou brandissant la menace d'interrompre le suivi. De plus, il refusait tout traitement neuroleptique pourtant recommandé par ses thérapeutes afin de diminuer son sentiment de persécution. En outre, il ressort du rapport de la Direction des EPO que le recourant n'a pas évolué dans sa manière de percevoir les choses depuis son passage à l'acte, se déresponsabilisant par rapport aux faits pour lesquels il a été condamné et se posant en victime indirecte. Il y est également relevé que la préoccupation première du recourant n'est pas de mettre en place des garde-fous au niveau de ses fonctionnements et la compréhension de ces derniers, mais bien de viser à une ouverture de régime, démontrant ainsi l'absence de prise de conscience de ses fragilités. Le rapport souligne de plus que l'assouvissement des besoins sexuels du recourant reste préoccupant, celui-ci ayant les mains constamment dans ses poches pour se stimuler sexuellement et pouvant se montrer totalement désinhibé avec ses codétenus. Enfin, le rapport indique que le recourant n'a effectué aucun travail introspectif quant à sa consommation d'alcool et même s'il accepte de rencontrer les professionnels, il ne démontre aucune volonté de s'inscrire dans une dynamique de changement. Dès lors, au vu de ces éléments, le suivi relativement récent du recourant - et dont la fréquence avait déjà diminué à deux séances par mois, au lieu de quatre, à peine sept mois après son début - n'est pas de nature à démontrer un changement tel chez le recourant qu'il serait propre à mettre en doute, au moment de l'ordonnance de la cour cantonale, l'actualité de l'expertise de 2010. L'écoulement du temps entre cette expertise et le prononcé de l'ordonnance attaquée, soit quatre ans, ne permet pas non plus de faire apparaître celle-ci comme n'étant plus d'actualité. La cour cantonale pouvait donc encore se fonder sur cette expertise et c'est sans violation du droit fédéral et sans arbitraire, qu'elle a refusé d'ordonner une nouvelle expertise. Toutefois, il appartiendra à l'autorité compétente d'examiner avec attention la nécessité d'une nouvelle expertise ou d'un complément lors du prochain examen de la mesure d'internement au sens de l'<ref-law>, les différentes démarches du recourant pouvant éventuellement avoir conduit à une évolution de sa situation. L'écoulement du temps depuis la dernière expertise devra aussi être pris en compte.
4.
Le recourant semble vouloir contester le refus de l'autorité de remplacer son internement par une mesure thérapeutique institutionnelle.
4.1. Il est douteux que la motivation du recourant soit suffisante au regard des exigences de l'<ref-law>. Quoi qu'il en soit, les préavis de la Direction de la prison et de la Commission de dangerosité quant au remplacement de l'internement par une mesure thérapeutique institutionnelle sont négatifs. En outre, comme l'a souligné la cour cantonale, ni le rapport du service médical des EPO du 18 juin 2013, ni ceux de sa direction de juin 2013 et du 12 septembre 2013 ne concluent qu'il est suffisamment vraisemblable qu'un traitement thérapeutique institutionnel entraînera, dans les cinq ans, une réduction nette du risque que le recourant ne commette en raison de son trouble mental un crime prévu à l'<ref-law>. Quant au rapport d'expertise de 2010, le Tribunal fédéral a déjà jugé qu'il ne permettait pas, même considéré seul, de prévoir qu'un traitement institutionnel réduira de manière nette le risque que le recourant ne récidive (cf. arrêt 6B_978/2010 du 1 er septembre 2011 consid. 3.2.1). Par conséquent, c'est sans violer le droit fédéral que la cour cantonale a confirmé que le recourant ne pouvait bénéficier, à ce stade, d'une mesure thérapeutique institutionnelle.
5.
Le recours doit être rejeté dans la mesure où il est recevable. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 10 juillet 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Livet