Faits:
A. Par arrêt du 3 septembre 2007, la Cour pénale II du Tribunal cantonal valaisan a condamné X._ pour diverses violations de la LCR et viol aggravé au sens de l'<ref-law> à 4 ans de réclusion, sanction complémentaire à quatre autres peines dont une pour viol et actes d'ordre sexuel avec un enfant, sous déduction de la détention préventive subie dès le 5 janvier 2006. Elle a prononcé un internement au sens de l'<ref-law>.
Le recours contre cet arrêt et notamment contre l'internement a été rejeté par arrêt 6B_604/2007 du 9 janvier 2008 du Tribunal fédéral.
B. Compte tenu de l'échéance prochaine de la détention, plusieurs rapports et expertises ont été déposés afin de déterminer l'opportunité de l'instauration d'un traitement thérapeutique institutionnel en lieu et place de l'internement ordonné:
- Le Service de probation du canton de Neuchâtel, représenté par B._, psychologue-criminologue, et C._, psychologue, a rendu un rapport d'expertise psycho-criminologique le 9 novembre 2009.
- La Direction des établissements de Bellevue, où séjourne X._, a déposé un rapport le 30 novembre 2009.
- La Commission pour l'examen de la dangerosité du canton du Valais s'est déterminée lors de sa séance du 14 décembre 2009.
- Le Service d'expertises psychiatriques du Réseau Santé Valais (RSV), représenté par D._, médecin adjoint, et E._, psychologue, a déposé son rapport d'expertise le 13 janvier 2010.
C. Le 10 février 2010, le juge de l'application des peines et mesures du Valais central a constaté que les conditions d'un traitement institutionnel thérapeutique en faveur de X._ n'étaient pas remplies.
Par jugement du 14 octobre 2010, la Cour pénale II du Tribunal cantonal valaisan a rejeté le recours de droit administratif déposé par X._ contre cette décision.
En bref, cette autorité a considéré que l'internement, en l'état actuel des choses, constituait la seule mesure susceptible d'écarter le risque de récidive et la dangerosité que X._ représentait pour la société, l'atteinte aux droits de la personnalité en résultant n'étant pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Elle s'est fondée sur l'avis des experts et de la Commission pour l'examen de la dangerosité. Elle a en revanche écarté celui de la Direction des établissements de Bellevue, du fait qu'il ne discutait pas de la pathologie psychiatrique dont X._ souffre ni, en conséquence, de l'influence que pourrait avoir la mise en ?uvre d'un traitement thérapeutique institutionnel sur son trouble et sur le risque de passage à l'acte.
D. X._ forme un recours en matière pénale. Il conclut à être mis au bénéfice d'un traitement institutionnel thérapeutique dans le cadre de l'internement dont il fait l'objet. Il sollicite également le bénéfice de l'assistance judiciaire.
Aucun échange d'écritures n'a été ordonné.

Considérant en droit:
1. Le recours en matière pénale est ouvert en vertu de l'<ref-law>.
2. Le recourant s'en prend aux faits retenus par l'autorité précédente.
2.1 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst., et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
En matière d'appréciation des preuves et d'établissement des faits, l'autorité tombe dans l'arbitraire lorsqu'elle ne prend pas en considération, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, sur la base des éléments recueillis, elle parvient à des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable ou même préférable. Au contraire, il faut que la décision entreprise soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.2 p. 560).
Le grief d'arbitraire doit être soulevé et motivé en détail sous peine d'irrecevabilité (<ref-law>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.2.3 p. 5; 58 consid. 4.1.2 p. 62).
2.2 Le recourant reproche à l'autorité précédente d'avoir arbitrairement constaté qu'il aurait subi des lésions cérébrales. Il ne démontre toutefois pas en quoi cette constatation serait arbitraire dans son résultat, soit influerait sur la décision entreprise. Son grief est dès lors irrecevable. Au demeurant, le refus de l'instauration d'un traitement thérapeutique institutionnel en lieu et place de l'internement repose sur la pathologie psychiatrique du recourant et sa curabilité et non sur le fait qu'il aurait souffert de lésions cérébrales ou que celles-ci auraient laissé des séquelles d'ordre physiologique. L'existence de telles lésions, évoquée par l'autorité précédente, est donc sans portée sur la décision entreprise.
2.3 Le recourant invoque également une "constatation inexacte des diverses expertises et rapports figurant au dossier". Faute de motivation conforme aux exigences posées par l'<ref-law>, explicitant en quoi l'une ou l'autre des constatations figurant dans le jugement entrepris serait arbitraire, le grief est irrecevable.
3. Le recourant soutient que l'autorité précédente aurait mal apprécié les expertises et rapports déposés et nié arbitrairement la nécessité d'un traitement institutionnel. Le refus d'ordonner un tel traitement violerait les art. 59 et 64 CP.
3.1 L'autorité compétente examine, d'office ou sur demande au moins une fois tous les deux ans et pour la première fois avant le début de l'internement, si les conditions d'un traitement thérapeutique institutionnel sont réunies et si une demande en ce sens doit par conséquent être faite auprès du juge compétent (<ref-law>).
3.1.1 Aux termes de l'<ref-law>, un traitement thérapeutique institutionnel peut être ordonné en faveur d'une personne souffrant d'un grave trouble mental (a) si elle a commis un crime ou un délit en relation avec ce trouble et (b) s'il est à prévoir que cette mesure la détournera de nouvelles infractions en relation avec ce trouble.
3.1.2 En présence d'un trouble psychiatrique, l'internement constitue, conformément au principe de proportionnalité consacré par l'<ref-law>, une mesure subsidiaire par rapport à une mesure institutionnelle prévue par l'<ref-law>. En tant qu'ultima ratio, en raison de la gravité de l'atteinte à la liberté personnelle qu'il représente, l'internement n'entre ainsi pas en considération tant que la mesure institutionnelle apparaît utile. Ce n'est que lorsque cette dernière mesure semble dénuée de chances de succès que l'internement peut être maintenu, s'il est nécessaire. Cette démarche doit permettre d'éviter qu'un auteur soit déclaré a priori « incurable » et interné dans un établissement d'exécution des peines (<ref-ruling> consid. 3.2 et 3.3 p. 320 s.; 121 consid. 3.4.2 p. 130).
Le seul fait que l'intéressé soit désireux et apte à suivre un traitement institutionnel ne suffit toutefois pas à éviter l'internement ou son maintien. L'<ref-law> subordonne en effet le prononcé d'un traitement institutionnel à la condition qu'il soit à prévoir que cette mesure détournera l'intéressé de nouvelles infractions en relation avec son trouble. Tel est le cas lorsqu'au moment de la décision il est suffisamment vraisemblable qu'un traitement institutionnel entraînera, dans les cinq ans de sa durée normale, une réduction nette du risque que l'intéressé commette, en raison de son trouble mental, un crime prévu à l'<ref-law>. La possibilité vague d'une diminution du risque ou l'espoir d'une diminution seulement minimale de ce risque ne sont en revanche pas suffisants (cf. <ref-ruling> consid. 3.4.1 p. 321 également arrêt 6B_92/2010 du 30 mars 2010 consid. 1.2).
L'exigence d'un tel pronostic ne signifie pas qu'un condamné souffrant de trouble mental ne pourra pas recevoir l'assistance nécessaire, mais seulement que la mesure préconisée par l'<ref-law> n'est pas adéquate (NICOLAS QUELOZ/RÉMY MUNYANKINDI, Commentaire romand, Code pénal I, 2009, n° 15 ad <ref-law>; GÜNTER STRATENWERTH, Schweizerisches Strafrecht, Allgemeiner Teil II, 2ème éd. 2006, n° 16 § 9), tout au moins dans l'état des choses au moment où la décision est rendue.
3.1.3 L'autorité compétente examine si les conditions d'un traitement thérapeutique institutionnel, remplaçant l'internement prononcé, sont réunies en se fondant sur un rapport de la direction de l'établissement, une expertise indépendante au sens de l'<ref-law> ainsi que l'audition d'une commission au sens de l'<ref-law> et de l'auteur (<ref-law>). L'expertise doit se déterminer sur la nécessité et les chances de succès d'un traitement, la vraisemblance que l'auteur commette d'autres infractions, la nature de celles-ci et les possibilités de faire exécuter la mesure (<ref-law>).
3.1.4 En matière de pronostic, le principe "in dubio pro reo" ne s'applique pas (<ref-ruling> consid. 2a p. 4; <ref-ruling> consid. 2a p. 114).
3.2 Il n'est pas contesté ni contestable que le recourant souffre d'un grave trouble mental en lien avec le viol aggravé pour lequel il a été condamné en 2007. Reste donc à déterminer s'il était suffisamment vraisemblable, au moment où la décision attaquée a été rendue, qu'un traitement institutionnel entraînerait, dans les cinq ans de sa durée normale, une réduction nette du risque que l'intéressé commette de nouvelles infractions en lien avec ce trouble.
3.2.1 Le jugement entrepris reprend dans le détail le contenu des différents rapports déposés (jugement, let. F p. 6 ss).
Dans son rapport d'expertise psycho-criminologique, le Service de probation du canton de Neuchâtel a relevé que le recourant bénéficiait durant sa détention d'un soutien éducatif et d'un suivi thérapeutique, ce dernier mis en place à la demande conjointe de la direction de l'établissement pénitentiaire et du corps médical. Il a relevé que, nonobstant les contacts que le recourant semblait entretenir avec des intervenants au sein de la prison, il restait difficile d'établir si ces interventions permettaient d'influer sur les facteurs criminogènes mis en évidence et de réduire ainsi de manière significative le risque de récidive. Il a indiqué que le caractère préventif des traitements actuels pouvait prendre effet au sein même de l'établissement de détention dans les relations aux autres, mais n'était pas à même de prévenir, de manière suffisante, les risques dans un milieu moins structurant. Selon le Service de probation, les observations cliniques menées jusqu'ici faisaient état de troubles relativement stables dans le temps - "observations reproductibles issues des expertises de 1997, 2006 et de la présente évaluation" - qui parlaient en défaveur d'une efficacité des facteurs thérapeutiques pour modifier de manière durable les troubles recensés (jugement, p. 8).
De telles conclusions ne permettent pas de prévoir qu'un traitement institutionnel serait susceptible de détourner le recourant de nouvelles infractions au sens de l'<ref-law>.
Cette appréciation est appuyée par l'avis émis par la Commission pour l'examen de la dangerosité du canton du Valais, concernant l'évolution du recourant, ce dernier se montrant très peu coopérant dans le suivi des traitements proposés. Cette commission a par conséquent conclu au maintien de l'internement sans traitement thérapeutique (jugement, p. 8 et 9).
Le RSV s'est référé à plusieurs reprises aux conclusions prises par le Service de probation neuchâtelois, qu'il a fait siennes (jugement, p. 17). Il a conclu son analyse de la manière suivante: "nous pourrions, avec réserve, entrevoir une certaine pertinence à ordonner une mesure thérapeutique institutionnelle en milieu encore fermé, tout en rendant attentif l'autorité judiciaire à la nature chronique de cette pathologie et à la difficulté à envisager des changements massifs ou en profondeur de celle-ci. Néanmoins, des soins nous paraissent pertinents sous la forme d'une mesure de traitement dans un cadre initialement fermé" (rapport RSV, p. 21). Comme le relève l'autorité précédente, le RSV ne plaide ainsi pour le moins pas de manière inconditionnelle en faveur de la mise en ?uvre d'un traitement institutionnel (jugement, p. 17). Sur la question de savoir si un tel traitement est nécessaire et adéquat et, en cas de réponse affirmative, quelles sont ses chances de succès, le RSV rappelle que "le trouble mental dont est atteint l'expertisé est chronique et non susceptible de guérir. Un traitement thérapeutique institutionnel, actuellement toujours en milieu fermé, nous semble néanmoins envisageable, avec toutes les réserves et autres points que nous avons développés dans notre discussion. Un tel traitement pourrait sur le moyen et le long terme permettre éventuellement d'atténuer certains effets de ce trouble, et c'est dans ce sens que les "chances de succès d'un tel traitement" [ndlr: passage mis entre guillemets par les auteurs du rapport] pourraient être discutées, en restant très modestes sur l'ampleur des changements que l'on pourrait en attendre. Nous ne pouvons pas affirmer non plus qu'aucun changement ou modification de l'expertisé n'est susceptible de survenir avec une prise en charge spécifique et multidisciplinaire. De façon théorique, une atténuation des effets du trouble psychiatrique est susceptible de diminuer le risque de réitération, sans l'abolir au vu de la gravité de ce trouble et des critères de dangerosité qui restent d'actualité" (rapport RSV, ch. 3 p. 22). Le RSV se détermine ensuite sur la question de savoir si un tel traitement détournera l'auteur de commettre de nouvelles infractions en relation avec ce trouble. Selon lui, un tel traitement est "théoriquement susceptible d'en atténuer les effets, comme décrit plus haut. A ce titre, il peut concourir à diminuer le risque de commettre de nouvelles infractions, en restant à nouveau conscient que l'ampleur de la diminution éventuelle du risque peut rester modeste étant donné les critères globaux de dangerosité qui restent importants" (rapport RSV, ch. 4 p. 22). A nouveau, un tel rapport, même considéré seul, ne permet pas de prévoir qu'un traitement institutionnel réduira de manière nette le risque que le recourant récidive.
Le recourant invoque le rapport de l'établissement dans lequel il séjourne, estimant que celui-ci n'exclurait pas la possibilité de progrès et d'amélioration. Toutefois, ce rapport ne détermine pas si le traitement envisagé pourrait ou non avoir un effet sur le risque de récidive du recourant. Il n'est dès lors pas propre à établir que la condition posée par l'<ref-law> est remplie. Enfin, ce rapport ne préconise la mise en place d'un traitement institutionnel qu'"une fois les preuves faites d'un investissement constructif dans un suivi thérapeutique et dans une prise en charge socio-éducative" (jugement, p. 8). Or selon le psychologue F._, qui suit le recourant, de tels résultats ne sont pas encore acquis, le lien psychologique restant tenu et les entretiens orientés sur les difficultés actuelles du recourant - gestion des émotions et des liens avec des codétenus et le personnel - plus que sur la compréhension des délits (jugement, p. 18). Dans ces circonstances, le rapport de la Direction des établissements de Bellevue ne comporte pas d'élément qui aurait dû conduire les autorités cantonales à considérer qu'il était vraisemblable qu'un traitement institutionnel entraînerait une réduction nette du risque que le recourant commette à nouveau des infractions.
3.3 En l'absence d'élément permettant de retenir un tel pronostic et au vu des difficultés existant encore pour le recourant à s'investir dans le traitement socio-éducatif d'ores et déjà proposé et à en remplir les objectifs, l'autorité précédente pouvait, sans violer ni l'interdiction de l'arbitraire ni les <ref-law>, confirmer le constat posé par l'autorité de première instance que toutes les conditions exigées par l'<ref-law> n'étaient pas réunies. Le seul espoir ou l'envie du recourant de suivre un traitement encore plus exigeant que celui actuellement mis en place n'est pas suffisant, étant ici rappelé que le pronostic exigé par l'<ref-law>, auquel se réfère l'<ref-law>, ne peut être admis au seul bénéfice du doute.
4. Le recours devra ainsi être rejeté dans la mesure de sa recevabilité. Comme il était d'emblée voué à l'échec, l'assistance judiciaire devra être refusée (<ref-law>). Le recourant supportera les frais de la cause, qui seront fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au recourant et à la Cour pénale II du Tribunal cantonal valaisan.
Lausanne, le 1er septembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod