Faits: A. Par prononcé du 6 septembre 2013, le Collège des juges d'application des peines a refusé d'accorder à X._ la libération conditionnelle de l'internement. B. Statuant sur le recours formé par X._, la Chambre des recours pénale du Tribunal cantonal vaudois l'a rejeté par arrêt du 4 novembre 2013. Il en ressort les éléments suivants. B.a. Par jugement du 11 octobre 2001, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour actes d'ordre sexuel avec des enfants et actes d'ordre sexuel sur une personne incapable de discernement ou de résistance à la peine de trois ans et quatre mois de réclusion. Cette peine était complémentaire à celle de trente-huit mois de réclusion infligée le 10 février 2000 par le Tribunal de l'arrondissement judiciaire VIII de Berne-Laupen. L'exécution de ces sanctions a été remplacée par l'internement au sens de l'ancien art. 42 CP. En bref, X._ a été condamné pour avoir commis, en Thaïlande, à plusieurs reprises, des attouchements à caractère sexuel sur une fillette alors âgée de dix ans, avoir entretenu dans des hôtels des relations sexuelles à raison d'une fois par semaine, durant plusieurs mois, avec une autre fillette, alors âgée de douze ans et d'avoir, à Lausanne et Leysin, commis des actes d'ordre sexuel avec une troisième fillette alors âgée de huit ans. B.b. Diverses demandes de l'interné, tendant à sa libération conditionnelle ou à un allègement des modalités de détention ont été rejetées. Par jugement du 9 octobre 2008, le Tribunal correctionnel de l'arrondissement de Lausanne a ordonné la poursuite de l'internement en application du nouveau droit. Le 9 octobre 2009, dans le cadre de la procédure d'examen annuel de la libération conditionnelle de l'internement, le Collège des juges d'application des peines a refusé celle-ci, décision confirmée par le Tribunal cantonal vaudois et le Tribunal fédéral (arrêt 6B_102/2010). B.c. Dans le cadre de son internement, X._ a été soumis à plusieurs expertises. Dans leur rapport du 6 juin 2005, les experts de la clinique psychiatrique Y._ ont indiqué n'avoir décelé aucun trouble psychique chez X._. Ils ont toutefois mis en évidence une tendance à la manipulation et une personnalité narcissique accentuée qui se situait à la limite du trouble de la personnalité. L'expertise s'était avérée extrêmement difficile du fait que l'intéressé avait souvent su détourner les médecins du sujet pour rester dans le flou, qu'il ne répondait pas clairement aux questions et qu'il était évasif. S'agissant des infractions, les experts ont souligné que l'intéressé reproduisait toujours les mêmes schémas, qu'il se retrouvait toujours dans les mêmes situations, que malgré les expériences négatives vécues, il n'avait pas su changer et qu'il y avait chez lui un manque de capacité à se comporter conformément à l'ordre juridique. Les experts ont conclu à un risque de récidive très élevé. Dans leur rapport d'expertise du 26 juin 2008, les experts A._ et B._ ont conclu, comme les précédents, que X._ ne présentait pas de pathologie psychiatrique au sens des classifications internationales. Sur le plan du fonctionnement psychique, les experts ont relevé la prégnance d'une dimension narcissique qui se manifestait notamment par un sens grandiose de soi, alimenté en partie par les succès musicaux que l'intéressé avait pu rencontrer au cours de sa carrière. Ils ont retenu une tendance à la manipulation, constituant une caractéristique majeure du fonctionnement de X._ qui réorganisait ainsi en permanence la réalité en fonction de ses besoins et désirs et s'exprimant également sous la forme d'un désaveu massif de l'altérité de l'autre qui était réduit à l'état de chose. Ces divers aspects se conjuguaient pour former une trame de fonctionnement antisocial. Dans le contexte d'une dénégation totale de tout acte ou de tout fantasme de nature pédophilique, il restait toujours délicat de porter un diagnostic de trouble de la préférence sexuelle mais il était possible d'affirmer que le mode de fonctionnement psychique que présentait X._ était compatible avec des manifestations pédophiliques. Il était également plausible que ce mode de fonctionnement ne porte pas l'intéressé vers la pédophilie exclusive, mais plutôt vers une sexualité aux modalités polymorphes en fonction du contexte dans lequel il se trouvait. Les experts ont conclu à un risque de récidive élevé. A l'appui de leur conclusion, les experts ont fait état des nombreux antécédents d'actes illégaux de l'intéressé, de la précocité du début des délits, de son désintérêt de tout travail introspectif, de son absence de désir de changement de son fonctionnement psychique, de sa stabilité dans la présentation des faits, de son refus d'envisager une quelconque dimension de violence qu'il pourrait exercer à l'encontre de son entourage (y compris « sa » famille thaïlandaise) et enfin de son projet de retourner vivre en Thaïlande qui manifestait une claire volonté de ne rien changer à la situation antérieure. Dans le cadre de la présente cause, X._ a été soumis à deux expertises. La première a été confiée au Dr C._, psychiatre à Neuchâtel, qui a rendu son rapport le 7 décembre 2011, complété le 26 février 2012. L'expert a considéré que le fonctionnement psychique de X._ ne permettait pas de le classer dans les références habituelles de la psychiatrie. Il a cependant retenu que l'intéressé présentait cinq symptômes (selon la DSM-IV) qui permettaient de retenir un diagnostic de pervers narcissique. L'expert a conclu à un risque de récidive important qui n'était toutefois pas imminent, dès lors que l'expertisé souhaiterait montrer sa bonne volonté et sa capacité de collaboration. Entendu à l'audience du 29 mai 2012, l'expert a indiqué qu'il ne pensait pas que X._ était atteint d'une pathologie ou d'une perversion sexuelle et qu'à son avis, le risque de récidive en matière d'actes d'ordre sexuel était nul. Il a précisé qu'il n'arrivait pas à expliquer le passage à l'acte de l'intéressé en Thaïlande faute d'accord de sa part d'entrer dans une problématique thérapeutique. La seconde a été effectuée par le Dr D._ dont le rapport a été déposé le 17 juin 2013. L'expert a indiqué que X._ niait toujours les accusations de délits sexuels et maintenait la thèse selon laquelle il aurait été victime d'un acte de jalousie orchestré par un compatriote suisse. Il a diagnostiqué chez l'expertisé une personnalité narcissique (DSM-IV) et une psychopathie selon la PCL-R (Hare Psychopathy Checklist-Revised). Il a également retenu que le terme pervers narcissique s'appliquait à l'expertisé. Celui-ci était davantage attiré par les enfants de son épouse lorsqu'il l'a épousée, dès lors qu'il avait le souhait de se marier de préférence avec une fille vierge. Les délits sexuels commis par l'expertisé ne devaient pas être interprétés dans le sens d'une sexualité exclusivement pédophilique mais plutôt comme l'expression d'une sexualité polymorphe en fonction du contexte favorisant dans lequel il se trouvait. Le risque de récidive était élevé aussi pour des actes d'ordre sexuel avec des enfants dans un contexte de familiarité avec ces derniers. En dehors de ce contexte, ce risque pourrait diminuer à un degré modéré et ne plus être imminent. L'analyse de l'expert se fonde notamment sur les éléments suivants (issu de l'analyse selon la HCR-20) : une introspection difficile (dénégations des faits), les attitudes négatives (l'expertisé pensait que la prostitution des enfants serait mieux tolérée en Thaïlande qu'en Occident), la résistance au traitement (volonté clairement exprimée de l'expertisé de ne pas se soumettre à une psychothérapie car il n'y voyait aucune utilité), l'exposition à des facteurs déstabilisants (projet de retour en Thaïlande où il pourrait facilement se retrouver dans un contexte favorisant chez lui le libre cours à son mode de fonctionnement pervers), l'inobservation des mesures curatives (très faible probabilité que l'expertisé adhère à une quelconque thérapie également dans le futur). L'expert a clairement exclu toute mesure institutionnelle selon l'art. 59 CP dans la mesure où l'expertisé pourrait déjà bénéficier d'un suivi psychiatrique ou psychologique dans le cadre de son internement s'il le souhaitait. B.d. Selon un rapport du 19 janvier 2011, la Direction des Etablissements pénitentiaires de Lenzburg a indiqué que X._ donnait entière satisfaction dans son travail et apparaissait comme très doué et créatif. Il était décrit comme un prisonnier calme, coopératif et respectueux et n'ayant fait l'objet d'aucune sanction. Il avait téléphoné à sa famille en Thaïlande et il passait la majorité de son temps libre à faire de la musique. Il avait entrepris une grève de la faim, entre les 12 juillet et 8 septembre 2010, ensuite d'une décision du Tribunal fédéral et n'avait entrepris aucun travail personnel sur les délits qui lui avaient été reprochés. Le 10 novembre 2011, les Etablissements pénitentiaires de Lenzburg ont fait état d'une sanction disciplinaire de cinq jours d'arrêts à la suite d'une altercation avec un codétenu. Un autre rapport du 15 juin 2012 a mentionné que X._ s'était muni d'un couteau et avait tenté de blesser un autre détenu après une querelle avec lui, faits qu'il contestait. Dans un courrier du 25 mai 2012 adressé au conseil de X._, la Direction des Etablissements pénitentiaires de Lenzburg a relevé que celui-ci adoptait un bon comportement, qu'il était poli et sympathique, plutôt solitaire et discret. Il proposait volontiers son aide. Il était lassé de l'exécution de la mesure et il sollicitait régulièrement la direction afin qu'elle se prononce sur les possibilités de libération. Il pourrait travailler au domaine agricole. Dans son préavis des 23 et 24 avril 2012, la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après : CIC) a constaté que la situation, le comportement et les attitudes de l'intéressé déterminaient une impasse strictement identique à celle qui était relevée dans son précédent avis des 22 et 23 mars 2010, que rien dans les éléments rapportés n'amenait à considérer, même superficiellement ou fugacement, que l'intéressé avait manifesté la moindre proposition ou velléité de modifier le régime de rapport de force sous lequel il inscrivait tout échange avec l'institution judiciaire et pénitentiaire et que l'expertise de 2011 confirmait ce mode de rapport auquel elle rattachait l'inaccessibilité de X._ à toute démarche thérapeutique et même tout souhait de changement personnel. La CIC a persisté à encourager l'intéressé à renoncer à sa confrontation stérile à l'autorité au profit de la présentation de projets de réinsertion crédibles et solides. B.e. X._ a été entendu le 29 mai 2012 par le Collège des juges d'application des peines. Il a continué à prétendre qu'il était innocent des actes de pédophilie pour lesquels il avait été condamné. Son internement était totalement arbitraire et injuste, le but recherché n'était absolument pas atteint et le désespoir qu'il vivait au quotidien n'avait rien engendré d'autre que sa haine de la justice vaudoise. Il était en prison depuis le 25 avril 1997, ce seul fait devait révolter le sens de la justice et de la proportionnalité et il n'acceptait pas ces quinze années de prison. S'agissant d'un éventuel suivi thérapeutique, il a déclaré qu'il n'en recevait pas, argumentant que la direction de la prison lui avait dit qu'il n'en avait pas besoin. Il ne souffrait d'aucun trouble mental et l'internement ne se justifiait donc plus. Il ne modifierait en rien sa personnalité qui lui était propre. Interrogé sur d'éventuelles manifestations pédophiliques, il a souligné que de telles manifestations étaient inacceptables, qu'il n'avait entretenu des rapports sexuels qu'avec sa femme et qu'il n'avait jamais eu de pulsions pédophiles. Entendu sur ses projets, il a déclaré qu'il souhaitait reprendre sa carrière artistique, étant capable d'organiser un concert en français, en anglais et en thaïlandais. Pour ce faire, il contacterait à sa sortie de prison ses anciennes connaissances dans le domaine, ne voulant pas les informer avant des raisons de son séjour en détention. Conscient qu'il ne gagnerait pas tout de suite de l'argent, il était prêt à travailler dans la ferme d'une connaissance qui serait prête à l'accueillir. Il envisageait d'exploiter une plantation de safran en Thaïlande. Il était d'accord de se soumettre à une assistance de probation et de rester en Suisse jusqu'à sa libération complète. Il avait trois albums enregistrés et trois manuscrits prêts à être publiés et commercialisés. Récidiver serait une honte absolue dans la mesure où il se battait pour démontrer son innocence et qu'il s'était engagé à mener une vie honnête sans démêlés avec la justice et avait apporté sa contribution aux autres. Par courrier du 11 juin 2012, X._ a indiqué qu'il serait en mesure de prendre n'importe quel emploi ne requérant pas de qualifications professionnelles particulières et a fourni une lettre lui promettant un travail dans l'agriculture dans le canton de Vaud et une lettre d'un colonel thaïlandais lui promettant un emploi de traducteur pour la police de Pattaya. C. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 4 novembre 2013. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que la libération conditionnelle de l'internement lui est accordée, subsidiairement à l'annulation de la décision entreprise et au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouvelle décision. Il requiert par ailleurs l'assistance judiciaire.