Faits:
A.
Par jugement du 20 juin 2007, le Tribunal correctionnel de La Broye et du Nord vaudois a condamné X._ pour dommages à la propriété et violence ou menace contre les autorités et les fonctionnaires à une peine privative de liberté de 7 mois, sous déduction de 225 jours de détention provisoire. Se référant au rapport d'expertise psychiatrique établi le 24 février 2006, complété le 17 juillet 2006, le tribunal a suspendu l'exécution de la peine au profit d'une mesure thérapeutique institutionnelle au sens de l'<ref-law>.
B.
Les 20 juin 2008, 19 juin 2009, 13 juillet 2010 et 17 octobre 2011, le Juge d'application des peines du canton de Vaud a refusé d'accorder à X._ sa libération conditionnelle de la mesure thérapeutique institutionnelle. Les recours suivant cette dernière décision ont été rejetés par la Chambre des recours pénale du Tribunal cantonal vaudois puis par le Tribunal fédéral par arrêt 6B_804/2011 du 14 février 2012.
C.
Par prononcé du 23 septembre 2013, le juge d'application des peines a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle. Il a prolongé celle-ci pour une durée de trois ans dès le 20 juin 2012.
D.
Par arrêt du 22 octobre 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre ce prononcé. Elle a réformé celui-ci d'office s'agissant des frais.
E.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à sa réforme en ce sens que la mesure thérapeutique est levée, subsidiairement la libération conditionnelle de cette mesure est accordée. Plus subsidiairement, il sollicite l'annulation de l'arrêt cantonal et le renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit:
1.
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen a été invoqué et motivé de manière précise par le recourant (<ref-law>; <ref-ruling> consid. 2.2 p. 255). Tel n'est pas le cas des griefs de violation des art. 10 al. 2 et 31 al. 1 Cst.
2.
Le recourant soutient que le refus des autorités cantonales d'ordonner une nouvelle expertise violerait son droit d'être entendu. Au vu de la nature formelle du grief, il convient de le traiter en premier lieu.
2.1. Tel qu'il est garanti à l'art. 29 al. 2 Cst., le droit d'être entendu comprend celui de produire ou de faire administrer des preuves, mais à condition qu'elles soient pertinentes (<ref-ruling> consid. 2.2 p. 190; <ref-ruling> consid. 5.1 p. 293). Il n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236). L'appréciation (anticipée) des preuves n'est revue par le Tribunal fédéral que sous l'angle restreint de l'arbitraire (cf. <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 4a).
2.2. A l'appui de son grief de violation du droit d'être entendu, le recourant invoque la faible fréquence des rendez-vous en milieu carcéral. Il s'agit d'un fait qui ne résulte pas de l'arrêt entrepris, pour lequel le recourant n'invoque pas de moyen d'arbitraire, ni même n'indique sur quelle pièce du dossier il s'appuierait. Il ne peut dès lors en être tenu compte (art. 105 al. 1 et 2 LTF).
2.3. Le recourant soutient que ses décompensations récurrentes et rechutes répétées démontreraient que le traitement a atteint ses limites, question qu'il souhaite voir examiner par un oeil neuf et neutre. Le dossier cantonal contient plusieurs avis récents dont celui du Département de psychiatrie du Service médical des EPO (ci-après SMPP) du 8 avril 2013 (cf. infra consid. 3.2.3) qui permettaient à l'autorité cantonale de considérer sans arbitraire que le recourant, malgré la survenance de différents incidents, continuait à évoluer (cf. infra consid. 3.5). Dans ces circonstances, le seul souhait du recourant qu'un oeil nouveau se penche sur son cas ou l'existence d'incidents ne fonde pas son grief de violation de son droit d'être entendu.
3.
Le recourant réclame la levée de sa mesure, arguant d'une part que celle-ci aurait atteint ses limites, d'autre part que son maintien et sa prolongation de trois ans violeraient le principe de la proportionnalité. Il conclut à titre subsidiaire à l'octroi de la libération conditionnelle.
3.1.
3.1.1. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si l'auteur a commis un crime ou un délit en relation avec ce trouble et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (<ref-law>).
3.1.2. Conformément à l'<ref-law>, une mesure dont les conditions ne sont plus remplies doit être levée. Comme son prononcé suppose qu'elle soit propre à détourner l'auteur de la commission de nouvelles infractions en relation avec son grave trouble mental (cf. <ref-law>), une mesure thérapeutique institutionnelle ne peut être maintenue que si elle conserve une chance de succès, ainsi que le prévoit du reste l'<ref-law>. Au contraire de l'internement, qui consiste principalement à neutraliser l'auteur, la mesure thérapeutique institutionnelle cherche à réduire le risque de récidive par une amélioration des facteurs inhérents à l'intéressé. Il s'ensuit que, pour qu'une mesure thérapeutique institutionnelle puisse être maintenue, c'est le traitement médical, non la privation de liberté qui lui est associée, qui doit conserver une chance de succès du point de vue de la prévention spéciale. La notion de traitement médical doit être entendue largement. Même la simple prise en charge de l'auteur dans un milieu structuré et surveillé accompagnée d'un suivi psychothérapeutique relativement lointain constitue un traitement, si elle a pour effet prévisible d'améliorer l'état de l'intéressé de manière à permettre, à terme, sa réinsertion dans la société (cf. <ref-ruling> consid. 1.3 p. 204 s.; arrêt 6B_804/2011 précité consid. 1.1.3). L'échec de la mesure peut résulter de l'insuffisance de possibilités thérapeutiques, du manque de respect des avis ou recommandations des thérapeutes ou du refus d'un traitement. Le traitement n'est voué à l'échec que s'il est définitivement inopérant. Une simple crise de l'intéressé ne suffit pas. De manière générale, la levée d'une mesure en raison de son échec doit être admise de manière restrictive (arrêts 6B_372/2012 du 27 septembre 2012 consid. 2.2 et 6B_274/2012 du 31 août 2012 consid. 1.1.1).
3.1.3. L'auteur est libéré conditionnellement de l'exécution institutionnelle de la mesure dès que son état justifie de lui donner l'occasion de faire ses preuves en liberté (<ref-law>).
3.1.4. La privation de liberté entraînée par le traitement institutionnel ne peut en règle générale excéder cinq ans. Si les conditions d'une libération conditionnelle ne sont pas réunies après cette durée et qu'il est à prévoir que le maintien de la mesure détournera l'auteur de nouveaux crimes ou de nouveaux délits en relation avec son trouble mental, le juge peut, à la requête de l'autorité d'exécution, ordonner la prolongation de la mesure de cinq ans au plus à chaque fois (<ref-law>). La mesure peut ainsi être reconduite aussi souvent et aussi longtemps que son maintien s'avère nécessaire, approprié et proportionnel. Dans ce cadre, elle ne connaît pas de limite maximale. Cette possibilité existe parce que les mesures thérapeutiques appliquées à des malades mentaux chroniques n'agissent souvent que très lentement (<ref-ruling> consid. 1.4, p. 204 s. et réf. citées).
3.1.5. Toute sanction pénale qui restreint un droit fondamental doit respecter le principe de proportionnalité (art. 36 al. 3 Cst.). En matière de mesure, ce principe a été concrétisé à l'<ref-law>. Aux termes de cette disposition, le prononcé d'une mesure suppose que l'atteinte aux droits de la personnalité qui en résulte pour l'auteur ne soit pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions et de leur gravité. Ce principe vaut tant pour le prononcé d'une mesure que pour son examen postérieur. Concrètement, il convient de procéder à une pesée des intérêts divergents en présence, c'est-à-dire entre la gravité du danger que la mesure cherche à prévenir et l'importance de l'atteinte aux droits de la personne concernée inhérente à la mesure. Cette atteinte dépend non seulement de la durée de la mesure, mais également des modalités de son exécution et des effets positifs de la mesure dans l'intérêt de l'auteur (arrêt 6B_517/2013 du 19 juillet 2013 consid. 1.4.3). Plus grave est l'infraction que la personne soumise à la mesure pourrait commettre en liberté, moins il est besoin que le risque soit important pour justifier une mesure privative de liberté. Plus la durée de la mesure - et avec elle la privation de liberté de la personne concernée - est longue, plus strictes seront les exigences quant au respect du principe de proportionnalité. Le poids devenant plus important accordé au droit à la liberté se heurte toutefois à la limite lorsqu'il apparaît inadmissible, au vu de la nature et de l'importance du danger menaçant les biens juridiques des particuliers et de la collectivité, de libérer conditionnellement la personne soumise à la mesure, respectivement de lever cette dernière (cf. arrêts 6B_826/2013 du 12 décembre 2013 consid. 2.8.1 et 6B_109/2013 du 19 juillet 2013 consid. 4.4 et les références citées).
3.2.
3.2.1. Le recourant souffre de schizophrénie paranoïde avec des traits caractériels et antisociaux, pathologie psychiatrique à laquelle est associée une problématique de dépendance à divers produits psychotropes. Ce tableau clinique l'a amené à commettre à réitérées reprises des actes hétéro-agressifs, notamment à l'égard du personnel des hôpitaux psychiatriques où il était soigné.
3.2.2. Il ressort de l'arrêt cantonal que le recourant a été placé aux Etablissements de la plaine de l'Orbe (EPO) le 7 novembre 2008 et y effectue l'exécution de la mesure thérapeutique institutionnelle ordonnée. Le déroulement de celle-ci a été émaillé de moult incidents. Si d'un côté le recourant a pu bénéficier de conduites sociothérapeutique et sociale, il a également dû être transféré en secteur disciplinaire en raison d'un comportement agressif, en unité psychiatrique et en cellule sécurisée à la suite d'une tentative d'agression d'une infirmière. Un congé institutionnel en EMS s'est également soldé par un échec, après notamment que le recourant eut proféré des menaces d'agression physique envers d'autres résidents. Son dernier excès de violence remonte au 8 janvier 2013. Il a depuis pu bénéficier d'une conduite institutionnelle en EMS, mais s'est vu refuser un congé institutionnel de trois jours, mesure jugée prématurée en raison de son état de santé. Il a de plus été contrôlé à plusieurs reprises positif au THC, la dernière fois le 29 avril 2013. Il consomme par intermittence de la cocaïne et il lui arrive de commettre des excès de boisson lorsqu'il quitte le cadre institutionnel.
3.2.3. Le 22 mai 2012, l'Office d'exécution des peines a saisi le juge d'application des peines en vue du réexamen de la libération conditionnelle de la mesure et de l'examen de la prolongation de celle-ci. Il a préavisé en défaveur de la première et en faveur de la deuxième pour une durée supplémentaire de trois ans. Dans le cadre de l'examen de ces questions, les éléments suivants ont été recueillis:
- La Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après CIC) a établi un préavis le 6 juillet 2012. Elle a relevé que la relative amélioration ou stabilisation constatée dans son précédent avis n'avait pu se maintenir au cours des derniers mois. Nonobstant une compliance adéquate du recourant au traitement prescrit, son état psycho-comportemental était à nouveau décrit comme fluctuant, imprévisible, impulsif et souvent brutal. De ce fait, les projets d'élargissement proposés et explorés avaient été mis en échec. Dès lors, la CIC ne pouvait, en l'état, que préconiser la poursuite de la prise en charge psychiatrique dans la perspective d'une rémission de la maladie mentale du recourant "à même de réduire la destructivité de ses réactions impulsives et d'ouvrir à nouveau une éventualité de placement en milieu institutionnel".
- Le juge d'application des peines a entendu le recourant le 29 janvier 2013. Celui-ci a déclaré souhaiter "exécuter une peine (sic; recte: mesure thérapeutique institutionnelle) de durée déterminée et bénéficier de congés", ainsi qu'intégrer un foyer. Entendu à nouveau le 19 février 2013, assisté d'un défenseur d'office, il a requis un traitement ambulatoire, respectivement la levée de la mesure thérapeutique institutionnelle. Il a admis avoir besoin d'un traitement médicamenteux tout au long de sa vie.
- Le SMPP a établi un rapport le 8 avril 2013. Celui-ci mentionne une alliance thérapeutique désormais significative entre le patient et l'équipe de soins. L'objectif principal était le maintien de la fragile stabilité observée depuis le début de l'année 2013. Cette période relativement favorable sans comportement hostile majeur paraissait propice pour entreprendre un processus d'ouverture du cadre légal. Cependant la stabilité actuellement observée était sans doute aussi tributaire d'une médication anti-psychotique et sédative importante. De surcroît, malgré cette médication, l'impulsivité du recourant, bien qu'atténuée, demeurait présente.
- La CIC a émis un nouveau préavis le 30 avril 2013. Elle y constate que les appréciations portées sur la situation du recourant dans le bilan de plan d'exécution du 28 mars 2013 et le rapport médical du 8 avril 2013 font état d'une amélioration et d'une stabilisation notables, même si elles restent partielles et précaires. Elles apparaissent cependant suffisantes pour permettre d'envisager la réactivation prudente d'un projet à moyen terme d'un placement dans un EMS afin d'assurer un encadrement ferme et contenant, nécessité par la réactivité impulsive et la versatilité de l'humeur de l'intéressé. La CIC déclare par conséquent souscrire aux dispositions d'élargissement énoncées dans le bilan précité.
3.3. Sur la base de ces éléments, le juge d'application des peines a estimé que la problématique psychiatrique exposait le recourant de façon récurrente à des décompensations psychotiques et qu'il était patent qu'il avait besoin d'un encadrement soutenu, tant médical que socio-éducatif, pour évoluer positivement. Toute modification de son cadre de vie devait être progressive et soigneusement observée par l'ensemble des intervenants de sa prise en charge, sauf à risquer de nouvelles rechutes. Le discours du recourant, alors qu'il se trouvait dans une phase relativement stable d'un point de vue psychiatrique, montrait qu'il n'avait encore qu'une conscience très limitée de ses pathologies et de leurs répercussions sur son comportement général, tandis qu'il surestimait ses capacités à vivre de manière autonome. Dans ce contexte, une libération conditionnelle de la mesure, qui priverait brusquement le recourant de tout accompagnement au quotidien, l'exposerait très rapidement à une décompensation psychique majeur, avec les risques de passages à l'acte hétéro-agressifs qui en découleraient. La mesure devait ainsi être maintenue.
Afin de fixer la durée de la prolongation à prononcer, le juge de première instance a tenu compte de la dangerosité du recourant. Il a ainsi été tenu pour patent que l'intéressé présentait un risque élevé de passages à l'acte violents en l'absence de prise en charge adéquate même si les médecins n'excluaient pas une stabilisation à défaut de guérison totale ou même de toute décompensation. Ses besoins de soins et son autonomie ont également été pris en considération. La stabilité psychique du recourant a été jugée encore largement tributaire de l'encadrement dont il bénéficiait. La durée de la prolongation de la mesure a ainsi été fixée à trois ans à compter du 20 juin 2012.
3.4. L'autorité précédente a pris acte que la mesure durait depuis longtemps. La gravité de cette atteinte aux droits de la personnalité du recourant était toutefois atténuée par le fait que ce dernier avait déjà bénéficié d'allégements de son régime sous la forme de multiples congés et conduites et que des perspectives d'allégements supplémentaires n'étaient pas à exclure à dires de médecins. De plus, le traitement visait à améliorer l'état de santé du recourant et produisait donc aussi des effets positifs dans son intérêt. La pathologie du recourant (cf. supra consid. 3.2.1) entraînait une propension significative à des actes hétéro-agressifs et le recourant restait tributaire d'un encadrement social-médical étroit, ainsi que d'une médication psychotrope et neuroleptique au long cours, les médecins n'envisageant une autonomie que dans un futur relativement éloigné. Les progrès accomplis, certes incontestables, étaient récents et timides. Ses problèmes de dépendance, non encore entièrement surmontés, demeuraient des facteurs à risque. De plus le recourant peinait toujours à mesurer toute la portée et les conséquences de ses actes, s'agissant notamment de sa consommation de cannabis. De la sorte, la dangerosité du recourant excédait celle qui découlait des seules infractions réprimées, qui n'étaient pas particulièrement graves intrinsèquement. Ces conditions restaient, à bien des égards, encore défavorables nonobstant les incontestables facteurs positifs récemment mis en évidence. Dès lors, le tableau clinique du recourant ne justifiait pas, en l'état, qu'on lui donne l'occasion de faire ses preuves en liberté. La durée de la poursuite de la mesure, de trois ans, n'était pas disproportionnée au regard de l'<ref-law>, s'agissant également de favoriser l'amélioration mise en évidence par les médecins. L'autorité précédente a également souligné que les médecins du SMPP étaient d'avis qu'il est possible que le recourant parvienne, certes relativement à long terme, à apprendre à vivre avec ses déficits sans enfreindre la loi, moyennant un encadrement et une médication idoines.
3.5. A l'appui de sa conclusion en levée de la mesure, le recourant conteste continuer à évoluer, preuve en est les nombreux incidents qui émaillent son traitement, dont le dernier en octobre 2013.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut toutefois rectifier ou compléter d'office ces faits s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recours ne peut critiquer les constatations de fait de l'autorité précédente que si elles ont été établies de façon manifestement inexacte, soit arbitraire au sens de l'art. 9 Cst., ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
La crise de décompensation invoquée par le recourant en octobre 2013 ne ressort pas de l'arrêt attaqué, sans que le recourant n'allègue l'arbitraire de son omission. Il ne peut en être tenu compte.
L'autorité précédente a retenu que le recourant, malgré les différents incidents survenus durant son traitement, continuait à évoluer, ce en se fondant sur l'ensemble des avis recueillis, dont celui du SMPP et du CIC, qui tenaient compte de ces incidents. Ceux-ci ne sauraient dès lors à eux seuls démontrer que l'autorité précédente est tombée dans l'arbitraire en estimant que le recourant continuait à évoluer.
Il résulte de l'évolution ainsi constatée que le traitement ne saurait être considéré comme voué à l'échec. Il ne se justifie dès lors pas de lever la mesure en application de l'<ref-law>.
3.6. Le recourant invoque la disproportion entre, d'une part, la durée de la mesure et, d'autre part, la peine prononcée et les infractions sanctionnées. Il ressort toutefois de la jurisprudence précitée que ces éléments ne sont pas décisifs pour déterminer si la libération conditionnelle ou, en l'espèce, la prolongation de la mesure doit être prononcée. Le risque de récidive et les biens juridiques menacés en cas de rechute sont déterminants. Or, au vu de la pathologie complexe dont souffre le recourant, de son état encore fragile, de son besoin pour progresser de soins fermes et contenant - unanimement attesté - de la nécessité de modifier très progressivement et de manière suivie son cadre de vie sauf à risquer de nouvelles rechutes, du risque élevé de passages à l'acte violents en cas d'interruption de son traitement, du fait que le recourant progresse et bénéficie déjà d'allégements et que d'autres sont d'ores et déjà envisagés, l'autorité précédente n'a pas violé le droit fédéral en considérant qu'un pronostic favorable permettant une libération conditionnelle de la mesure ne pouvait être posé en l'état et que le maintien de la mesure et sa prolongation pour une durée de trois ans ne violaient pas le principe de la proportionnalité. Il n'en reste pas moins que la libération conditionnelle devra être réexaminée avant l'échéance de cette période et accordée si les conditions en sont remplies (<ref-law>).
4.
Le recours doit être rejeté dans la mesure de sa recevabilité. Les conclusions étaient vouées à l'échec. L'assistance judiciaire est dès lors refusée (<ref-law>). Le recourant supportera les frais, dont le montant sera fixé en tenant compte de sa situation financière défavorable (art. 65 al. 1 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 20 février 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod