Faits: A. Par jugement du 20 juin 2007, le Tribunal correctionnel de La Broye et du Nord vaudois a condamné X._ pour dommages à la propriété et violence ou menace contre les autorités et les fonctionnaires à une peine privative de liberté de 7 mois, sous déduction de 225 jours de détention provisoire. Se référant au rapport d'expertise psychiatrique établi le 24 février 2006, complété le 17 juillet 2006, le tribunal a suspendu l'exécution de la peine au profit d'une mesure thérapeutique institutionnelle au sens de l'art. 59 CP. B. Les 20 juin 2008, 19 juin 2009, 13 juillet 2010 et 17 octobre 2011, le Juge d'application des peines du canton de Vaud a refusé d'accorder à X._ sa libération conditionnelle de la mesure thérapeutique institutionnelle. Les recours suivant cette dernière décision ont été rejetés par la Chambre des recours pénale du Tribunal cantonal vaudois puis par le Tribunal fédéral par arrêt 6B_804/2011 du 14 février 2012. C. Par prononcé du 23 septembre 2013, le juge d'application des peines a refusé d'accorder à X._ la libération conditionnelle de la mesure thérapeutique institutionnelle. Il a prolongé celle-ci pour une durée de trois ans dès le 20 juin 2012. D. Par arrêt du 22 octobre 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre ce prononcé. Elle a réformé celui-ci d'office s'agissant des frais. E. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à sa réforme en ce sens que la mesure thérapeutique est levée, subsidiairement la libération conditionnelle de cette mesure est accordée. Plus subsidiairement, il sollicite l'annulation de l'arrêt cantonal et le renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouvelle décision dans le sens des considérants. Il requiert le bénéfice de l'assistance judiciaire.