Faits:
A.
Par jugement du 30 novembre 2011, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de onze mois et a ordonné le traitement institutionnel de l'intéressé « au sens de l'art. 59 CP », ainsi que son maintien en détention pour des motifs de sûreté. Ce jugement est entré en force. X._ a été placé en détention pour y subir la mesure institutionnelle à compter du 30 novembre 2011.
B.
Par prononcé du 3 mai 2013, la juge d'application des peines a rejeté la réquisition présentée par X._ tendant à la constatation de la nullité de la mesure thérapeutique institutionnelle ordonnée le 30 novembre 2011 et à son élargissement. Elle a relevé que le Tribunal de police avait envisagé un traitement institutionnel au sens de l'art. 59 al. 1 et 2 CP et qu'il avait exclu un traitement institutionnel en établissement fermé (art. 59 al. 3 CP). Comme le traitement institutionnel ordonné entrait dans les compétences du Tribunal de police de l'arrondissement de Lausanne, il n'y avait pas lieu de constater la nullité de la mesure prononcée le 30 novembre 2011.
C.
Par jugement du 27 mai 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a admis le recours déposé par X._, réformé le prononcé du 3 mai 2013 en ce sens que l'Office d'exécution des peines était invité à ordonner le transfert de X._ de l'établissement pénitentiaire dans lequel il se trouvait dans un établissement approprié au sens de l'art. 59 al. 2 CP. Les frais ont été laissés à la charge de l'Etat de Vaud et une indemnité a été allouée au défenseur de X._ de 777 fr. 60, TVA incluse.
X._ est resté détenu en établissement pénitentiaire du 30 novembre 2011 jusqu'au 20 juin 2013, date à laquelle il a été transféré à l'EMS Y._.
D.
X._ forme un recours en matière pénale contre ce jugement. Il conclut à la nullité du jugement du 30 novembre 2011 et à l'annulation de la mesure ordonnée à son encontre. Dans un recours complémentaire, il conclut à ce que l'Etat de Vaud soit reconnu débiteur d'une indemnité qui, une fois compensée avec les frais de justice dont il est débiteur, s'élève à 20'000 fr. Subsidiairement, il conclut à ce que le canton de Vaud soit reconnu débiteur d'une indemnité de 100'000 fr. Il sollicite en outre l'assistance judiciaire.
Considérant en droit:
1.
En tant que le recourant s'en prend au jugement du Tribunal de police de l'arrondissement de Lausanne du 30 novembre 2011, entré en force, et discute le bien-fondé du prononcé de la mesure thérapeutique institutionnelle, son recours est irrecevable, faute de décision attaquable (cf. art. 80 al. 1 LTF).
2.
Le recourant conclut à la nullité du jugement du Tribunal de police de l'arrondissement de Lausanne. Il ne discute cependant pas, conformément aux exigences de motivation (art. 42 al. 2 LTF) la compétence de cette autorité pour ordonner une mesure thérapeutique institutionnelle au sens de l'art. 59 al. 2 CP comme l'a retenu à raison la Chambre des recours pénale. A teneur de l'art. 19 al. 2 let. b CPP qui laisse aux cantons la faculté de prévoir un juge unique pour statuer notamment sur le prononcé d'un traitement institutionnel tel que celui prévu par l'art. 59 al. 2 CP, à l'exclusion du traitement en milieu fermé de l'art. 59 al. 3 CP, le Tribunal de police de l'arrondissement de Lausanne, statuant en qualité de juge unique, était autorisé à ordonner une telle mesure comme le prévoit l'art. 8 al. 1 let. b de la loi vaudoise d'introduction du CPP (LVCPP, RS/VD 312.01).
3.
Le recourant conclut à l'octroi d'une indemnité pour avoir été maintenu dans un établissement pénitentiaire du 30 novembre 2011 au 20 juin 2013 alors que la mesure thérapeutique ordonnée par le Tribunal de police en application de l'art. 59 al. 2 CP ne pouvait être exécutée que dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures.
3.1. Selon l'art. 99 al. 2 LTF, toute conclusion nouvelle est irrecevable. Une conclusion est nouvelle dès lors qu'elle n'a pas été soumise à l'autorité précédente et qu'elle tend à élargir l'objet du litige (arrêt 6B_863/2010 du 17 janvier 2011 consid. 4).
3.2. En l'espèce, l'arrêt attaqué ne se prononce pas sur les demandes en paiement d'indemnités que le recourant formule contre le canton de Vaud pour la première fois devant la cour de céans. Elles ne trouvent pas leur fondement dans le prononcé de mesures de contrainte illicites au sens de l'art. 431 CPP qui auraient obligé l'autorité pénale à examiner d'office les prétentions du prévenu (art. 429 al. 2 CPP, voir arrêt 6B_472/2012 du 13 novembre 2012 consid. 2.4) et le recourant ne le prétend pas. L'exécution des décisions pénales relève de la compétence de la Confédération et des cantons (art. 439 al. 1 CPP). Comme l'a retenu la Chambre des recours pénale, c'est l'Office d'exécution des peines (OEP) qui est habilité, dans les cas où un traitement institutionnel a été ordonné, à mandater l'établissement dans lequel le condamné sera placé (art. 21 al. 2 let. a de la loi vaudoise du 4 juillet 2006 sur l'exécution des condamnations pénales, LEP, RS/VD 340.01). Après avoir constaté que le lieu d'exécution de la mesure n'était pas conforme à la nature de celle-ci, telle qu'ordonnée dans le jugement du 30 novembre 2011, il n'entrait pas dans la compétence de la Chambre des recours pénale, à teneur du CPP, d'examiner d'office les prétentions du recourant en réparation de son dommage résultant d'une détention injustifiée. Pour le surplus, le recourant ne prétend pas que la Chambre des recours, en n'examinant pas d'office ces questions, aurait arbitrairement violé des dispositions de droit cantonal (art. 106 al. 2 LTF). Ses conclusions en paiement d'une indemnité à la charge de l'Etat de Vaud se révèlent ainsi irrecevables. Il lui incombera d'intenter une action en responsabilité pour pouvoir les faire valoir s'il s'y estime fondé.
4.
En définitive, le recours se révèle irrecevable. Comme les conclusions du recours étaient dépourvues de chances de succès, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Exceptionnellement, le présent arrêt peut être rendu sans frais (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est irrecevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Il n'est pas prélevé de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Chambre des recours pénale, et au Tribunal des mesures de contrainte et Juge d'application des peines du canton de Vaud.
Lausanne, le 10 octobre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Boëton