Faits : A. Par jugement du 3 mars 2011, confirmé le 15 août 2011 par la Cour d'appel pénale du Tribunal cantonal vaudois, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._, pour tentative de meurtre par dol éventuel, agression, lésions corporelles simples qualifiées et infraction à la Loi fédérale sur les étrangers (LEtr; RS 142.20), à une peine privative de liberté de sept ans, sous déduction de la détention subie avant jugement. Outre cette condamnation, le casier judiciaire suisse de X._ mentionne une peine de six ans de réclusion, prononcée le 22 février 2005 pour vol, brigandage et dommages à la propriété. Par ailleurs, le 7 février 2014, il a été condamné à 120 jours-amende pour lésions corporelles simples et injure. Le casier judiciaire français du condamné fait état de cinq inscriptions dont une relative à une peine d'un an d'emprisonnement prononcée le 9 mai 1996 pour violence commise en réunion suivie d'incapacité supérieure à huit jours. X._ a atteint les deux tiers de sa peine le 28 janvier 2015, la fin de celle-ci arrivant à échéance le 29 mai 2017. B. Par décision du 29 janvier 2016, le Collège des Juges d'application des peines a refusé la libération conditionnelle à X._ (I), a saisi le Tribunal correctionnel de l'arrondissement de Lausanne en vue de l'examen du prononcé d'une mesure thérapeutique institutionnelle ou d'un internement à l'endroit de X._ (II) et a laissé les frais de la décision à la charge de l'Etat (III). C. Par arrêt du 1 er mars 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._, dans la mesure de sa recevabilité (I), a confirmé la décision du 29 janvier 2016 (II) et a ordonné la transmission de la cause au Tribunal correctionnel de l'arrondissement de Lausanne (III). C.a. En substance, le refus de libération conditionnelle repose sur les rapports et avis suivants. Les Etablissements pénitentiaires de la Plaine de l'Orbe (EPO), où était détenu X._, ont élaboré un plan d'exécution de peine (PES), avalisé le 16 août 2012 par l'Office d'exécution des peines (OEP). Il en ressort notamment que X._ s'est montré discret, courtois, autonome et peu demandeur au cellulaire. Il a refusé de participer à une démarche évaluative, déclarant ne pas être intéressé par une telle approche. Au chapitre des facteurs de risques, il est fait état de la violence dont X._ a fait preuve par le passé, son instabilité professionnelle, sa dépendance à l'alcool et au cannabis, l'échec antérieur de la surveillance (plusieurs sursis accordés ayant dû être révoqués) et le manque de soutien personnel. S'agissant des facteurs protecteurs, la gestion et l'autocontrôle de X._ dans le cadre des EPO sont mentionnés. Il ressort du document que X._ n'a entrepris aucune démarche en vue d'indemniser ses victimes. Au vu de son refus de collaborer à l'établissement de son PES, il a été renoncé à planifier d'éventuelles ouvertures de régime. Dans son rapport du 8 août 2014, la direction des EPO a émis un préavis défavorable quant à une éventuelle libération conditionnelle et a précisé qu'aucun élargissement de régime ne paraissait envisageable en l'état. La Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (CIC) a rendu un avis le 20 novembre 2013 constatant l'état de dangerosité bien établi et visiblement préoccupant de X._ et préconisant la mise en oeuvre d'une expertise psychiatrique. Constatant que le précité avait refusé de se soumettre à l'expertise préconisée, la CIC a relevé, par avis du 14 octobre 2014, qu'au vu de la dangerosité élevée de X._, la perspective d'une fin de peine sans la moindre participation à son amendement, ni de moyens disponibles et utiles pour prévenir une très probable récidive, implique l'examen des possibilité de mise en place d'une mesure d'internement au sens de l'art. 64 CP. Par saisine du 16 septembre 2014, complétée par envoi du 7 novembre 2014, l'OEP a proposé au Collège des Juges d'application des peines de refuser l'élargissement anticipé de X._, invoquant notamment un pronostic défavorable quant à son comportement futur ainsi que sa dangerosité préoccupante. Sur ordre de la Présidente du Collège des Juges d'application des peines du 27 avril 2015, un rapport d'expertise psychiatrique a été déposé le 1 er août 2015 par l'expert A._. Retenant un diagnostic de schizophrénie paranoïde, l'expert a relevé que dans un contexte carcéral, le risque de comportements violents du condamné devait être qualifié de faible à moyen, une décompensation psychotique aigüe ne paraissant guère probable, sauf événements contingents stressants. En revanche, l'expert a fait état d'un risque moyen à élevé de réitération d'actes violents hors du contexte institutionnel actuel. L'expert qualifie de " pertinente " l'hypothèse d'un traitement institutionnel, tout en relevant que cette mesure devrait être préparée dans la logique d'un travail à plusieurs et non pas introspectif. Le 8 octobre 2015, le Ministère public a préavisé négativement l'octroi de la libération conditionnelle de X._ et a requis la saisine du Tribunal correctionnel en vue du prononcé d'une mesure. C.b. Ensuite de menaces hétéro-agressives proférées à l'encontre de ses codétenus, X._ a été informé par l'OEP, le 20 juillet 2015, qu'il avait un délai de 5 jours pour s'opposer à son transfert dans un autre établissement d'exécution de peines et que l'absence de déterminations dans le délai imparti serait considérée comme un accord de sa part. Sans nouvelle, l'OEP a transféré X._, le 5 octobre 2015, aux Etablissements pénitentiaires de Pöschwies à Zurich. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens qu'il est renoncé à transmettre la cause au Tribunal d'arrondissement en vue de l'examen du prononcé d'une mesure et qu'il est libéré conditionnellement dès le moment où il pourra être remis aux autorités compétentes assurant son renvoi (art. 86 ss CP). Subsidiairement, il conclut à l'annulation de la décision cantonale et au renvoi de la cause à la cour cantonale. Il requiert le bénéfice de l'assistance judiciaire et sollicite l'octroi de l'effet suspensif au recours. Par ordonnance du 30 juin 2016, la demande d'effet suspensif a été rejetée.