Faits:
A.
Par jugement du 18 décembre 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de onze ans et demi, sous déduction de la détention subie avant jugement, pour brigandage qualifié, violation de domicile, contrainte sexuelle qualifiée commise en commun et viol qualifié commis en commun.
Il lui a été reproché d'avoir commis avec un autre homme une violente agression à l'encontre d'une femme dont le seul tort était d'être l'amie intime d'un cousin avec lequel les deux hommes étaient en litige. Les deux hommes ont investi le domicile de leur victime dans la nuit, l'ont ligotée, bâillonnée et aveuglée avec du scotch, l'ont violée, forcée à leur indiquer où se trouvait son argent en la menaçant d'un couteau, puis sont repartis en emportant l'argent. La vie de la victime a été mise en danger, en raison de l'obstruction de ses voies respiratoires durant le viol. Le tribunal a relevé que les deux hommes n'ont eu cesse de nier les faits, allant même jusqu'à prétendre avoir été les amants de leur victime. Il a été relevé qu'ils avaient fait preuve " d'une perversité, d'un sadisme, d'une barbarie et d'une lâcheté peu commune ", niant l'évidence et ayant agi de manière " archaïque " avec " une bassesse de caractère dépassant l'entendement " pour régler un conflit entre clans.
X._ a été détenu préventivement au sein de différents établissements pénitentiaires dès le 20 décembre 2005. En date du 21 août 2007, il a été transféré aux Établissements de la Plaine de l'Orbe (EPO). Le 29 octobre 2012, il a rejoint le secteur ouvert de la Colonie des EPO.
Le 19 août 2013, X._ avait subi les deux tiers de sa peine.
B.
Par arrêt du 13 août 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 31 juillet 2013 prononcé par le Collège des juges d'application des peines du canton de Vaud qui a refusé de lui accorder la libération conditionnelle. La Chambre des recours pénale a considéré en substance que le pronostic demeurait très défavorable, compte tenu en particulier des avis criminologiques et psychiatriques figurant au dossier.
C.
X._ forme un recours en matière pénale contre l'arrêt du 13 août 2013 dont il demande la réforme en ce sens que la libération conditionnelle lui soit accordée, cette dernière ne devenant effective que lorsque son renvoi de Suisse pourra être exécuté. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision et encore plus subsidiairement à l'autorité de première instance pour nouvelle instruction. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit:
1.
Le recours en matière pénale est ouvert contre les décisions relatives à l'exécution des peines et mesures.
2.
La Chambre des recours pénale a retenu que le pronostic était résolument défavorable. La gravité significative des crimes perpétrés en commun et en concours d'infractions à raison desquels le recourant purgeait l'essentiel de sa peine était de nature à inciter à admettre plus largement le risque de récidive. Si la perspective de devoir subir un important solde de peine était susceptible d'avoir un impact non négligeable sur le comportement futur de l'intéressé, tant l'Office d'exécution des peines (OPE) que la direction des EPO émettaient toutefois un pronostic défavorable sur l'amendement du condamné ou la réduction du risque de réitération. Le seul fait qu'il ne puisse plus revenir en Suisse pour commettre des délits ne permettait pas de renverser le pronostic très défavorable qui ressortait de tous les éléments du dossier, s'agissant en particulier des avis criminologiques et psychiatriques. Le condamné présentait de nombreux facteurs de risque, par son déni persistant de sa responsabilité, son absence de toute empathie pour la victime, ses structures mentales archaïques, de type clanique, associées à la gravité des crimes en question qui témoignaient de sa propension à la violence. En outre, l'intéressé allait être aussi inoccupé au Kosovo qu'il l'était en Suisse lors de la commission des infractions pour lesquelles il avait été condamné et rien ne permettait de penser que le risque de réitération serait inférieur dans ce pays. La protection de la sécurité publique devait en l'état être privilégiée ce d'autant que le départ du condamné à l'étranger ne permettrait pas de maintenir un quelconque contrôle sur sa réinsertion et que les projets évoqués pour la période suivant sa libération ne permettaient pas de discerner le moindre avantage d'un élargissement anticipé par rapport à l'exécution de la peine au-delà du terme des deux tiers de la privation de liberté.
3.
Le recourant invoque l'établissement inexact de certains faits et l'insuffisance des moyens de preuves.
3.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si les faits ont été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire (cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, voir <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 7 p. 82). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 4.2 p. 560). Au stade de l'appréciation des preuves, le grief d'arbitraire se confond avec celui déduit de la violation du principe in dubio pro reo (ATF <ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 104 s.). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356 et les références citées).
3.2. Quand le recourant soutient qu'en cas de libération les circonstances familiales et personnelles qui ont conduit à sa condamnation en 2006 ont changé, contrairement à l'opinion des juges cantonaux qui considèrent qu'il se retrouvera, à peu de chose près, dans les mêmes conditions de vie que celles qui l'ont amené à commettre les actes reprochés, il s'écarte de manière inadmissible des faits retenus (<ref-law>) dans une démarche purement appellatoire impropre à en démontrer l'arbitraire.
3.3. Tout en soulignant qu'il n'a jamais fait l'objet d'une expertise psychiatrique, le recourant reproche à l'autorité cantonale d'avoir omis de procéder à une étude minutieuse et circonstanciée du cas et de s'être bornée à considérer une évaluation criminologique sommaire à laquelle elle a estimé qu'il suffisait d'y renvoyer.
Pour autant que l'on comprenne ses griefs, le recourant semble reprocher à la cour cantonale une administration incomplète des preuves et un défaut de motivation de la décision. Ces reproches relèvent plutôt de la violation du droit d'être entendu. Il est douteux qu'ils soient suffisamment motivés au regard des exigences accrues de l'<ref-law>. Quoi qu'il en soit, la cour cantonale s'est fondée sur les différentes évaluations émises par les services compétents, en particulier sur l'analyse criminologique figurant au plan d'exécution de sanction (PES) élaboré en septembre 2009 aux EPO et avalisé par l'OEP, ainsi que sur les évaluations de suivi psychiatrique et avis de la commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (CIC) lors de ses séances tenues en 2009, 2011, et 2012 dont elle a reproduit de larges extraits à l'appui de sa motivation. À cet égard, elle a exposé de manière détaillée de quelle manière elle appréciait ces éléments. Il ne peut lui être reproché un défaut de motivation. Le recourant ne prétend, ni ne démontre qu'il aurait requis une expertise psychiatrique ou d'autres mesures d'instruction qui lui auraient été refusées. Les critiques du recourant sont infondées dans la mesure où elles sont recevables.
4.
Le recourant soutient que l'autorité cantonale a violé l'<ref-law> dans l'appréciation du pronostic.
4.1. Aux termes de l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
Cette disposition renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais seulement qu'il ne soit pas à craindre qu'il ne commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire, pour l'octroi de la libération conditionnelle, qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203). Pour le surplus, la jurisprudence relative à l'art. 38 ch. 1 aCP demeure valable. En particulier, le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement (en général et dans le cadre des délits qui sont à l'origine de sa condamnation, voir dans ce sens, <ref-ruling> consid. 2a p. 115) et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les arrêts cités). Il ne suffit pas que le comportement du condamné pendant sa détention ne s'oppose pas à son élargissement. On peut même se demander si le comportement pendant l'exécution constitue vraiment un critère de décision indépendant ou s'il n'est pas, selon les circonstances, un simple élément supplémentaire d'appréciation pour établir le pronostic (<ref-ruling> consid. 1a p. 7). Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie d'une assistance de probation et de règles de conduite, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (<ref-ruling> consid. 4d/aa/bb p. 198 ss).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
En l'espèce, le recourant a subi les deux tiers de sa peine et son comportement en détention est globalement satisfaisant. Les deux premières conditions de la libération conditionnelle sont donc réalisées. Reste seul litigieux le pronostic relatif à son comportement futur.
4.2. Le recourant estime que la cour cantonale a posé un pronostic défavorable en se fondant sur des critères non pertinents et en ignorant des éléments importants.
4.2.1. Se référant en particulier à l'<ref-ruling> consid. 5b/ee, le recourant prétend que le refus de reconnaître les actes ayant conduit à la condamnation ne devait pas être interprété comme un élément défavorable dans l'émission du prononstic. Selon la jurisprudence citée, la libération conditionnelle n'est pas subordonnée à une reconnaissance des actes ou de l'illicéité des actes ayant conduit à la condamnation. Il s'agit toutefois d'un indice qui peut permettre de poser un pronostic sur le comportement futur du condamné en liberté. Le recourant ne peut dès lors rien déduire en sa faveur de cette jurisprudence. En effet, l'autorité cantonale ne lui a pas reproché, en soi, de ne pas reconnaître les infractions commises, mais elle a inféré du déni de culpabilité qu'il affiche, un défaut de prise de conscience, respectivement d'amendement qui laisse entrevoir un risque de récidive qu'il y a lieu de redouter, cela d'autant plus qu'il met en péril des biens juridiquement protégés aussi essentiels que l'intégrité physique, psychique et sexuelle.
4.2.2. Autant que le recourant considère que seule la nature des infractions commises a conduit l'autorité cantonale à rejeter sa demande de libération conditionnelle, il se méprend. Certes, en soi, la nature des infractions à l'origine de la condamnation ne joue pas de rôle, dès lors que la libération conditionnelle ne saurait être exclue ou rendue plus difficile pour certains types d'infractions (<ref-ruling> consid. 2a p. 115; <ref-ruling> consid. 1b p. 8). En revanche, l'importance du bien juridique menacé est déterminante pour évaluer si l'on peut prendre le risque d'une récidive, qui est inhérent à toute libération, qu'elle soit conditionnelle ou définitive. A cet égard, contrairement à l'opinion du recourant, le risque que l'on peut admettre est généralement moindre si l'auteur s'en est pris à l'intégrité physique d'autrui que s'il a commis des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 116; <ref-ruling> consid. 3 p. 195). Dans cette mesure, la nature de l'infraction commise est un facteur pertinent dans l'appréciation du risque de récidive.
4.2.3. Contrairement à ce qu'il allègue, les juges cantonaux ont tenu compte de l'évolution positive du recourant qui a franchi les différentes phases du PES jusqu'à son transfert en Colonie, sous réserve de la dernière phase qui porte précisément sur la libération conditionnelle. Le comportement adéquat et le respect des règles fixées dans le cadre de l'allègement de sa détention ont permis de retenir que la deuxième condition posée à l'octroi de la libération conditionnelle est respectée comme il a été vu (consid. 3). Il est toutefois évident que le seul fait d'avoir respecté les conditions des sorties ne suffit pas à exclure un pronostic défavorable tant il est notoire que des délinquants, même parfois très dangereux, parviennent dans un tel contexte à se conformer aux règles qui leur sont imposées.
4.2.4. C'est également à tort que le recourant soutient que la cour cantonale n'a pas expliqué pour quelles raisons la perspective de subir un important solde de peine n'aura pas d'impact sur son comportement futur. Les juges cantonaux ont considéré que le pronostic défavorable sur l'amendement du recourant ou la réduction du risque de réitération tels qu'émis tant par la direction des EPO que par l'OEP l'emportaient sur la première considération.
4.2.5. Au surplus, le recourant ne discute pas plus avant la motivation cantonale sur le défaut de prise de conscience et d'amendement du recourant qui repose, entre autres considérations, sur le fait qu'il n'a accepté d'ouvrir un compte indemnité victime et a pris l'engagement de ne plus entrer en contact avec elle que dans la perspective d'obtenir des élargissements de régime. Il ne critique pas davantage les considérations de la CIC qui déduit de " différents traits préoccupants " qu'elle met en évidence (antécédents judiciaires, notamment en matière d'acte de violence, préméditation des actes commis, violences physiques qui ont accompagné l'agression sexuelle, absence d'empathie pour la victime, dénégation obstinée de sa culpabilité, caractère discordant des explications...) une " dangerosité élevée entraînant un risque de récidive manifeste " chez le recourant, étant précisé que la CIC n'a constaté aucune évolution du recourant depuis lors et n'a pas modifié ses conclusions. On ne voit pas en quoi le fait que le recourant, qui invoque un changement de circonstances personnelles suite à son divorce et à l'éloignement des différents membres de la famille, est de nature à modifier l'évaluation du pronostic sur sa dangerosité. La dangerosité qu'il présente n'est pas décrite comme étant circonscrite à une problématique familiale ou affective dont il suffirait de l'isoler. Elle est perçue comme étant la résultante de l'évaluation des traits de sa personnalité. Les éléments ainsi décrits sont autant de critères pertinents pour évaluer le pronostic.
4.2.6. Par ailleurs, il n'apparaît pas que la libération conditionnelle immédiate, éventuellement assortie d'une assistance de probation et de règles de conduite favoriserait mieux la resocialisation du recourant que l'exécution complète de la peine: la mise en place d'un patronage ne ferait guère de sens dès lors qu'il est sous le coup d'une décision de renvoi dès sa sortie de prison et qu'il déclare lui-même vouloir retourner vivre au Kosovo. Contrairement à ce qu'il allègue, son mode de vie à sa libération, à savoir, la circonstance qu'il sera aussi inoccupé au Kosovo qu'en Suisse, puisqu'il déclare qu'il y vivra uniquement de sa rente AI et sans autre activité que celle de cultiver son jardin, constitue aussi un facteur d'appréciation pertinent pour évaluer tant le risque de réitération que ses chances de réinsertion.
4.3. En conséquence, l'approche de la Chambre des recours qui s'est livrée à une appréciation globale des chances de réinsertion sociale du recourant en prenant en considération tous les éléments nécessaires et pertinents pour fonder sa décision aboutissant à un pronostic défavorable, ne prête pas flanc à la critique. Elle a tenu compte, outre des antécédents du recourant, d'un défaut d'amendement qui se traduit par un défaut de prise de conscience de la gravité de ses actes et de toute démarche sincère pour réparer le tort infligé à sa victime ainsi que de l'absence de tout projet concret et réaliste pour sa sortie de prison. Au vu du risque concret de réitération d'infractions en résultant, elle n'a manifestement pas abusé de son pouvoir d'appréciation en posant un pronostic défavorable quant au comportement du recourant en liberté et en s'écartant ainsi, non sans motifs, des préavis favorables figurant au dossier. En tant qu'il refuse de mettre le recourant au bénéfice d'une libération conditionnelle, l'arrêt attaqué ne viole pas le droit fédéral.
5.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 18 novembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
La Greffière: Boëton