Faits :
A.
Par jugement du 18 décembre 2006, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ à une peine privative de liberté de onze ans et demi, sous déduction de la détention subie avant jugement, pour brigandage qualifié, violation de domicile, contrainte sexuelle qualifiée commise en commun et viol qualifié commis en commun.
Il lui a été reproché d'avoir commis, avec un autre homme, une violente agression à l'encontre d'une femme dont le seul tort était d'être l'amie intime d'un cousin avec lequel les deux hommes étaient en litige. Les deux hommes ont investi le domicile de leur victime dans la nuit, l'ont ligotée, bâillonnée et aveuglée avec du scotch, l'ont violée, forcée à leur indiquer où se trouvait son argent en la menaçant d'un couteau, puis sont repartis en emportant l'argent. La vie de la victime a été mise en danger, en raison de l'obstruction de ses voies respiratoires durant le viol. Le tribunal a relevé que les deux hommes n'ont eu cesse de nier les faits, allant même jusqu'à prétendre avoir été les amants de leur victime.
Le 19 août 2013, X._ avait subi les deux tiers de sa peine.
B.
Par jugement du 31 juillet 2013, confirmé par le Tribunal cantonal vaudois puis par le Tribunal fédéral (arrêt 6B_915/2013 du 18 novembre 2013), le Collège des juges d'application des peines du canton de Vaud a refusé d'accorder la libération conditionnelle à X._.
C.
Par arrêt du 10 septembre 2014, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 27 août 2014 prononcé par le Collège des juges d'application des peines du canton de Vaud, lequel a refusé, dans le cadre du réexamen annuel, de lui accorder la libération conditionnelle. La cour cantonale a considéré en substance que le pronostic demeurait manifestement défavorable.
D.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 10 septembre 2014 dont il demande la réforme en ce sens que la libération conditionnelle lui soit accordée. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle instruction et nouveau jugement dans le sens des considérants. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est ouvert contre les décisions relatives à l'exécution de peines et de mesures (<ref-law>).
2.
La cour cantonale a retenu que le pronostic était manifestement défavorable. La gravité significative des crimes perpétrés en commun et en concours d'infractions à raison desquels le recourant purgeait l'essentiel de sa peine était de nature à inciter à admettre plus largement le risque de récidive. En effet, les biens juridiques en cause étaient importants et avaient été gravement atteints par les agissements du recourant. La manière dont il avait perpétré ses infractions témoignait d'un mépris certain pour l'intégrité physique et sexuelle d'autrui.
À cela s'ajoutait qu'à teneur des documents versés au dossier, le recourant persistait à vivre dans un déni massif de ses actes de violence et présentait une absence totale de prise de conscience de leur gravité. Il se victimisait en considérant son incarcération comme une injustice et n'avait pas du tout évolué dans sa réflexion relative à ses infractions, ne présentant aucun regret ni aucune empathie envers sa victime malgré la violence de ses actes. Le constat de son absence d'amendement avait été relevé par toutes les autorités qui avaient suivi le condamné.
Sur la base des pièces figurant au dossier, en particulier selon l'évaluation criminologique du bilan de phases 3 à 5 du plan d'exécution des sanctions (ci-après: PES) élaboré le 6 février 2014, le risque de récidive, notamment en matière de violence sexuelle, a été jugé concret et les infractions redoutées graves. Le risque de réitération, qualifié de moyen, avait été posé dans l'hypothèse d'un sentiment de fierté bafouée ou de non-respect en fonction des personnes côtoyées, associé à un contexte de besoin de la part du recourant de faire valoir sa propre loi.
Par ailleurs, les projets du condamné étaient peu concrets et ne laissaient pas voir d'avantages à la libération, celui-ci voulant réactiver sa rente AI et reprendre sa vie de rentier sans activité occupationnelle hormis l'entretien de son jardin dans son pays d'origine. L'intéressé allait ainsi être aussi inoccupé au Kosovo qu'il l'était en Suisse lors de la commission des infractions pour lesquelles il avait été condamné et rien ne permettait de penser que le risque de réitération serait inférieur dans ce pays, ce d'autant moins que le fonctionnement clanique qui caractérisait le recourant pouvait être exacerbé.
Aucune autre mesure que la poursuite de l'exécution de la peine privative de liberté ne paraissait à ce stade envisageable pour préserver la sécurité publique. Il y avait lieu de recommander à X._ de s'investir dans le suivi psychologique qui avait été mis en place depuis fin janvier 2014 et avait eu, aux dires mêmes de l'intéressé, des effets bénéfiques sur ce dernier du fait qu'il avait pu s'exprimer, notamment sur les raisons pour lesquelles il avait été incarcéré.
3.
Le recourant soutient que l'autorité cantonale a violé l'<ref-law> dans l'appréciation du pronostic.
3.1. Aux termes de l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
Cette disposition renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais seulement qu'il ne soit pas à craindre qu'il ne commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire, pour l'octroi de la libération conditionnelle, qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203).
Pour le surplus, la jurisprudence relative à l'art. 38 ch. 1 aCP demeure valable. En particulier, le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement (en général et dans le cadre des délits qui sont à l'origine de sa condamnation, voir dans ce sens, <ref-ruling> consid. 2a p. 115) et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les arrêts cités). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive, il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 115 s.; <ref-ruling> consid. 3 p. 195 et les arrêts cités). Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie d'une assistance de probation et de règles de conduite, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (ATF <ref-ruling> consid. 4d/aa/bb p. 198 ss). Il ne suffit pas que le comportement du condamné pendant sa détention ne s'oppose pas à son élargissement. On peut même se demander si le comportement pendant l'exécution constitue vraiment un critère de décision indépendant ou s'il n'est pas, selon les circonstances, un simple élément supplémentaire d'appréciation pour établir le pronostic (<ref-ruling> consid. 1a p. 7; arrêt 6B_915/2013 du 18 novembre 2013 consid. 4.1).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
Selon l'<ref-law>, si elle a refusé la libération conditionnelle, l'autorité compétente doit réexaminer sa décision au moins une fois par an.
3.2. Rappelant que les infractions reprochées datent de bientôt dix ans, le recourant allègue qu'il a évolué de manière positive et qu'il est à présent en mesure de prendre en compte le bien-être d'autrui, de gérer les décisions négatives le concernant et de formuler des projets d'avenir en conformité avec la loi suisse. Il fonde son argumentation sur le préavis de l'Office d'exécution des peines du 6 mai 2014 (ci-après: OEP), tout en en sélectionnant certains passages. Or, selon ce dernier, une certaine prise en considération du bien-être d'autrui s'apparente à celui de sa fille, à l'annonce du précédent refus de libération conditionnelle. Sa critique, qui ne vise qu'à substituer sa propre appréciation de son évolution à celle de l'autorité cantonale est irrecevable (<ref-ruling> consid. 5.1 p. 356 et les références citées). Au surplus, ces constatations de l'OEP ne suffisent pas à considérer que la cour a violé le droit fédéral dans son appréciation défavorable du pronostic lequel se fonde sur un ensemble d'autres éléments dont le recourant ne met pas en cause le contenu sous l'angle de l'arbitraire (<ref-law>).
3.3. En se référant de manière incomplète à l'ATF <ref-ruling>, le recourant soutient que la cour cantonale a violé le droit fédéral en prenant en considération la dénégation des infractions reprochées dans l'appréciation du pronostic. Or, selon cette même jurisprudence, si la libération conditionnelle n'est pas subordonnée à une reconnaissance des actes ou de l'illicéité des actes ayant conduit à la condamnation, il s'agit toutefois d'un indice qui peut permettre de poser un pronostic sur le comportement futur du condamné en liberté (ATF <ref-ruling> consid. 5b/ee p. 204 s.; arrêt 6B_259/2014 du 5 juin 2014 consid. 2.5).
L'autorité cantonale pouvait ainsi inférer du déni massif de culpabilité que le recourant affiche, ajouté à sa victimisation et à son absence d'empathie à l'égard de sa victime, un défaut de prise de conscience, partant d'amendement de sa part. Elle n'a donc pas violé le droit fédéral en tenant compte de ces éléments pour établir le pronostic.
3.4. Sans contester la réalité et la qualification du risque de récidive retenu, ni la gravité des infractions redoutées, le recourant reproche à la cour cantonale de ne pas avoir suivi le préavis favorable de la Commission Interdisciplinaire Consultative (ci-après: CIC) concernant les délinquants nécessitant une prise en charge psychiatrique du 6 mai 2014 et de l'avoir " passé sous silence ". La cour cantonale n'a pas ignoré le préavis de la CIC qu'elle mentionne expressément dans son arrêt, de même que le préavis positif de l'OEP du 6 mai 2014 (arrêt entrepris, consid. B.d et B.e p. 9). Elle a écarté ces préavis en exposant pour quelles raisons les projets de retour au Kosovo du recourant ne constituaient pas un facteur de protection suffisant (inoccupation et fonctionnement clanique), de sorte que rien ne permettait de penser que le risque de réitération serait inférieur dans ce pays. Le recourant se méprend ainsi lorsqu'il prétend qu'aucune activité professionnelle ne peut être exigée de lui compte tenu de son invalidité alors que tel n'est pas le cas, l'analyse de la cour cantonale se limitant à relever que le défaut de toute activité occupationnelle constitue un facteur supplémentaire négatif dans l'appréciation du pronostic. Sa critique est inapte à contredire l'appréciation cantonale.
3.5. En définitive, la cour cantonale s'est fondée sur des critères pertinents pour fonder sa décision aboutissant à un pronostic défavorable à l'encontre du recourant. Elle a tenu compte, outre du déni massif de ses actes de violence et de son absence totale de prise de conscience de leur gravité, du risque de récidive de celui-ci, qualifié de moyen, notamment en matière de violence sexuelle. Le recourant échoue à démontrer un abus de pouvoir d'appréciation de la cour cantonale.
4.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais, dont le montant sera toutefois fixé en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 13 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Boëton