Faits :
A.
Par jugement du 3 juin 2010, confirmé par arrêt de la Cour de cassation pénale du Tribunal cantonal vaudois du 6 août 2010, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour lésions corporelles simples, dommage à la propriété, injure, menaces, contrainte sexuelle et viol à une peine privative de liberté d'ensemble de quatre ans et demi, comprenant sa réintégration pour un mois et 29 jours issus d'un solde de peine de libération conditionnelle, a révoqué le sursis accordé le 28 septembre 2007 par la Cour de cassation pénale et a ordonné l'exécution de la peine d'un an de privation de liberté.
Le 27 mai 2014, X._ avait purgé les deux tiers de ses peines.
B.
Par arrêt du 30 juin 2014 la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre l'ordonnance du 26 mai 2014, prononcée par le Juge d'application des peines du canton de Vaud, qui a refusé de lui accorder la libération conditionnelle. En bref, elle a motivé son refus au vu du déni total du recourant par rapport à ses crimes sexuels, du défaut d'amendement, du risque de récidive qualifié de moyen en matière de violence sexuelle et d'absence de projets concrets pour l'avenir.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 30 juin 2014 dont il demande la réforme en ce sens que la libération conditionnelle lui soit accordée avec effet immédiat. Subsidiairement, il requiert sa mise en liberté à compter du moment où son renvoi dans son pays d'origine sera exécuté et que le délai d'épreuve soit fixé à la durée équivalente au solde de la peine. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recours en matière pénale est ouvert contre les décisions relatives à l'exécution de peines et de mesures (<ref-law>).
2.
Le recourant invoque la violation de l'<ref-law> ainsi que l'arbitraire dans l'appréciation des preuves. Il considère que l'autorité cantonale s'est écartée sans motifs valables des préavis favorables de la Commission Interdisciplinaire Consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après: CIC), de l'Office d'exécution des peines (ci-après: OEP), de la Direction de l'établissement pénitentiaire A._ et du Ministère public pour lui refuser la libération.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si les faits ont été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire (cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, voir notamment <ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 6.1 p. 379 s.). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 4.2 p. 560). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire, détaillée (<ref-ruling> consid. 1.4 p. 287) et circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356 et les références citées).
Il ne sera pas entré en matière sur les critiques du recourant relatives à la suppression par l'OEP de congés, décisions qui ne sont pas l'objet de la procédure.
2.2. Aux termes de l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
Cette disposition renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception. Il est ainsi exigé, non plus qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais uniquement qu'il ne soit pas à craindre qu'il ne commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203).
Pour le surplus, la jurisprudence relative à l'art. 38 ch. 1 aCP demeure valable. En particulier, le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement (en général et dans le cadre des délits qui sont à l'origine de sa condamnation) et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les arrêts cités). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive, il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 115 s.; <ref-ruling> consid. 3 p. 195 et les arrêts cités). Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie d'une assistance de probation et de règles de conduite, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (ATF <ref-ruling> consid. 4d/aa/bb p. 198 ss). Il ne suffit pas que le comportement du condamné pendant sa détention ne s'oppose pas à son élargissement. On peut même se demander si le comportement pendant l'exécution constitue vraiment un critère de décision indépendant ou s'il n'est pas, selon les circonstances, un simple élément supplémentaire d'appréciation pour établir le pronostic (<ref-ruling> consid. 1a p. 7; arrêt 6B_915/2013 du 18 novembre 2013 consid. 4.1).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
2.3. En l'espèce, le recourant a subi les deux tiers de sa peine et son comportement en détention est qualifié de bon. Les deux premières conditions de la libération conditionnelle sont donc réalisées. Reste seul litigieux le pronostic relatif à son comportement futur.
2.4. Sur cette question, la cour cantonale a retenu que le recourant, âgé de 32 ans, était un multirécidiviste qui avait manifesté une nette progression dans la perpétration de ses infractions jusqu'à sa condamnation du 3 juin 2010. Il avait en effet été condamné à trois reprises entre 1997 et 2002 pour vol, extorsion, homicide par négligence et lésions corporelles simples en défaveur d'une personne sans défense. En 2005, il avait été condamné à 6 mois d'emprisonnement avec sursis pour complicité de brigandage, complicité d'extorsion et chantage, ivresse au volant et infraction grave à la Loi sur la circulation routière. En 2007, il avait été condamné à deux ans de privation de liberté pour mise en danger de la vie d'autrui et contrainte.
Elle a ensuite relevé que l'intéressé n'avait fait preuve d'aucun amendement ni d'aucune prise de conscience, dès lors qu'il vivait dans un déni massif de ses délits à caractère sexuel et minimisait la gravité des autres actes de violence. Le risque de récidive qu'il présentait en matière de violence sexuelle était concret et les infractions redoutées graves. Ce risque avait été qualifié de moyen à élevé dans le rapport d'expertise du 27 août 2012, respectivement de moyen dans le rapport d'évaluation criminologique de la Direction de l'établissement pénitentiaire A._ du 8 janvier 2014, confirmé par l'avis de la CIC des 20 et 21 janvier 2014.
En outre, si toutes les phases du plan d'exécution des sanctions (ci-après: PES) avaient été subies avec succès, l'évolution du recourant paraissait toutefois dictée par un plan " stratégique " plutôt que par une modification en profondeur des aspects dyssociaux de sa personnalité, comme l'avaient recommandé les experts. Dans son dernier avis, la CIC avait d'ailleurs qualifié la bonne adaptation du comportement, des attitudes et des propos du condamné de " conformisme opportuniste ", ce que tant la Cheffe du secteur d'évaluation criminologique que les évaluateurs du PES avaient confirmé en constatant que l'intéressé avait tendance à ajuster ses dires afin de satisfaire les attentes de ses interlocuteurs et en concluant à un "discours plaqué en ce qui concerne les victimes". Par ailleurs, le recourant avait mis fin de sa propre initiative au suivi thérapeutique qui lui avait été recommandé tant par la CIC que par les experts, niant souffrir de troubles de la personnalité.
Enfin, la cour cantonale a jugé que l'exécution complète de la peine pouvait encore amener une amélioration chez le recourant, en particulier, elle lui permettrait de reprendre la thérapie psychologique recommandée par les experts et encouragée par la CIC.
3.
En substance, le recourant considère que le pronostic défavorable repose sur des critères qu'il estime faux, mal appréciés, surévalués ou non pertinents. Ces critiques seront donc examinées sous l'angle de l'appréciation arbitraire des preuves ou de la violation du droit fédéral selon leur articulation.
3.1.
C'est à tort que le recourant suggère que son bon comportement en détention et l'obtention de ses nombreux congés donneraient automatiquement droit à sa libération conditionnelle. En effet, le premier critère ne suffit pas à l'obtention de la libération conditionnelle (cf. <ref-ruling> consid. 1a p. 7; arrêt 6B_915/2013 du 18 novembre 2013 consid. 4.1). Quant aux congés, ils ne sont pas seuls déterminants pour le pronostic (cf. arrêt 6B_521/2011 du 12 septembre 2011 consid. 2.4). Pour le surplus, la critique du recourant, qui se limite à contester l'appréciation selon laquelle son évolution paraît dictée par un plan stratégique, sans autre démonstration relative à l'appréciation arbitraire des preuves qui ont conduit la cour cantonale à ce constat, en particulier les nombreux avis convergents dans ce sens des différents intervenants, est purement appellatoire, et partant irrecevable.
3.2. Le recourant échoue à démontrer l'arbitraire dans la constatation qu'il avait volontairement interrompu son suivi thérapeutique dès lors qu'il ressort de ses propres déclarations qu'il avait décidé d'arrêter le traitement (PV audience n. 78-81). Le motif pour lequel il a interrompu ce traitement, à savoir un changement de psychologue n'y change rien. Au demeurant, le détenu doit participer activement aux efforts de resocialisation mis en oeuvre et à la préparation de sa libération (<ref-law>). Le travail thérapeutique lors de l'exécution de la peine n'est donc pas une affaire privée, mais une obligation du détenu vis-à-vis de la société (arrêt 6B_842/2013 du 31 mars 2014 consid. 3). L'autorité cantonale était ainsi fondée à retenir la suspension du traitement en défaveur du recourant dans l'établissement du pronostic.
3.3. Les préavis favorables auxquels le recourant se réfère subordonnent la libération du recourant à la condition qu'il quitte le territoire suisse pour retourner dans son pays d'origine, le Pérou, afin d'y réaliser ses projets tant sur le plan professionnel que familial.
Or, sur ces points, la cour cantonale a relevé, en se fondant sur l'expertise psychiatrique du 27 août 2012, que l'aspect de réinsertion sociale par le travail ne paraissait pas devoir être à considérer comme un élément spécifique de grande importance dans le pronostic. Aussi, son départ ne constituait pas un facteur de protection susceptible de contrebalancer le risque de récidive. Le recourant ne discute en réalité pas cette constatation tirée de l'expertise psychiatrique, mais se borne à opposer que le dernier préavis de la CIC de janvier 2014 lui est favorable en exposant les motifs pour lesquels cette commission souscrit à une proposition de reprise des congés s'orientant vers une libération conditionnelle. Or, ce préavis ne contredit nullement l'appréciation cantonale selon laquelle une prise d'emploi ne suffit pas à neutraliser le risque de récidive.
De plus, la cour cantonale a jugé les projets du recourant peu fiables au vu des déclarations de ce dernier, qui avait affirmé qu'il envisageait de rester en Suisse, de se marier et de reprendre sa vie familiale, tout en précisant qu'il était d'accord de retourner dans son pays d'origine s'il devait le faire. Il n'avait par ailleurs entrepris aucune démarche concrète en vue de trouver un travail et un domicile dans son pays d'origine. Si, comme il l'avait indiqué, il était difficile pour lui d'avoir des projets concrets alors qu'il était en détention, on pouvait s'attendre à ce que les membres de sa famille ou sa compagne l'aident dans sa démarche. À cela s'ajoutait que tous les membres de sa famille, y compris sa compagne, vivaient en Suisse. Dans ces conditions, les déclarations selon lesquelles il aurait pu être accueilli par sa famille au Pérou et y trouver du travail apparaissaient peu fiables.
En se limitant à soutenir avoir collaboré avec la police des étrangers et obtenu des papiers d'identité valables pour pouvoir retourner dans son pays, le recourant échoue à démontrer l'arbitraire dans le constat du peu de fiabilité de sa réinsertion au Pérou résultant de l'ensemble des autres constatations cantonales qu'il ne discute pas. Dans une démarche appellatoire, partant irrecevable (<ref-law>), il se contente de critiquer ce raisonnement en affirmant qu'en déclarant souhaiter rester en Suisse, il s'était montré " honnête et pas opportuniste " et qu'il ne serait " pas si facile de revenir illégalement du Pérou ".
En définitive, il ne parvient pas à montrer que le risque de récidive, qualifié de moyen voire élevé, serait contrebalancé par son retour au Pérou. Le grief doit être rejeté autant que recevable.
3.4. C'est à tort que le recourant soutient que la cour cantonale ne pouvait pas formuler son pronostic défavorable en tenant compte notamment de son refus d'admettre des infractions pour lesquelles il avait été condamné. En effet, si la libération conditionnelle n'est pas subordonnée à une reconnaissance des actes ou de l'illicéité des actes ayant conduit à la condamnation, il s'agit toutefois d'un indice qui peut permettre de poser un pronostic sur le comportement futur du condamné en liberté (ATF <ref-ruling> consid. 5b/ee p. 204 s.; arrêt 6B_259/2014 du 5 juin 2014 consid. 2.5). La cour cantonale pouvait ainsi sans violer le droit fédéral prendre en considération ce critère. Pour le surplus, le recourant ne discute pas plus avant sous l'angle de l'arbitraire les constatations cantonales selon lesquelles il vivait dans un déni massif de ses délits à caractère sexuel et qu'il minimisait ses autres actes de violence, ce qui établissait une absence d'amendement et de prise de conscience, comme retenu par l'OEP et le Ministère public dans leurs préavis respectifs. Le grief est infondé.
3.5. En tant que le recourant reproche à l'autorité cantonale d'avoir jugé le risque de récidive " comme pour la libération d'une mesure ", sans autre explication relative à ce critère, il ne satisfait pas aux exigences de motivation prévues à l'<ref-law>. En particulier, il ne discute pas les conclusions convergentes de l'expertise et de l'évaluation criminologique conduite sous la direction de l'établissement pénitentiaire A._ qui retiennent un risque de récidive en matière de violence sexuelle de moyen. Partant, sa critique est irrecevable. Il en va de même lorsqu'il conteste le fait que l'exécution complète de la peine est encore susceptible d'entraîner une amélioration sans discuter la motivation qui a conduit la cour cantonale à émettre cette constatation.
3.6. En conséquence, l'approche de la Chambre des recours, qui s'est livrée à une appréciation globale des chances de réinsertion sociale du recourant en prenant en considération tous les éléments nécessaires et pertinents pour fonder sa décision aboutissant à un pronostic défavorable, ne viole pas le droit fédéral.
4.
Mal fondé, le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut lui être accordée (<ref-law>). Le recourant, qui succombe, devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 décembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge Présidant : Denys
La Greffière : Boëton