Faits:
A.
Par jugement du 23 février 2010, rendu à la suite de la demande de relief de X._, le Tribunal correctionnel d'arrondissement de l'Est vaudois a condamné le prénommé à une peine privative de liberté de sept ans, sous déduction de la détention subie avant jugement, pour viol, contrainte sexuelle et actes d'ordre sexuel avec un enfant.
Le 19 août 2013, X._ avait subi les deux tiers de sa peine.
B.
Par arrêt du 24 juillet 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 9 juillet 2013 prononcé par le Collège des juges d'application des peines du canton de Vaud qui a refusé de le libérer conditionnellement.
C.
X._ forme un recours en matière pénale contre l'arrêt du 24 juillet 2013 dont il demande la réforme en ce sens que la libération conditionnelle lui soit accordée. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire.

Considérant en droit:
1.
Le recours en matière pénale est ouvert contre les décisions relatives à l'exécution de peines et de mesures (art. 78 al. 2 let. b LTF).
2.
Le recourant invoque la violation de l'art. 86 al. 1 CP ainsi que l'arbitraire dans l'appréciation des preuves et la violation de la présomption d'innocence.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si les faits ont été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire (cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, voir <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 7 p. 82). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 4.2 p. 560). Au stade de l'appréciation des preuves, le grief d'arbitraire se confond avec celui déduit de la violation du principe in dubio pro reo (ATF <ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2A p. 88). L'invocation de ce moyen ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356 et les références citées).
2.2. Aux termes de l'art. 86 al. 1 CP, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
Cette disposition renforce le principe selon lequel la libération conditionnelle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais seulement qu'il ne soit pas à craindre qu'il ne commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire, pour l'octroi de la libération conditionnelle, qu'un pronostic favorable puisse être posé; il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203). Pour le surplus, la jurisprudence relative à l'art. 38 ch. 1 aCP demeure valable. En particulier, le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement (en général et dans le cadre des délits qui sont à l'origine de sa condamnation) et, surtout, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les arrêts cités). Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie d'une assistance de probation et de règles de conduite, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (<ref-ruling> consid. 4d/aa/bb p. 198 ss). Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
En l'espèce, le recourant a subi les deux tiers de sa peine et son comportement en détention est globalement satisfaisant. Les deux premières conditions de la libération conditionnelle sont donc réalisées. Reste seul litigieux le pronostic relatif à son comportement futur.
3.
La Chambre des recours pénale a retenu que le pronostic était résolument défavorable. Outre l'extrême gravité des infractions à l'origine de la condamnation du recourant, ce dernier comptait des antécédents judiciaires pour menaces, violence ou menace contre les autorités et les fonctionnaires, violation grave des règles de la circulation routière et utilisation abusive d'une installation de télécommunication. Elle a relevé chez le recourant une absence totale d'amendement et de prise de conscience de la gravité de ses agissements. L'évaluation criminologique contenue dans le plan d'exécution de la sanction établie au mois de janvier 2011 exposait que le recourant minimisait la gravité de ses actes et en reportait la responsabilité sur ses problèmes conjugaux, sa période de chômage, sa consommation d'alcool et de stupéfiants, ainsi que sur sa victime. Il ressortait des divers rapports, avis et autres évaluations que, par son attitude, le recourant qui souffrait d'un trouble psychiatrique, diagnostiqué par expertise dans le cadre de la procédure de jugement, avait clairement choisi de ne pas suivre de traitement psychiatrique. A cela s'ajoutait que le recourant n'avait fait preuve d'aucune remise en question ou réflexion quant à ses crimes. Ses déclarations selon lesquelles il reconnaissait ses actes et les regrettait, formulées lors de son audition devant la Présidente du collège des juges d'application des peines chargé de statuer sur sa libération conditionnelle, n'apparaissaient pas crédibles.
L'autorité cantonale a également relevé le risque de récidive d'infractions d'ordre sexuel qui résultait du rapport des experts psychiatres du 3 janvier 2005 qui l'avaient qualifié d'élevé. Cette appréciation avait été confirmée par l'évaluation criminologique contenue dans le plan d'exécution de la sanction (PES) établi par la Direction des établissements de la plaine de l'Orbe (EPO) de janvier 2011. En outre, il y avait lieu de rappeler que le recourant était renvoyé en jugement au Portugal pour des actes d'ordre sexuel qui se seraient produits au mois de juin 2007, soit postérieurement à ceux pour lesquels il purgeait sa peine. Quand bien même le recourant contestait la majorité des infractions qui lui étaient reprochées, son renvoi en jugement accréditait d'autant plus le risque de réitération.
En conséquence, seul un pronostic défavorable pouvait être posé, aucun élément ne permettant de considérer que la libération conditionnelle favoriserait mieux la resocialisation du recourant que l'exécution complète de la peine.
3.1. Le recourant soutient que son amendement est sincère et qu'il a pris conscience de la gravité de ses actes.
3.1.1. Il reproche à l'autorité cantonale d'avoir arbitrairement omis de tenir compte d'un extrait du rapport relatif à la libération conditionnelle du Service pénitentiaire du 12 mars 2013 selon lequel « il avait su démontrer des capacités d'ouverture qui n'étaient que peu soupçonnées au préalable ». Cette appréciation démontre que son changement et son évolution par rapport à ses actes étaient même antérieurs aux regrets exprimés lors de l'audience de jugement.
Par sa critique, le recourant se borne à opposer de manière appellatoire, et partant irrecevable (art. 106 al. 2 LTF), sa propre appréciation à celle de l'autorité cantonale. L'extrait du rapport qu'il cite n'est pas propre à contredire les constatations cantonales sur son absence de prise de conscience et d'amendement. Ces constatations sont fondées notamment sur l'évaluation criminologique de janvier 2011 dont le recourant ne discute pas l'exactitude de son contenu et qui lie la cour de céans (art. 105 al. 1 LTF). Or il ressort très clairement de cette évaluation que le recourant cherche à expliquer par des facteurs externes la responsabilité de ses actes (crise de couple, absence d'emploi, consommation d'alcool et de stupéfiants), voire même reporte très subtilement sur sa victime une part de responsabilité (lorsqu'il évoque une mauvaise interprétation des besoins de sa victime ou affirme qu'il aurait dû savoir lui dire non ou encore ajoute qu'il ne lui en veut pas). L'évaluation mentionne en outre les difficultés du recourant à se remettre en question ainsi que ses difficultés d'empathie. Elle relève qu'il adopte un discours plaqué à ce qu'il estime être les bonnes réponses. La Chambre des recours pénale pouvait sans arbitraire considérer cette évaluation comme déterminante pour apprécier l'absence de regrets et d'amendement et considérer en conséquence que les regrets formulés à l'audience n'étaient pas crédibles.
3.1.2. Le recourant conteste avoir fait le choix de ne pas suivre de traitement psychiatrique. Il soutient que la Chambre des recours a arbitrairement considéré que ses déclarations n'étaient pas crédibles lorsqu'il expliquait que c'était à cause du psychiatre qui lui avait déclaré qu'il « n'aimait pas les gens comme lui » qu'il avait cessé son traitement, mais qu'il était prêt à suivre une thérapie avec une autre personne. L'absence de soutien thérapeutique relevait de la carence dans le suivi des autorités.
A nouveau, le recourant ne fait qu'opposer ses propres déclarations à l'appréciation des preuves effectuée par l'autorité cantonale. Il ne conteste cependant pas avoir besoin d'un soutien psychiatrique au vu de l'expertise qui a posé un diagnostic de trouble mixte de la personnalité dont l'influence se traduit dans la sphère relationnelle par une sexualité omniprésente et par une difficulté à s'inscrire dans des relations stables. L'allégation relative aux prétendus propos tenus par le psychiatre n'a pas été établie, il n'était donc pas arbitraire de ne pas la tenir pour crédible. En revanche, il ressort de l'établissement des faits (art. 105 al. 1 LTF) que c'est le recourant qui a interrompu son traitement ensuite d'une « prise de bec » avec son thérapeute en juillet 2011. L'évaluation criminologique de janvier 2011 relève que le recourant n'est nullement conscient de ses fragilités. Le bilan établi en mai 2012 par la direction des EPO explique également que le recourant n'éprouve aucun manquement quant à l'absence d'une thérapie, puisqu'il estime ne pas en avoir besoin. C'est ainsi sans arbitraire que l'autorité cantonale a retenu que le recourant refusait toute thérapie.
3.1.3. Le recourant ne saurait prendre au pied de la lettre le passage de la motivation cantonale qui évoque qu'elle « doute ainsi réellement de la sincérité des propos du recourant » pour en conclure que l'autorité cantonale a violé la présomption d'innocence et qu'elle aurait dû le faire profiter de ce doute sur son amendement et sa prise de conscience. La citation évoquée par le recourant est incomplète. La Chambre des recours dit ensuite que les propos du recourant « s ont plaqués et formatés pro domo et ne sont pas crédibles » Il en résulte qu'elle les a clairement écartés.
3.1.4. Sur la base d'une appréciation non arbitraire des preuves administrées, la Chambre des recours pénale pouvait conclure ainsi au défaut d'amendement du recourant et de prise de conscience de la gravité des infractions commises.
3.2. Le recourant conteste tout risque de récidive. Il invoque une violation de la présomption d'innocence en tant que l'autorité cantonale s'est fondée sur la procédure ouverte à son encontre au Portugal pour des infractions d'ordre sexuel sur une jeune fille sourde-muette, actes qu'il conteste avoir commis.
3.2.1. La présomption d'innocence n'interdit pas seulement à l'autorité de prononcer un verdict de condamnation lorsque la culpabilité de l'accusé ne repose pas sur une appréciation objective des preuves recueillies. Elle est aussi méconnue, lorsque sans établissement préalable de la culpabilité du prévenu et, notamment, sans que ce dernier ait eu l'occasion d'exercer ses droits de défense, une décision judiciaire le concernant reflète le sentiment qu'il est coupable, en l'absence d'un constat formel (<ref-ruling> consid. 3b p. 331). Dans son appréciation, l'autorité chargée d'examiner la libération conditionnelle peut sans doute se fonder sur des faits qui font l'objet d'une instruction, lorsque ceux-ci sont admis ou constants, mais doit user à cet égard d'une précaution particulière. Elle ne saurait notamment refuser la libération conditionnelle au motif qu'elle tient le condamné pour coupable d'infractions qui n'ont pas fait l'objet d'une condamnation pénale (6B_451/2012 du 29 octobre 2012 consid. 2.1).
3.2.2. L'autorité cantonale a mentionné que le recourant contestait la majorité des infractions qui motivaient son renvoi en jugement devant les Juridictions Criminelles de Lisbonne et il ne ressort pas des faits établis que ces infractions ont effectivement été commises. En prenant néanmoins en considération le renvoi en jugement de l'intéressé pour « a ccréditer » le risque de réitération, la cour cantonale a violé le principe de la présomption d'innocence en donnant le sentiment qu'elle le considérait néanmoins coupable de ces infractions. Le risque de réitération ne pouvait être fondé sur ce motif. La critique doit être admise sur ce point.
Ce constat ne suffit cependant pas à conclure à l'absence de risque de récidive, la mention de cette procédure n'ayant pas été un facteur déterminant dans l'évaluation du pronostic qui repose sur les autres éléments cités par la cour cantonale, en particulier l'expertise de 2005 ainsi que l'évaluation criminologique de janvier 2011.
3.3. Le recourant fait aussi valoir que l'expertise de janvier 2005 et l'évaluation criminologique de janvier 2011 mentionnées ne sont plus d'actualité pour être prises en considération dans l'évaluation de sa dangerosité.
3.3.1. Selon la jurisprudence constante, le juge peut se fonder sur une expertise qui figure déjà au dossier si celle-ci est encore suffisamment actuelle. Dans ce contexte, il y a lieu de respecter le principe de la proportionnalité. L'élément déterminant n'est pas le temps qui s'est écoulé depuis le moment où l'expertise a été établie, mais plutôt l'évolution qui s'est produite dans l'intervalle. Il est parfaitement concevable de se fonder sur une expertise relativement ancienne si la situation ne s'est pas modifiée entre-temps. Suivant les circonstances, il est également possible de se contenter d'un complément apporté à une expertise précédente (<ref-ruling> consid. 4.3 p. 254; <ref-ruling> consid. 3.4 p. 247 s.).
3.3.2. À cet égard, le recourant ne saurait soutenir que l'expertise, qui atteste un risque de récidive élevé, est trop ancienne pour être prise en considération, dès lors que ce risque a été réévalué et confirmé dans l'évaluation criminologique de janvier 2011 laquelle énonce très clairement que l'intéressé présente passablement de facteurs de risque en lien avec une récidive sexuelle. Aucun autre élément ne vient infirmer ce constat qui demeure ainsi d'actualité, ce d'autant que le recourant n'a pas suivi de traitement psychiatrique de nature à atténuer ce risque. Lorsque le recourant se prévaut de sa récente évolution, il procède par pure affirmation, et par conséquent, de manière appellatoire et irrecevable (art. 106 al. 2 LTF). Enfin, le recourant n'expose pas en quoi le fait de retourner vivre au Portugal amoindrirait le risque de récidive. Le risque de réitération est ainsi avéré.
3.4. Par ailleurs, il n'apparaît pas que la libération conditionnelle immédiate, éventuellement assortie d'une assistance de probation et de règles de conduite, favoriserait mieux la resocialisation du recourant que l'exécution complète de la peine: la mise en place d'un patronage ne ferait guère de sens dès lors qu'il est sous le coup d'une décision de renvoi (décision du 3 mai 2012 du Service de la population) dès sa sortie de prison et déclare lui-même vouloir aller vivre à l'étranger. Contrairement à ce que soutient le recourant, la cour cantonale pouvait ainsi sans arbitraire écarter le préavis de la direction des EPO selon lequel le solde de la peine à subir était susceptible d'exercer un certain effet préventif.
3.5. En conséquence, compte tenu de l'absence d'amendement, de prise de conscience, d'un risque de récidive élevé et d'un trouble psychiatrique non traité auquel s'ajoute la grande importance du bien menacé en cas de récidive, la cour cantonale n'a pas violé l'art. 86 al. 1 CP en posant un pronostic défavorable.
4.
Le recourant requiert l'assistance judiciaire. Bien qu'il soit rejeté, le recours n'apparaissait pas d'emblée voué à l'échec sur un des points soulevés (consid. 3.2.2). Il convient dès lors de mettre le recourant au bénéfice de l'assistance judiciaire dès lors que sa situation économique le justifie (art. 64 al. 1 LTF), de désigner Me Alain Dubuis comme avocat d'office et d'allouer à celui-ci une indemnité à titre d'honoraires, qui seront supportés par la caisse du Tribunal fédéral (art. 64 al. 2 LTF). Il est statué sans frais (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est admise et Me Alain Dubuis est désigné comme avocat d'office du recourant.
3.
La caisse du Tribunal fédéral versera 3000 fr. au mandataire du recourant à titre d'honoraires.
4.
Il n'est pas prélevé de frais judiciaires.
5.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 5 novembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Boëton