Faits :
A.
A._ exécute depuis le 29 mars 2017 une peine privative de liberté de 4 ans infligée par le Tribunal correctionnel de l'arrondissement de Lausanne le 23 mars 2017, jugement confirmé par la Cour d'appel pénale le 15 août 2017, pour violation de l'obligation de tenir une comptabilité, injure, menaces qualifiées, contrainte, viol, actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et infraction à la loi fédérale sur les étrangers. Il lui était notamment reproché d'avoir à de multiples reprises insulté et menacé son épouse, de lui avoir imposé régulièrement des actes d'ordre sexuel non consentis, la gravité des infractions ayant atteint son apogée lorsqu'il avait profité que sa femme soit sous l'emprise d'un somnifère pour abuser sexuellement d'elle, ceci alors que le fils aîné du couple, alors âgé de huit ans au moment des faits, se trouvait dans la même pièce, éveillé. Lorsque sa victime avait porté plainte, il l'avait physiquement contrainte à se rendre au poste de police pour la retirer; il l'avait également menacée de mort et de représailles.
A._ a intégré la colonie fermée au sein des Etablissements B._ le 6 décembre 2018. Il a atteint les deux tiers de sa peine le 22 novembre 2019 et la fin de celle-ci est fixée au 23 mars 2021.
Par ordonnance du 22 novembre 2019, le Juge d'application des peines a refusé la libération conditionnelle à A._.
B.
Par arrêt du 10 décembre 2019, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._ contre l'ordonnance du 22 novembre 2019 et a confirmé celle-ci. Il en ressort ce qui suit.
B.a. La Direction des Etablissements B._ a rendu un rapport relatif à la libération conditionnelle de l'intéressé le 13 août 2019. Elle a préavisé défavorablement à la libération conditionnelle de A._ malgré son comportement en détention exempt de reproches, ses bonnes prestations au travail, son réseau socio-familial vraisemblablement soutenant, son abstinence aux substances prohibées telle que constatée lors de chaque contrôle et son acceptation d'être renvoyé de Suisse. Elle a constaté que les actes commis par le condamné s'inscrivaient dans le cadre d'une importante "multirécidive polymorphe", qu'il avait toujours fait fi des décisions administratives et judiciaires d'expulsion et d'interdiction d'entrée en Suisse, y compris lors des renvois qui avaient été réalisés par la contrainte, revenant systématiquement s'installer dans le pays. Les différentes sanctions pénales prononcées à son encontre ne semblaient pas avoir de réel effet dissuasif, il n'avait aucun projet concret et réaliste élaboré en vue d'une réinsertion socioprofessionnelle, il ne reconnaissait absolument pas les infractions commises et était dès lors incapable de se remettre en question relativement à son fonctionnement et à ses actes. Il ne souhaitait par ailleurs ni rembourser les frais de justice, ni les indemnités dues aux victimes.
B.b. Le 20 août 2019, l'Unité d'évaluation criminologique du Service pénitentiaire a rendu un rapport concernant A._. Il en ressort notamment que le recourant nie la totalité des accusations d'injures, de menaces, de contrainte et les infractions à caractère sexuel au préjudice de son ex-épouse et que, selon lui, il s'agit de mensonges inventés par cette dernière ainsi que d'un complot orchestré par la justice vaudoise. Le discours de l'intéressé durant son procès en 2017 révélait une hostilité envers les femmes. Le risque de récidive "générale et violente" pouvait être qualifié de moyen (partie supérieure du score) en raison des antécédents, de la situation familiale et des attitudes procriminelles de l'intéressé. Le risque de récidive sexuelle se situait au niveau de risque "au-dessus de la moyenne". Un passage à l'acte violent envers l'ex-épouse ne pouvait pas être exclu au vu de la haine qu'il semblait nourrir à son encontre et, si l'intéressé se remettait en couple, une attitude violente et coercitive envers sa future compagne pouvait être attendue au vu de son passé, de son caractère égocentré et du discours misogyne qu'il avait tenu durant son procès et au cours de l'évaluation. Quant au niveau des facteurs de protection, il pouvait être qualifié de moyen: si le travail en atelier apportait une structuration du temps et une certaine stabilité à A._ en détention, le niveau des facteurs de protection était étroitement lié au contexte carcéral, mais il pouvait être considéré comme faible dans la perspective d'une sortie.
B.c. Le 30 septembre 2019, l'Office d'exécution des peines (ci-après: OEP) a saisi le Juge d'application des peines d'une proposition de refus de la libération conditionnelle de A._. Cette autorité a relevé que les actes à l'origine de sa condamnation étaient graves, le tribunal ayant exposé que le prévenu n'avait pas hésité à s'en prendre à la mère de ses deux enfants en se comportant durant de nombreuses années comme un tyran domestique, qu'il avait agi par pur égoïsme et pour assouvir ses pulsions les plus basses, sans respect aucun pour le libre arbitre de sa partenaire, que son mobile était vil, qu'il avait agi sans scrupules et sans considération aucune pour ses proches, se croyant au-dessus des lois et démontrant qu'il n'entendait pas les respecter. Il demeurait dans le déni de ses actes, dénotant une absence d'empathie envers sa victime et il entretenait une vision négative de la gent féminine. L'OEP a également rappelé les antécédents du condamné, l'aggravation des infractions commises, l'absence d'effet des condamnations prononcées sur son comportement ainsi que le nombre conséquent de renvois rapidement suivis de retours en Suisse. Se fondant sur le rapport d'évaluation criminologique du 20 août 2019, il a indiqué qu'il y avait lieu de tenir compte du risque, en particulier d'infractions à caractère sexuel, que la libération du prévenu représentait pour la collectivité publique, risque dont le pronostic apparaissait aussi défavorable en cas de libération conditionnelle qu'en cas d'achèvement de la peine. Le maintien en détention permettrait dès lors à l'intéressé de définir un projet d'avenir en lien avec son statut administratif.
B.d. A._ a été entendu par le Juge d'application des peines le 8 novembre 2019. En substance, il a persisté à nier encore une fois toutes violences commises à l'encontre de son ex-épouse ou encore d'avoir commis des vols.
B.e. Le 13 novembre 2019, le Ministère public de l'arrondissement de La Côte a préavisé défavorablement à la libération conditionnelle de A._, en se référant aux motifs développés par l'OEP.
B.f. En plus de la sanction exécutée actuellement, A._ a été condamné à cinq reprises entre 1995 et 2016 à des peines d'emprisonnement, peines pécuniaires et amende. Sa condamnation la plus grave a été prononcée le 18 avril 1995 par la Cour de cassation pénale de Lausanne, qui l'a reconnu coupable de crime contre la loi fédérale sur les stupéfiants, faux dans les certificats et délit contre l'ordonnance sur l'acquisition et le port d'armes à feu par des ressortissants yougoslaves et l'a condamné à six ans de réclusion et expulsion du territoire suisse pendant quinze ans.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 10 décembre 2019, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que sa libération conditionnelle est immédiatement ordonnée et qu'il est constaté que sa détention a contrevenu à l'<ref-law> du 7 décembre 2018 au 26 septembre 2019, subsidiairement, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant discute le refus de sa libération conditionnelle.
Aux termes de l'<ref-law>, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits. La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais seulement qu'il ne soit pas à craindre qu'il commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 p. 203). Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les références citées). Par sa nature même, le pronostic ne saurait être tout à fait sûr; force est de se contenter d'une certaine probabilité; un risque de récidive est inhérent à toute libération, conditionnelle ou définitive (<ref-ruling> consid. 1b p. 7). Pour déterminer si l'on peut courir le risque de récidive, il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise, mais également l'importance du bien qui serait alors menacé. Afin de procéder à un pronostic différentiel, il sied de comparer les avantages et désavantages de l'exécution de la peine avec la libération conditionnelle (<ref-ruling> consid. 4a et consid. 5b/bb in JdT 2000 IV 162; arrêts 6B_686/2019 du 17 juillet 2019 consid.1.1; 6B_353/2019 du 25 avril 2019 consid. 1.2.1). Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie de règles de conduite et d'un patronage, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (<ref-ruling> consid. 4d/aa/bb p. 198 ss). Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation, de sorte que le Tribunal fédéral n'intervient que si elle l'a excédé ou en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204; arrêts 6B_1200/2019 du 19 novembre 2019 consid. 2.1; 6B_686/2019 du 17 juillet 2019 consid. 1.1).
2.
Le recourant invoque une violation de l'<ref-law> au motif que son plan d'exécution de la sanction (ci-après: PES) a été avalisé tardivement, soit seulement deux mois avant sa possible libération conditionnelle et seize mois après sa condamnation définitive. L'<ref-law> ne devait pas être considéré comme une simple prescription d'ordre. Le pronostic défavorable posé dans le cadre de l'examen de la libération conditionnelle apparaissait comme la conséquence de l'absence de PES, le recourant ayant été ainsi privé de la possibilité de réaliser les objectifs de l'incarcération. Aussi le refus d'accorder la libération conditionnelle sur la base de conditions qu'il aurait pu remplir si les seize mois d'attente d'un PES avaient pu être consacrés à suivre ledit PES violait-il le principe de la bonne foi consacré à l'art. 5 al. 3 Cst.
2.1. Aux termes de l'<ref-law>, le règlement de l'établissement prévoit qu'un plan d'exécution est établi avec le détenu. Le plan porte notamment sur l'assistance offerte, sur la possibilité de travailler et d'acquérir une formation ou un perfectionnement, sur la réparation du dommage, sur les relations avec le monde extérieur et sur la préparation de la libération.
En l'espèce, un PES été avalisé par l'OEP le 26 septembre 2019. Il en ressort que l'intéressé est invité à maintenir le bon comportement adopté depuis son arrivée aux Etablissements B._, ainsi qu'une abstinence durable aux produits stupéfiants et à l'alcool. Il était attendu de lui qu'il s'acquitte de ses indemnités-victime et de ses frais de justice et qu'il élabore concrètement un projet socio-professionnel cohérent et légal, en adéquation avec sa situation administrative, et ce en collaboration avec les intervenants professionnels concernés par sa prise en charge. Il était en outre invité à maintenir des contacts avec sa famille, à s'investir davantage dans les activités proposées en détention, afin de maintenir un certain équilibre, et à entamer une réflexion personnelle quant à son mode de vie et à son fonctionnement personnel, spécifiquement à travailler sur son rapport aux femmes.
2.2. Il y a lieu de suivre la cour cantonale lorsqu'elle retient l'absence d'intérêt du recourant à la constatation immédiate de la prétendue violation qu'il invoque. Comme elle l'a relevé, le recourant ne se prévaut pas d'une violation de la CEDH et d'un droit à un recours effectif fondé sur l'art. 13 de cette convention. Le recourant n'indique pas non plus avoir subi un préjudice dont il demanderait réparation, puisqu'il conclut uniquement à ce qu'il soit constaté que sa détention a contrevenu à l'<ref-law> du 7 décembre 2018 au 26 septembre 2019. Selon lui, son intérêt découle du lien de causalité entre la violation alléguée et le pronostic défavorable retenu par la cour cantonale. Or l'examen d'une demande de libération conditionnelle se fonde exclusivement sur les conditions de l'<ref-law>. La question de savoir si le plan d'exécution de la sanction prévu par l'<ref-law> a été élaboré dans les délais ou non n'est pas préjudicielle à celle de savoir si les exigences de l'<ref-law> sont remplies. A juste titre, le recourant ne réclame pas que sa libération conditionnelle soit ordonnée au motif que son PES a été avalisé tardivement.
Au demeurant, dans la détermination du pronostic, la cour cantonale s'est fondée sur une évaluation globale de la situation présente et passée. Les antécédents, les infractions graves commises encore récemment à de multiples reprises et l'absence totale de prise de conscience ont joué un rôle important dans son appréciation (consid. 3.1 infra). La cour cantonale a constaté que la mise en place d'un PES plus tôt n'y aurait de toute évidence rien changé, sans que le recourant n'expose concrètement le contraire. L'autorité précédente a également retenu que les objectifs fixés dans le PES étaient quelque peu accessoires, hormis en ce qui concernait la question de l'amendement, encore totalement absent chez le recourant à ce jour. Ainsi, compte tenu des éléments qui ont conduit au refus de la libération conditionnelle du recourant ainsi que du contenu du PES qui a finalement été avalisé, il n'apparaît pas, de toute façon, que l'établissement de ce plan dans de meilleurs délais aurait permis une appréciation différente du pronostic.
En définitive, même à supposer que l'Etat aurait tardé à mettre en place un plan d'exécution de la sanction, le recourant ne justifie pas de son intérêt à la constatation d'une violation de l'<ref-law> dans le cadre d'une contestation de la décision de refus de la libération conditionnelle. La cour cantonale pouvait dès lors conclure à l'irrecevabilité de cette conclusion.
3.
Le recourant soutient que dans la mesure où il a été constaté que son maintien en détention ne permettrait de toute façon pas de diminuer le risque de commission éventuelle de nouvelles infractions à l'issue de l'exécution complète de sa peine, il y a lieu d'accorder la libération conditionnelle. La possibilité de sa révocation aurait au moins l'avantage de l'inciter à se conformer à l'ordre juridique, alors qu'un tel incitatif n'existerait pas s'il devait exécuter la peine jusqu'à son terme.
3.1. La cour cantonale a retenu que le recourant avait purgé les deux tiers de sa peine et a confirmé que le comportement que celui-ci avait adopté depuis le début de l'exécution de la peine ne s'opposait pas à la libération conditionnelle. Dès lors, seul restait litigieux le pronostic relatif à son comportement futur. Or, selon l'évaluation criminologique, le risque de récidive générale et violente pouvait être qualifié de moyen "partie supérieure du score" en raison des antécédents, de la situation familiale et des attitudes procriminelles de l'intéressé. Ce risque était donc à la limite d'être élevé. De surcroît, le risque de récidive sexuelle se situait au niveau de risque "au-dessus de la moyenne", un passage à l'acte violent envers l'ex-épouse ne pouvant pas être exclu et, si l'intéressé se remettait en couple, une attitude violente et coercitive envers une future compagne pouvant être attendue au vu du passé du recourant, de son caractère égocentré et du discours misogyne qu'il a tenu durant son procès, mais également, plus récemment, au cours de l'évaluation. Quant au niveau des facteurs de protection, il était seulement qualifié de moyen en milieu carcéral, mais pouvait être considéré comme faible dans la perspective d'une sortie. Au vu des antécédents de l'intéressé et de la gravité des actes commis par ce dernier à de multiples reprises dans un passé encore récent, la cour cantonale constatait que son activité délictueuse était allée en s'accroissant. Elle en a conclu, avec tous les intervenants, que le besoin de protection de la société était prépondérant, quand bien même le recourant se comportait bien en détention. Le risque qu'il commette à nouveau des infractions était le même, que la libération conditionnelle lui soit accordée ou qu'il purge sa peine jusqu'à son terme. Le fait qu'il dise vouloir coopérer à son renvoi et travailler au Kosovo n'y changeait rien, surtout en ce qui concerne les infractions contre l'intégrité sexuelle. Il ne pouvait pas non plus être exclu qu'il revienne en Suisse pour y séjourner et y travailler illégalement, dès lors que sa famille et ses enfants y résidaient. Ses projets de réinsertion au Kosovo n'apparaissaient du reste pas suffisamment concrets en l'état. Sous l'angle du pronostic différentiel, la cour cantonale a donc retenu que le maintien en détention du recourant ne le priverait pas d'un moyen qui aurait permis de réduire durablement le risque de récidive. En d'autres termes, il n'y avait aucun avantage à accorder la libération conditionnelle à ce dernier, tandis que sa mise en liberté immédiate présenterait un risque inadmissible pour la société, et ce d'autant plus s'agissant d'un auteur dont la prise de conscience et l'amendement étaient totalement inexistants. L'autorité précédente d'en conclure que le pronostic était négatif, de sorte qu'il y avait lieu de refuser la libération conditionnelle au recourant.
3.2. Le raisonnement de la cour cantonale ne prête pas le flanc à la critique. En particulier, le recourant méconnaît que même lorsque, comme en l'espèce, il ne faut pas s'attendre à ce que le pronostic s'améliore de manière significative d'ici au terme de l'exécution de la peine, la priorité peut être accordée à l'intérêt de la sécurité publique au vu de la probabilité de la commission de nouvelles infractions et de l'importance des biens juridiques menacés (cf. arrêts 6B_353/2019 précité consid. 1.5; 6B_32/2019 du 28 février 2019 consid. 2.10; 6B_208/2018 du 6 avril 2018 consid. 1.3). Le recourant ne remet du reste pas en cause le pronostic différentiel doublement défavorable retenu par la cour cantonale. Aussi, compte tenu des biens juridiques en jeu, soit l'intégrité physique, psychique et sexuelle d'autrui, ainsi que du risque de récidive découlant de l'absence de prise de conscience, la cour cantonale n'a pas violé le droit fédéral en refusant d'accorder au recourant sa libération conditionnelle. Le grief doit ainsi être rejeté.
4.
Le recours doit être rejeté. Comme il était dépourvu de chance de succès, l'assistance judiciaire doit être refusée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires. Ceux-ci seront fixés en tenant compte de sa situation financière, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 31 mars 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy