Faits :
A.
Par jugement du 1er avril 2016, le Tribunal criminel de l'arrondissement de la Broye et du Nord vaudois a condamné X._, pour brigandage qualifié et violation de domicile, à une peine privative de liberté de 6 ans, sous déduction de 323 jours de détention avant jugement et de 4 jours en compensation du tort moral subi pour sa détention dans des conditions illicites. Ce jugement a été confirmé par la Cour d'appel pénale du Tribunal cantonal vaudois le 20 septembre 2016, puis par le Tribunal fédéral le 15 novembre 2017 (arrêt 6B_1368/2016).
X._ est incarcéré depuis le 23 mai 2015. Après des séjours à la prison A._, à l'Etablissement de détention B._ et celui de C._, il a rejoint, le 20 mars 2019, l'Etablisssement de D._. Il a atteint les deux tiers de sa peine le 10 mai 2019, le terme de celle-ci étant fixé au 10 mai 2021.
B.
Par décision du 11 avril 2019, le Collège des juges d'application des peines a refusé la libération conditionnelle à X._.
Par arrêt du 30 avril 2019, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre cette ordonnance.
La cour cantonale a retenu en substance les faits suivants.
B.a. Outre la condamnation qu'il purge actuellement, le casier judiciaire suisse de X._ mentionne les condamnations suivantes:
- le 14 août 2009, 60 jours-amende pour conduite en état d'incapacité, conduite malgré un retrait de permis et contravention à l'Ordonnance réglant l'admission à la circulation routière;
- le 28 septembre 2012, 90 jours-amende pour complicité de vol, tentative de vol, dommages à la propriété, complicité de dommages à la propriété, violation de domicile et complicité de violation de domicile;
- le 9 janvier 2013, 30 jours-amende pour infraction à la Loi fédérale sur les armes.
B.b. Le 27 juin 2018, l'Office d'exécution des peines a refusé la double demande du condamné d'être transféré dans un autre établissement carcéral ainsi que son transfert en secteur ouvert, au motif que des risques de fuite et/ou de commission de nouvelles infractions ne pouvaient être exclus.
B.c. X._ a été soumis à une évaluation criminologique. Dans leur rapport du 27 septembre 2018, les évaluateurs de l'Unité d'évaluation criminologique du Service pénitentiaire ont notamment relevé que le condamné ne reconnaissait pas les actes pour lesquels il avait été condamné. Ils ont relevé que son acte semblait découler de difficultés financières rencontrées à l'époque des faits. Les évaluateurs ont également observé un manque d'empathie, l'intéressé se qualifiant de victime de la situation, tout comme l'étaient son épouse et ses enfants, privés de sa présence depuis plusieurs années. A titre de facteurs de risque, les évaluateurs ont retenu les antécédents judiciaires de l'intéressé, ainsi que la parenté du condamné, avec laquelle les contacts étaient inexistants. Quant aux facteurs de protection, ils ont mis en avant le bon comportement du condamné en détention, ses valeurs prosociales, son éducation et son parcours professionnel, sa famille, ses amis, son abstinence à l'alcool et ses loisirs. Ainsi, pour les évaluateurs, X._ rencontrait un risque de récidive générale et violente pouvant être qualifié de moyen, tandis que le niveau des facteurs de protection pouvait être qualifié de moyen à élevé.
B.d. Par courrier du 14 novembre 2018, l'Office des migrations de la Ville de U._ a indiqué que le permis de séjour de X._ avait été révoqué, que son renvoi avait été prononcé le 21 septembre 2018, et que l'intéressé avait recouru contre cette décision.
B.e. Dans son rapport du 27 novembre 2018, la Direction de l'Etablissement de B._ a indiqué que X._ ne posait pas de problème particulier et était bien intégré à la vie de l'établissement dont il respectait le règlement. Son travail à l'atelier cuisine a même été qualifié de très bon. De plus, elle a souligné que l'intéressé n'avait fait l'objet d'aucune sanction disciplinaire et que ses analyses toxicologiques s'étaient toutes révélées négatives aux substances illicites. Par ailleurs, elle a indiqué que X._ vivait très durement sa condamnation, qu'il considérait comme une erreur judiciaire.
B.f. Dans sa saisine du 26 décembre 2018, l'Office d'exécution des peines a proposé de refuser la libération conditionnelle à X._. Il a souligné les antécédents du condamné, sa très lourde culpabilité, ses dénégations jusqu'au terme de la procédure, sa prise de conscience nulle, ainsi que sa montée en puissance dans la criminalité. Il s'est montré préoccupé par le risque de récidive en cas de libération conditionnelle. Il s'est rallié aux conclusions de l'évaluation criminologique et a estimé que le pronostic quant au comportement futur du condamné était défavorable. Il a également considéré qu'un maintien en détention paraissait plus à même d'endiguer le risque de récidive qu'une libération conditionnelle et qu'il convenait d'abord d'envisager un passage dans un secteur ouvert avant un régime éventuel de sorties.
B.g. Dans son rapport du 25 février 2019, la Commission interdisciplinaire consultative (ci-après: CIC) a retenu que la motivation délinquante du condamné apparaissait exclusivement celle de l'appât du gain. Elle a qualifié de moyen le risque de récidive générale et violente et de niveau moyen à élevé les facteurs de protection. En outre, la CIC a pris bon acte du bon comportement de l'intéressé en détention et du fait qu'à l'approche des deux tiers, l'autorité d'exécution préconisait un programme échelonné, débutant par le passage dans un secteur ouvert avant un régime éventuel de sorties. La CIC a souscrit à cette perspective, en relevant que dans l'ensemble, aucun facteur potentiel de changement, susceptible de réduire un risque de récidive violente non négligeable, ne se dégageait.
B.h. Entendu le 4 mars 2019, X._ a notamment nié son implication dans le brigandage pour lequel il a été condamné et, interpellé sur ses antécédents, il a contesté toute implication dans un cambriolage commis en 2012. Par rapport à sa situation en Suisse, il a indiqué que son permis d'établissement lui avait été retiré et que son épouse ne travaillait plus et qu'elle dépendait désormais des services sociaux. S'agissant de son avenir, il a indiqué qu'à sa sortie, il irait vivre à U._ (Suisse) auprès de son épouse et de leurs trois enfants, se disant absolument confiant quant au fait qu'il y retrouverait rapidement du travail.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 30 avril 2019. Il conclut, avec suite de frais et dépens, à ce que la libération conditionnelle lui soit accordée. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Invoquant l'art. 86 al. 1 CP, le recourant soutient que la cour cantonale a violé le droit fédéral en refusant de lui accorder la libération conditionnelle.
1.1. Aux termes de l'art. 86 al. 1 CP, l'autorité compétente libère conditionnellement le détenu qui a subi les deux tiers de sa peine, mais au moins trois mois de détention, si son comportement durant l'exécution de la peine ne s'y oppose pas et s'il n'y a pas lieu de craindre qu'il ne commette de nouveaux crimes ou de nouveaux délits.
La libération conditionnelle constitue la dernière étape de l'exécution de la sanction pénale. Elle est la règle et son refus l'exception, dans la mesure où il n'est plus exigé qu'il soit à prévoir que le condamné se conduira bien en liberté (cf. art. 38 ch. 1 al. 1 aCP), mais seulement qu'il ne soit pas à craindre qu'il commette de nouveaux crimes ou délits. Autrement dit, il n'est plus nécessaire pour l'octroi de la libération conditionnelle qu'un pronostic favorable puisse être posé. Il suffit que le pronostic ne soit pas défavorable (<ref-ruling> consid. 2.2 et 2.3 p. 203 s.). Le pronostic à émettre doit être posé sur la base d'une appréciation globale, prenant en considération les antécédents de l'intéressé, sa personnalité, son comportement en général et dans le cadre des délits qui sont à l'origine de sa condamnation, le degré de son éventuel amendement ainsi que les conditions dans lesquelles il est à prévoir qu'il vivra (<ref-ruling> consid. 2.3 p. 203 s. et les arrêts cités; arrêt 6B_353/2019 du 25 avril 2019 consid. 1.2.1). La nature des délits commis par l'intéressé n'est, en tant que telle, pas à prendre en compte, en ce sens que la libération conditionnelle ne doit pas être exclue ou rendue plus difficile pour certains types d'infractions. Toutefois, les circonstances dans lesquelles l'auteur a encouru la sanction pénale sont également pertinentes dans la mesure où elles sont révélatrices de sa personnalité et donnent ainsi certaines indications sur son comportement probable en liberté. Au demeurant, pour déterminer si l'on peut courir le risque de récidive, inhérent à toute libération qu'elle soit conditionnelle ou définitive, il faut non seulement prendre en considération le degré de probabilité qu'une nouvelle infraction soit commise mais également l'importance du bien qui serait alors menacé. Ainsi, le risque de récidive que l'on peut admettre est moindre si l'auteur s'en est pris à la vie ou à l'intégrité corporelle de ses victimes que s'il a commis par exemple des infractions contre le patrimoine (<ref-ruling> consid. 2a p. 115 s.; arrêt 6B_353/2019 précité consid. 1.2.1). Afin de procéder à un pronostic différentiel, il sied de comparer les avantages et désavantages de l'exécution de la peine avec la libération conditionnelle (<ref-ruling> consid. 4a et consid. 5b/bb in JdT 2000 IV 162; arrêts 6B_353/2019 précité consid. 1.2.1; 6B_32/2019 du 28 février 2019 consid. 2.2). Il y a également lieu de rechercher si la libération conditionnelle, éventuellement assortie d'une assistance de probation et de règles de conduite, ne favoriserait pas mieux la resocialisation de l'auteur que l'exécution complète de la peine (<ref-ruling> consid. 4d/aa/bb p. 198 ss).
Dans l'émission du pronostic, l'autorité compétente dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que si elle en a abusé, notamment lorsqu'elle a omis de tenir compte de critères pertinents et s'est fondée exclusivement sur les antécédents du condamné (<ref-ruling> consid. 2.3 p. 204).
1.2. Le recourant reproche à la cour cantonale d'avoir omis de procéder à une évaluation complète de la situation. Celle-ci n'aurait en effet retenu qu'un seul aspect défavorable au pronostic du condamné, soit l'absence de permis de travail. Or, à suivre ce raisonnement, toute personne dépourvue d'autorisation de travail en Suisse se verrait automatiquement refuser la libération conditionnelle. Il souligne par ailleurs que d'autres éléments tels que le comportement en détention et " l'accueil social " sont " favorable[s] à un pronostic positif " et justifient que la libération conditionnelle lui soit accordée.
1.3. La cour cantonale a retenu que le recourant avait purgé les deux tiers de sa peine et a confirmé que le comportement que celui-ci avait adopté depuis le début de l'exécution de la peine ne s'opposait pas à la libération conditionnelle. Dès lors, seul reste litigieux le pronostic relatif à son comportement futur.
Il ressort de l'arrêt attaqué que le premier juge a retenu que le pronostic quant au comportement futur du condamné en cas de libération conditionnelle était manifestement défavorable, pour le motif qu'à ce jour, malgré un jugement confirmé par les autorités cantonales et fédérales, celui-ci persistait à nier les faits reprochés, se considérait comme la victime d'accusations sans preuves et n'exprimait qu'une empathie de circonstance envers ses victimes. Contrairement à ce que prétend le recourant, la cour cantonale a également pris en compte les dénégations du recourant comme élément qui s'opposait à la libération conditionnelle. Cependant, elle a souligné que, dans le cadre de l'établissement d'un pronostic différentiel, tel que l'exige la jurisprudence, si les dénégations du recourant constituaient le seul élément du dossier s'opposant à la libération conditionnelle, il n'y aurait pas lieu de penser que l'exécution complète de la peine présenterait plus de garantie pour la prévention de la récidive que la libération conditionnelle avec délai d'épreuve. La cour cantonale a ainsi souligné l'existence d'un risque de récidive à la sortie de prison du recourant - comme l'avaient d'ailleurs relevé l'Unité d'évaluation criminologique du Service pénitentiaire, l'Office d'exécution des peines et la CIC - qu'elle a qualifié d'élevé. En effet, d'une part, le recourant était dépourvu de titre de séjour et n'avait dès lors pas le droit d'exercer une activité lucrative en Suisse - pays dans lequel il avait pourtant très clairement déclaré vouloir habiter avec sa famille - et, d'autre part, son épouse ne travaillait désormais plus et émargeait aux services sociaux. Il découle de ce qui précède que la cour cantonale s'est fondée tant sur les dénégations que sur l'absence de titre de séjour et sur le risque de récidive du recourant pour refuser la libération conditionnelle. Le grief du recourant doit dès lors être rejeté.
1.4. Pour le surplus, au vu de l'ensemble de ces circonstances, la cour cantonale n'a pas abusé de son pouvoir d'appréciation en retenant un pronostic défavorable et en refusant l'octroi de la libération conditionnelle.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 juillet 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Thalmann