Faits : A. Par jugement du 1er avril 2016, le Tribunal criminel de l'arrondissement de la Broye et du Nord vaudois a condamné X._, pour brigandage qualifié et violation de domicile, à une peine privative de liberté de 6 ans, sous déduction de 323 jours de détention avant jugement et de 4 jours en compensation du tort moral subi pour sa détention dans des conditions illicites. Ce jugement a été confirmé par la Cour d'appel pénale du Tribunal cantonal vaudois le 20 septembre 2016, puis par le Tribunal fédéral le 15 novembre 2017 (arrêt 6B_1368/2016). X._ est incarcéré depuis le 23 mai 2015. Après des séjours à la prison A._, à l'Etablissement de détention B._ et celui de C._, il a rejoint, le 20 mars 2019, l'Etablisssement de D._. Il a atteint les deux tiers de sa peine le 10 mai 2019, le terme de celle-ci étant fixé au 10 mai 2021. B. Par décision du 11 avril 2019, le Collège des juges d'application des peines a refusé la libération conditionnelle à X._. Par arrêt du 30 avril 2019, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre cette ordonnance. La cour cantonale a retenu en substance les faits suivants. B.a. Outre la condamnation qu'il purge actuellement, le casier judiciaire suisse de X._ mentionne les condamnations suivantes: - le 14 août 2009, 60 jours-amende pour conduite en état d'incapacité, conduite malgré un retrait de permis et contravention à l'Ordonnance réglant l'admission à la circulation routière; - le 28 septembre 2012, 90 jours-amende pour complicité de vol, tentative de vol, dommages à la propriété, complicité de dommages à la propriété, violation de domicile et complicité de violation de domicile; - le 9 janvier 2013, 30 jours-amende pour infraction à la Loi fédérale sur les armes. B.b. Le 27 juin 2018, l'Office d'exécution des peines a refusé la double demande du condamné d'être transféré dans un autre établissement carcéral ainsi que son transfert en secteur ouvert, au motif que des risques de fuite et/ou de commission de nouvelles infractions ne pouvaient être exclus. B.c. X._ a été soumis à une évaluation criminologique. Dans leur rapport du 27 septembre 2018, les évaluateurs de l'Unité d'évaluation criminologique du Service pénitentiaire ont notamment relevé que le condamné ne reconnaissait pas les actes pour lesquels il avait été condamné. Ils ont relevé que son acte semblait découler de difficultés financières rencontrées à l'époque des faits. Les évaluateurs ont également observé un manque d'empathie, l'intéressé se qualifiant de victime de la situation, tout comme l'étaient son épouse et ses enfants, privés de sa présence depuis plusieurs années. A titre de facteurs de risque, les évaluateurs ont retenu les antécédents judiciaires de l'intéressé, ainsi que la parenté du condamné, avec laquelle les contacts étaient inexistants. Quant aux facteurs de protection, ils ont mis en avant le bon comportement du condamné en détention, ses valeurs prosociales, son éducation et son parcours professionnel, sa famille, ses amis, son abstinence à l'alcool et ses loisirs. Ainsi, pour les évaluateurs, X._ rencontrait un risque de récidive générale et violente pouvant être qualifié de moyen, tandis que le niveau des facteurs de protection pouvait être qualifié de moyen à élevé. B.d. Par courrier du 14 novembre 2018, l'Office des migrations de la Ville de U._ a indiqué que le permis de séjour de X._ avait été révoqué, que son renvoi avait été prononcé le 21 septembre 2018, et que l'intéressé avait recouru contre cette décision. B.e. Dans son rapport du 27 novembre 2018, la Direction de l'Etablissement de B._ a indiqué que X._ ne posait pas de problème particulier et était bien intégré à la vie de l'établissement dont il respectait le règlement. Son travail à l'atelier cuisine a même été qualifié de très bon. De plus, elle a souligné que l'intéressé n'avait fait l'objet d'aucune sanction disciplinaire et que ses analyses toxicologiques s'étaient toutes révélées négatives aux substances illicites. Par ailleurs, elle a indiqué que X._ vivait très durement sa condamnation, qu'il considérait comme une erreur judiciaire. B.f. Dans sa saisine du 26 décembre 2018, l'Office d'exécution des peines a proposé de refuser la libération conditionnelle à X._. Il a souligné les antécédents du condamné, sa très lourde culpabilité, ses dénégations jusqu'au terme de la procédure, sa prise de conscience nulle, ainsi que sa montée en puissance dans la criminalité. Il s'est montré préoccupé par le risque de récidive en cas de libération conditionnelle. Il s'est rallié aux conclusions de l'évaluation criminologique et a estimé que le pronostic quant au comportement futur du condamné était défavorable. Il a également considéré qu'un maintien en détention paraissait plus à même d'endiguer le risque de récidive qu'une libération conditionnelle et qu'il convenait d'abord d'envisager un passage dans un secteur ouvert avant un régime éventuel de sorties. B.g. Dans son rapport du 25 février 2019, la Commission interdisciplinaire consultative (ci-après: CIC) a retenu que la motivation délinquante du condamné apparaissait exclusivement celle de l'appât du gain. Elle a qualifié de moyen le risque de récidive générale et violente et de niveau moyen à élevé les facteurs de protection. En outre, la CIC a pris bon acte du bon comportement de l'intéressé en détention et du fait qu'à l'approche des deux tiers, l'autorité d'exécution préconisait un programme échelonné, débutant par le passage dans un secteur ouvert avant un régime éventuel de sorties. La CIC a souscrit à cette perspective, en relevant que dans l'ensemble, aucun facteur potentiel de changement, susceptible de réduire un risque de récidive violente non négligeable, ne se dégageait. B.h. Entendu le 4 mars 2019, X._ a notamment nié son implication dans le brigandage pour lequel il a été condamné et, interpellé sur ses antécédents, il a contesté toute implication dans un cambriolage commis en 2012. Par rapport à sa situation en Suisse, il a indiqué que son permis d'établissement lui avait été retiré et que son épouse ne travaillait plus et qu'elle dépendait désormais des services sociaux. S'agissant de son avenir, il a indiqué qu'à sa sortie, il irait vivre à U._ (Suisse) auprès de son épouse et de leurs trois enfants, se disant absolument confiant quant au fait qu'il y retrouverait rapidement du travail. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt du 30 avril 2019. Il conclut, avec suite de frais et dépens, à ce que la libération conditionnelle lui soit accordée. Il requiert le bénéfice de l'assistance judiciaire.