Faits : A. A.a. Par jugement du 2 octobre 2017, le Tribunal criminel de l'arrondissement de l'Est vaudois a condamné A._, né en 1994, pour assassinat, à une peine privative de liberté de dix ans, en raison de l'homicide de son grand-père, le 5 novembre 2014, commis sur l'impulsion et avec le concours de sa mère, B._. A._ a débuté l'exécution de sa peine privative de liberté le 7 juin 2017. Il a atteint la moitié de sa sanction le 16 décembre 2019 et aura exécuté les deux tiers de celle-ci le 16 août 2021. A.b. Dans son rapport du 13 novembre 2018 relatif au suivi psychologique volontaire de A._, le Centre neuchâtelois de psychiatrie a indiqué que ce dernier bénéficiait d'une prise en charge psychothérapeutique depuis février 2018, à raison de deux séances par mois jusqu'en mai 2018, puis d'une séance par semaine depuis juin 2018. Les thèmes abordés en thérapie étaient la culpabilité, le regret, l'incompréhension de la violence dont l'intéressé avait fait preuve, le deuil de son grand-père, le traumatisme lié au passage à l'acte, ainsi que la vie carcérale, la vie conjugale, la sexualité, les émotions et l'avenir. L'alliance thérapeutique était bonne, A._ montrant une volonté vraisemblablement réelle d'avancer dans son suivi. Le travail accompli autour des sujets "sensibles" lui avait permis de renouer avec sa sphère affective, avec pour corolaire la confrontation massive avec la charge émotionnelle liée au "drame", aux affects et au processus de deuil en lien avec celui-ci. Son évolution était considérable puisque A._ avait fait de nombreux progrès et travaillait sur la considération et l'appréciation de la gravité de son acte, malgré la culpabilité générale et l'impact traumatique et dépressiogène suscité. A.c. Dans son évaluation criminologique du 30 novembre 2018, l'Unité d'évaluation criminologique du Service pénitentiaire (ci-après : UEC) a considéré que les niveaux des facteurs de risques de récidive générale et violente étaient faibles, que le niveau des facteurs de protection était élevé et que le risque de fuite était faible. L'UEC a encouragé A._ à maintenir les liens avec ses proches et sa compagne, à poursuivre son investissement dans sa formation, à s'investir davantage dans son travail et à poursuivre son suivi thérapeutique. A.d. Le 5 décembre 2018, A._ a fait l'objet d'une sanction disciplinaire en raison d'une utilisation indue d'Internet. A.e. Un plan d'exécution de sanction a été élaboré en décembre 2018 puis avalisé en janvier 2019. La progression envisagée prévoyait, dans une première phase, un transfert en secteur fermé dans un établissement disposant d'un secteur ouvert, ce qui a été concrétisé en janvier 2019. La deuxième phase prévoyait un transfert en secteur ouvert, ce qui a été réalisé en avril 2019. La troisième phase prévoyait trois conduites d'une durée de 4 heures dès le mois de septembre 2019. Dans le cadre de ce plan, A._ était notamment invité à maintenir un bon comportement, à se rendre régulièrement au travail tout en y faisant preuve de motivation et d'assiduité, à poursuivre son suivi psychothérapeutique, ou encore à poursuivre sa formation dans le but de préparer un projet de sortie concret et réalisable. A.f. Dans un rapport de situation adressé le 6 février 2019 à la Commission interdisciplinaire consultative concernant les délinquants nécessitant une prise en charge psychiatrique (ci-après : CIC), la direction des Etablissements de la Plaine de l'Orbe (ci-après : EPO) a notamment indiqué que A._ ne s'impliquait que moyennement dans l'exécution de ses tâches à l'atelier "Incorporation", qu'il était très demandeur auprès de sa cheffe d'atelier, qu'il se tenait à l'écart de ses codétenus et paraissait déprimé, qu'il ressentait un fort besoin d'être rassuré et reconnu, qu'il rencontrait des difficultés d'intégration avec ses pairs. Le prénommé était décrit comme calme et poli. Il était précisé qu'il suivait différents enseignements linguistiques ou en comptabilité. A.g. Dans un rapport adressé le 13 février 2019 à la CIC, le Service médical des EPO a signalé que A._ s'était montré demandeur tout au long de son suivi - malgré une méfiance initiale -, qu'il paraissait investir la relation thérapeutique, qu'il travaillait ses problématiques psychiques et délictuelles, qu'il était capable d'aborder ses problématiques sans réticence, et que l'alliance thérapeutique paraissait bonne. Les axes de travail concernaient tout d'abord le passage à l'acte du prénommé et les deuils vécus dans son parcours. Tout en reconnaissant l'infraction pour laquelle il avait été condamné, celui-ci adoptait une attitude ambivalente quant à sa propre responsabilité, en souhaitant mieux comprendre ce qui s'était passé et en se montrant sensible au questionnement des modalités relationnelles liées à son passage à l'acte. A.h. Dans son évaluation de suivi psychiatrique du 25 février 2019, la CIC a notamment indiqué ce qui suit : "Au vu des éléments communiqués, la commission constate que les appréciations portées sur le comportement de M. A._et sur son adaptation aux attentes et contraintes de la détention sont unanimement favorables. II s'est engagé volontairement dans un suivi thérapeutique assidu, qui commence à ouvrir sa réflexion sur son implication psychique et affective dans l'acte meurtrier condamné et dans ses circonstances. L'évaluation criminologique du 30 novembre 2018 fait état d'un faible risque de récidive générale et violente, et d'un niveau élevé pour les facteurs de protection. Le plan d'exécution de la sanction avalisé le 17 janvier 2019 décrit les efforts mais également les ambivalences de l'intéressé quant à son engagement dans les modalités prévues pour sa réinsertion. II propose un programme d'ouvertures progressives, auquel la commission souscrit, en soulignant l'importance d'en respecter la succession et la durée des étapes qui ne sauraient être franchies dans la précipitation, quel que soit le désir de M. A._ de s'affranchir de ces contraintes. La commission encourage M. A._ à poursuivre ses efforts dans la construction de ses projets d'avenir, en insistant plus particulièrement sur l'importance qu'elle attache à son engagement thérapeutique, lequel devrait lui permettre de se confronter utilement à ses composantes psychologiques impliquées dans son acte meurtrier, et d'approfondir et consolider la maturation nécessaire de sa personnalité." A.i. Par décision du 28 mars 2019, l'Office d'exécution des peines (ci-après : OEP) a autorisé le transfert de A._ à la Colonie ouverte des EPO, dès le 14 avril 2019. A.j. Le 2 octobre 2019, A._ a fait l'objet d'une sanction disciplinaire pour avoir fumé dans un lieu commun. A.k. Dans son rapport de situation du 28 octobre 2019, l'UEC a exposé que le positionnement de A._ face à son délit restait inchangé depuis son évaluation de 2018, que ce dernier présentait une reconnaissance totale des faits pour lesquels il avait été condamné, admettant sa responsabilité dans le décès de son grand-père et semblant mesurer la gravité et les conséquences de ses actes. L'intéressé semblait non seulement capable de décrire les conséquences concrètes de ses transgressions pour la victime et pour les victimes indirectes, mais aussi d'identifier et de s'approprier des émotions et des ressentis. Les niveaux de risques de récidive générale et violente étaient faibles. A._ n'avait aucun antécédent. Les niveaux de facteurs de protection étaient encore élevés. Les prestations au sein de l'atelier donnaient entière satisfaction, et une évolution positive dans le travail avait été constatée. L'UEC a indiqué que A._ devait poursuivre le travail effectué selon trois axes, à savoir la nécessité de maintenir ses relations avec sa compagne et ses proches, de poursuivre son suivi thérapeutique en détention ainsi qu'à l'extérieur, et de structurer son temps libre. Elle a enfin relevé que A._ avait exprimé à de nombreuses reprises son inquiétude et son incertitude liées à son avenir, faisant état d'une lassitude face à sa situation carcérale. Le prénommé était ambivalent quant à son avenir, se disant très motivé à l'idée d'avancer dans sa peine, mais indiquant ressentir un essoufflement et une importante fatigue liés à son emprisonnement ainsi qu'à ses conséquences, la motivation constituant un facteur essentiel concernant la sortie de la délinquance. A.l. Le 5 novembre 2019, A._ a demandé à l'OEP sa libération conditionnelle à mi-peine, soit au 16 décembre 2019. A.m. Le prénommé a bénéficié de deux sorties de 4 heures en septembre puis novembre 2019, lors desquelles il a passé du temps avec sa compagne et des amis. Selon les rapports de conduite établis à l'issue de ces deux sorties, l'objectif visant à reprendre contact avec le monde extérieur avait été atteint. A l'issue de la deuxième conduite, les intervenants ont proposé la poursuite du régime de conduites sociales selon le plan d'exécution de sanction. A.n. Dans son rapport relatif à la libération conditionnelle établi le 22 novembre 2019, la direction des EPO a exposé que A._ était incorporé depuis avril 2019 dans un atelier où il effectuait des travaux agricoles, que la qualité de ses prestations était très bonne, que ses relations avec ses codétenus étaient peu développées, que les analyses toxicologiques auxquelles il avait dû se soumettre s'étaient toutes révélées négatives, qu'il avait terminé sa formation de comptable en juillet 2019 et avait obtenu son permis de cariste avec utilisation d'un bras télescopique en octobre 2019, qu'il envisageait de vivre avec sa compagne à sa sortie de prison, qu'il se prévalait de deux intentions d'engagement et qu'il avait coupé les ponts avec sa mère. La direction des EPO a cependant émis un préavis négatif concernant la libération conditionnelle de A._, considérant que celle-ci était encore prématurée et qu'aucune circonstance extraordinaire relative à sa personne ne la justifiait. Elle a notamment relevé que les actes en raison desquels l'intéressé avait été condamné étaient d'une importante gravité, que le travail thérapeutique entamé devait encore se poursuivre et que l'élargissement progressif de régime avec une possibilité de travail externe avait été approuvé par l'ensemble des intervenants. A.o. Le 5 décembre 2019, l'OEP a saisi le Collège des Juges d'application des peines d'une proposition tendant au refus de la libération conditionnelle à mi-peine de A._. L'autorité d'exécution a considéré que le prénommé ne répondait pas aux conditions posées par l'art. 86 al. 4 CP, qu'elle ne voyait pas en quoi sa situation serait exceptionnelle - s'agissant de son bon comportement en détention, de la formation effectuée, de son réseau social et de ses projets concrets -, qu'elle ne constatait pas une influence négative de la privation de liberté sur le risque de récidive ni des motifs pouvant justifier une grâce, et que les différents intervenants avaient souscrit au programme d'ouvertures progressives prévu par le plan d'exécution de sanction. Une libération conditionnelle ne pourrait ainsi être envisagée au plus tôt qu'aux deux tiers de la peine, après avoir observé la progression de l'intéressé lors des élargissements de régime prévus à l'avenir. A.p. Dans un courrier du 5 décembre 2019, le Service médical des EPO a certifié que A._ était suivi sur le plan psychiatrique et psychothérapeutique, qu'il était preneur et demandeur d'un suivi volontaire depuis le début de son incarcération, qu'il présentait de bonnes capacités d'introspection, qu'il était clairement épuisé par la routine carcérale, que le travail accompli restait limité par l'absence d'expériences hors des murs de la prison, que le milieu carcéral était vécu comme une prolongation des séquelles négatives de la relation avec sa mère. L'intéressé avait la volonté de bien évoluer afin de pouvoir progressivement se réintégrer dans le travail, dans la vie de couple et de famille. Le parcours accompli, qui incluait une remise en question de ses actes et une réflexion sur les symptômes prodromiques pouvant avoir joué un rôle dans le déclenchement de ses agissements au moment des faits, était positif. A.q. Un bilan de phases 1, 2 et 3 et suite du plan d'exécution de la sanction a été élaboré en novembre 2019. Constatant que les objectifs du plan avaient été atteints et qu'ils devaient se poursuivre, le bilan prévoyait une phase 4 - après trois conduites sociales réussies - consistant en un régime de congés fractionnés progressifs. Le bilan prévoyait une phase 5, consistant en un éventuel régime de travail externe après un quatrième congé réussi. Ces élargissements devaient préalablement être soumis à la CIC durant le premier trimestre 2020 avant de pouvoir être mis en oeuvre. A.r. Le 17 décembre 2019, le ministère public s'est opposé à la libération conditionnelle de A._. A.s. Le 31 janvier 2020, le prénommé a été auditionné par la Présidente du Collège des Juges d'application des peines. B. Par décision du 20 avril 2020, le Collège des Juges d'application des peines a refusé à A._ la libération conditionnelle à mi-peine. C. Par arrêt du 11 mai 2020, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._ contre la décision du 20 avril 2020 et a confirmé celle-ci. D. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 11 mai 2020, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que la libération conditionnelle à mi-peine lui est accordée et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle instruction et nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.