Faits : A. A.a. Par jugement du 16 novembre 2017, le Tribunal pénal de l'arrondissement du Lac (FR) a condamné A._ à une peine privative de liberté de 20 mois, dont 10 mois avec sursis durant cinq ans. Par jugement du 27 novembre 2017, le Tribunal de police du Littoral et du Val-de-Travers (NE) a condamné le prénommé à une peine pécuniaire de 25 jours-amende, convertie en une peine privative de liberté de substitution de 25 jours en raison du non-paiement de cette sanction. Par jugement du 4 décembre 2017, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a condamné A._ à une peine pécuniaire de 40 jours-amende, convertie en une peine privative de liberté de substitution de 40 jours en raison du non-paiement de cette sanction. Par jugement du 28 mars 2019, confirmé en définitive par l'arrêt du Tribunal fédéral du 28 juin 2019 (6B_704/2019), la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a condamné le prénommé, pour vol en bande et par métier, dommages à la propriété, utilisation frauduleuse d'un ordinateur et tentative d'utilisation frauduleuse d'un ordinateur, à une peine privative de liberté de 24 mois et a en outre ordonné l'expulsion de l'intéressé du territoire suisse pour une durée de huit ans. En plus de ces condamnations, l'extrait du casier judiciaire suisse de A._ en révèle huit autres, entre 2011 et 2016, à des peines pécuniaires ou à des peines privatives de liberté allant jusqu'à 180 jours. En 2011, le prénommé avait bénéficié d'une libération conditionnelle. A.b. A._ exécute actuellement le solde des peines privatives de liberté qui lui ont été infligées, dont les deux tiers ont été atteints le 22 mars 2020 et dont le terme est fixé au 14 décembre 2020. B. Par ordonnance du 5 mars 2020, le Juge d'application des peines vaudois a refusé à A._ la libération conditionnelle. C. Par arrêt du 20 mars 2020, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par A._ contre cette ordonnance et a confirmé celle-ci. Il en ressort ce qui suit. C.a. Dans un rapport du 16 juillet 2019, la direction de la Prison B._ a indiqué que A._ avait adopté un comportement agressif verbalement envers le personnel de surveillance et avait eu de la peine à respecter les règles ainsi que le cadre fixés par l'institution. Le prénommé avait en outre fait l'objet de trois sanctions disciplinaires entre 2018 et 2019. Il était encore indiqué que, dans le cadre de son travail à l'atelier de cuisine, celui-ci écoutait les ordres donnés, respectait les chefs de cuisine et travaillait correctement. C.b. Le 16 juillet 2019, A._ a encore fait l'objet d'une sanction disciplinaire pour inobservation des règlements et directives de la Prison C._. Il s'est notamment montré agressif envers le personnel de surveillance, a menacé de frapper contre la porte toute la nuit et de se couper les veines avec une lame de rasoir. C.c. Par ordonnance du 15 août 2019, le Juge d'application des peines vaudois a refusé à A._ la libération conditionnelle. Par arrêt du 10 septembre 2019, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre l'ordonnance du 15 août 2019 et a confirmé celle-ci. Par arrêt du 19 novembre 2019 (6B_1200/2019), le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, le recours formé par A._ contre l'arrêt du 10 septembre 2019. C.d. Le 15 novembre 2019, le Service de la population vaudois a indiqué que A._ avait été reconnu par les autorités algériennes et qu'un laissez-passer pouvait être obtenu. Si ce dernier collaborait, un vol à destination d'Alger pouvait être organisé dans un délai d'un mois. A défaut, un vol avec escorte policière serait organisé. C.e. Dans un rapport du 10 décembre 2019, la direction de la Prison C._ a préavisé favorablement à la libération conditionnelle du prénommé, assortie d'une expulsion du territoire suisse, dès lors que l'intéressé ne tirait que peu de profit de sa période d'incarcération sur le plan de son amendement ou d'un projet professionnel précis. La Fondation vaudoise de probation a, en substance, émis la même recommandation dans un rapport du 5 décembre 2019. C.f. Dans un rapport du 10 décembre 2019, la direction de la Prison D._ - dans laquelle A._ avait été transféré en novembre 2019 - a relevé que ce dernier avait attiré l'attention des intervenants dès son arrivée et qu'il s'était montré, à une occasion, arrogant et agressif verbalement vis-à-vis du service médical. C.g. Le 19 décembre 2019, l'Office d'exécution des peines a proposé de refuser la libération conditionnelle de A._. Ce dernier a été entendu le 29 janvier 2020 par le Juge d'application des peines. Le 3 février 2020, le ministère public a conclu au refus de la libération conditionnelle de A._. D. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 20 mars 2020, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que sa libération conditionnelle est immédiatement ordonnée et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.